記事のサマリー(TL;DR)
- CodeRabbitはAI生成コードを検証・レビュー・保護するガバナンスプラットフォームを提供しており、2万以上の組織と15万以上のオープンソースプロジェクトで利用されています。
- 同社はOpenAIの推論モデル(o1、o3、GPT-6 Astraなど)とCodexを採用し、Codexの利用により過去6カ月でエンジニアを増やさずにソフトウェアの出荷量が約20倍になったと説明しています。
- OpenAIのCyberモデルをDaybreak経由で用いて自社プラットフォームの侵入テストを実施し、新製品「CodeRabbit Secure」ではCodexモデルを用いた脆弱性検出・修正機能を提供しています。
詳細
OpenAIの推論モデルによるコードレビューの改善
CodeRabbitは共同創業者兼CEOのHarjot Gill氏によると、コーディングエージェントを導入した企業が最初に直面するボトルネックは「コードレビュー」であるといいます。CodeRabbitはAI生成コードを検証・信頼するためのAI主導型ガバナンス・コントロールプラットフォームを構築しており、2万以上の組織と15万以上のオープンソースプロジェクトで利用されています。
CodeRabbitは最初にGPT-3.5 Turboで製品を構築しましたが、Gill氏によるとGPT-4の登場によって製品がコードレビューにおいて効果的になったといいます。その後、同社はOpenAIのo1およびo3モデルを早期に採用しました。コードレビューはクラウド上で非同期に実行されるため、CodeRabbitは、より高度な分析と引き換えに、問題を推論するのに時間がかかるモデルを利用できたとしています。
チームは既知の問題から成る独自のベンチマークを用いて新しいモデルを評価しています。インタビュー時点で、Gill氏はGPT-6 Astraがそのデータセット内の問題の50%を検出し、同ベンチマークにおいて他のモデルと比較して最上位にあると見積もっていました。Gill氏は、エージェントが異なる種類の誤りを生み出し、修正によって以前のレビューが見逃していた問題が明らかになるのに伴い、ベンチマークも進化し続けていると述べています。
より高性能なエージェントの導入を経済的にする取り組み
OpenAIモデルの価格性能比の改善により、CodeRabbitは研究段階にあった機能を製品に組み込めるようになったといいます。Gill氏は、モデルの価格設定とキャッシュの改善により、同社がより多くのAIを利用し、サブエージェントを追加し、その恩恵を顧客に還元できるようになったと述べています。
CodeRabbitが開始した当初、コードナビゲーションには1つか2つのサブエージェントしか使用していませんでした。現在では、GPT-6 Lunaのような低コストのモデルがプラットフォーム全体でより多くのサブエージェントを支えており、GPT-6 Astraのようなモデルが計画立案とオーケストレーションを担っています。
Gill氏は「これまで費用面で対応できなかったユースケースの至る所で、現在ではエージェントを使用している」と述べています。これにより、CodeRabbitが実行できる検証の範囲と、開発者に提供できる説明の幅が広がり、開発者が自身で書いていない変更を理解し、信頼する助けになっているといいます。
Codexによるソフトウェア出荷量の20倍増
Codexの利用により、Gill氏は過去6カ月でエンジニアを追加することなく、ソフトウェアの出荷量が約20倍になったと述べています。Gill氏個人は、インタビュー前の30日間で2,500件から3,000件のプルリクエストを行ったと見積もっています。
ここに至るまでには、Codexの採用以上の取り組みが必要でした。複数のエージェントを稼働させたことで、ノートパソコンのメモリや計算能力、テスト、ソフトウェアのコンパイル・パッケージングツール、依存関係に至るまで、開発プロセス全体にわたる制約が明らかになったといいます。チームはリリースプロセスを合理化し、人間による承認が必要な箇所を見直すとともに、人間の介入を必要としない低リスクな変更についてはCodeRabbitを使って自動的に出荷するようにしました。Gill氏は「ソフトウェアデリバリー全体を根本から見直す必要があった」と述べています。
同社はまた、本番環境のインシデントやSlackメッセージ、サポートチケットをトリアージするCodex搭載のSlackボットを構築しました。このボットはチームがレビュー・マージできるプルリクエストを返すことができます。Gill氏は、クラウドベースの開発がローカルマシンの制約を軽減し、アクセスと監査に対するチームのコントロールを強化する方法になるとみています。
CodeRabbit自体をコードとして運用する取り組み
CodeRabbitはエンジニアリング以外の業務でもCodexを活用しており、マーケティングや運用業務をコードとして管理しています。Gill氏は「可能な限り会社自体をコードとして運用している」と述べています。
マーケティングでは、同社はGoogle広告の管理をプルリクエストを通じて行っています。チームは広告を展開するためのリクエストを開いてマージします。また、Codexがスライド資料や顧客向け文書を作成するコンテンツスタジオ用のリポジトリも使用しています。Gill氏は「マーケティングの課題をコードの課題に置き換えられれば、10倍速く進められる」と述べています。
Daybreakによるアプリケーションコードの保護
CodeRabbitは2023年からサンドボックス環境でエージェントを稼働させており、リポジトリを複製してエージェントにコードを書かせることでレビューを支援してきました。さらに最近では、CodeRabbitはOpenAIのCyberモデルをDaybreak経由で利用し、自社プラットフォームのテストと保護を行いました。
チームはこのモデルを社内での侵入テストに利用し、攻撃者が侵入し得る方法がないか自社プラットフォームを調査しました。Gill氏は、この早期アクセスがCodeRabbit自身のスタックの保護に役立ったと述べています。「想像もしていなかったような高度なハッキング手法を含む、複数の脆弱性を発見した」とGill氏は述べています。
同社はその後、この能力を製品化し、最新製品の「CodeRabbit Secure」を通じて顧客のコードの保護を支援しています。過去2週間にわたり、同社はユーザー向けに100万ドル相当の無料ディープスキャンを提供するプロモーションを実施し、13,000件のディープスキャンを通じて43,000件以上のセキュリティ脆弱性を発見しました。これらはすべてCodexモデルによって実現されています。これらの脆弱性のうち数千件は、顧客によってすでに修正済みであり、コードセキュリティの向上に役立っているといいます。
エージェント生成コードに対する開発者のコントロール維持
バックグラウンドエージェントが、人間がすべてのタスクを起動しなくてもアラートやインシデントに対応し始める中、Gill氏はチームが、どの変更を完了まで進めるべきかを判断する上で、より多くの支援を必要とするようになると見込んでいます。
今後に向けて、CodeRabbitはエージェント主導型のソフトウェア開発に向けた拡張を進めており、大規模にエージェントが生成したコード変更の検証、優先順位付け、説明、保護、確認を行うチームを支援していくとしています。
同社が見据える機会は、エージェントがより多くの構築作業を担う中で、生成されるコードのペースに合わせた検証・説明・保守を通じて、開発者がコントロールを維持できるよう支援することだとしています。