記事のサマリー(TL;DR)
- Collinear AIは「CWE-bench v2」として、91種類のCWE(Common Weakness Enumeration)をカバーする100件の公開タスクを公開しました。誰でもモデルを実行し評価できます。
- 評価はエージェントが実在するオープンソースリポジトリのチェックアウトと短い指示を受け取り、既存機能を壊さずにセキュリティ上の弱点を発見・修正するというもので、採点は完全にプログラムによる決定論的な方式です。
- 評価済みの11モデルのうち、Gemini 4 Argonがpass@1で67.8%、pass@4で81.0%で首位となり、Claude Opus 5.5(pass@1で67.3%、pass@4で78.0%)がこれに続きました。
利用条件と必要な操作
- 公開されているHugging Face上のデータセットは「gated(アクセス制限)」設定になっており、利用前にデータセットページでアクセス条件に同意する必要があります。
- Harborはタスクをgit経由で取得するため、事前にHFトークンをgitの認証情報ヘルパーに保存しておく必要があります(
hf auth login --token $HF_TOKEN --add-to-git-credential)。 - モデルを未公開のheld-out set(保留セット)で評価したい場合は、cyber@collinear.aiへ問い合わせる必要があります。
詳細
CWE-bench v2の概要
CWE-benchは、最先端のサイバー能力の限界を試すために設計されたベンチマークです。Collinear AIはその取り組みの一環として、CWE-bench v2で100件の公開タスクのセットを公開しました。誰でもこれらのタスクで自分のモデルを実行・評価できます。
セットアップは従来と同様です。エージェントは実在するオープンソースリポジトリのチェックアウトと短い指示を与えられ、既存の機能を壊すことなくセキュリティ上の弱点を見つけて修正することを目指します。採点は完全にプログラムによって行われるため、結果は決定論的であり、誰でも追加コストなしに結果を再現できます。すべてのプログラムによるチェックは、難易度と公平性の方向にチェック内容を整えるため、LLMによる審査パネルの支援を受けて作成されています。
また、まだどのモデルも見ていないタスクでの進捗を追跡し続けるために、held-out set(保留セット)も維持しています。このheld-out setでモデルを評価したい場合は、cyber@collinear.aiに連絡する必要があります。
Collinear AIの目標は網羅的であることです。防御側は攻撃者の侵入経路をあらゆる形で想定し、それを毎回正しく実行しなければなりません。今回の100タスクは91種類の異なるCWEをカバーしており、幅広い脆弱性クラスにまたがっています。ここで好成績を収めるモデルは、潜在的な攻撃者が悪用しうる複数の弱点領域を理解している必要があります。見慣れたパターンを認識するだけでは不十分だとされています。
品質向上への取り組み
品質を継続的に向上させる取り組みの一環として、各タスクについて以下の点が真であることを確認したとしています。
- 指示文が評価用の設定ではなく、現実的な指示のように読めるか
- 採点対象となるすべての挙動が指示文から推測できるか
- 検証ツールが、特定の修正構造ではなく正しい挙動をチェックしているか
- スターターコードは失敗し、リファレンスとなる修正は通過するか
- 新しい修正を適用しても元の機能が引き続き動作するか
- 検証ツールが、既知のアップストリームパッチのような記憶済みの解答を不合格にするか
すべてのタスクは人手によるレビューも受けています。このセットをオープンソース化すること自体も、品質向上の取り組みの一環です。Collinear AIは、各タスクへのフィードバックや、公開セットへの貢献を歓迎するとしています。
結果の公開方法
結果はHugging Face Hub上の2か所で追跡されています。CWE-benchデータセットページのリーダーボードはオープンウェイトモデルを対象とし、自動的に更新されます。研究機関やコミュニティは、モデルのリポジトリに結果ファイルを添えてPRを開くことで結果を追加できます。
GeminiやClaude、GPTなどAPI限定のモデルを含めた全体の比較については、CWE-benchリーダーボードのSpaceで確認できます。こちらでは、Space上のPRを通じて新しいモデルが追加されます。
評価対象となった11モデルのうち、Gemini 4 Argonがpass@1で67.8%、pass@4で81.0%を記録して首位となり、Claude Opus 5.5(pass@1で67.3%、pass@4で78.0%)がわずかに続きました。100タスクのうち95タスクは少なくとも1つのモデルによって解かれており、Collinear AIはこれをタスクが実際に解答可能であることを示す証拠としています。一方で、首位のモデルであっても全試行でセットの19%を解けておらず、長く残る未解決の裾野部分はまだ解消には程遠い状態だとしています。
公開セット、採点ツール(グレーダー)、実行環境(ハーネス)はいずれもオープンになっています。自分のモデルを実行し、その立ち位置を共有することが呼びかけられています。
コスト面では、DeepSeek V4.1 Flash(1017)、Claude Opus 5.5、Gemini 4 Argonがパレートフロンティアを形成しています。DeepSeekは1ロールアウトあたり0.04ドルでpass@1が57.0%に達し、Opusは1.83ドルで10ポイント上積みし、Geminiは3.92ドルでさらに上回るとされています。
Hugging Face Hubからの実行方法
各タスクは、Docker化された環境、指示文、決定論的な検証ツールから成る自己完結型のHarborタスクであり、データセットにはregistry.jsonが同梱されています。これにより、Harborを使えば自分でクローンすることなく、Hugging Faceリポジトリから直接ベンチマーク全体を実行できます。
harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
--agent <agent> --model <model> --env docker \
--allow-agent-host <model API host>
-k 4はタスクごとに4回の試行を実行することを意味し、報告されるスコアは全400試行にわたる平均報酬です。
データセットはgated(アクセス制限)設定になっているため、まずデータセットページでアクセス条件に同意する必要があります。Harborはgitを使ってタスクを取得するため、あらかじめHFトークンをgitの認証情報ヘルパーに保存しておく必要もあります。
hf auth login --token $HF_TOKEN --add-to-git-credential
これらのタスクにはrl-environmentというタグも付けられています。同じ環境と検証ツールは、モデルの評価だけでなく、防御的なエージェントを訓練するための報酬を提供する用途にも使えるとされています。
[“CWE-bench”, “Collinear AI”, “Hugging Face”, “Harbor”, “セキュリティベンチマーク”]