記事のサマリー(TL;DR)
- 業務ルールが複雑になると、LLMを使ったAIエージェントは悪意なく判断を誤ります。τ-bench小売ドメイン・gpt-4oでは、1回の成功率(pass1)が約61%なのに対し、8回連続成功(pass8)は約25%まで落ちることが公開ベンチマークで示されています。
- 筆者は、業務ルールを定理証明支援系Leanの公理系としてAIに渡し、会話ごとに「客の目的を満たしている」という受付定理を組み立てさせ、その証明をLean処理系に検めさせる構成を提案しています。公理系から導けない書き込みは実行されません。
- τ²-bench金融ドメインの開発用74タスクのうち、公式採点で満点かつ証明完了したのは45タスク。文書と模範解答にずれがあり補った版で満点としたものが23タスク、作業中が6タスクです。ぶれの測定と評価専用23タスクでの評価は今後の課題とされています。
詳細
1. ルールが増えるほどAIは判断を誤る
LLMを使ったAIエージェントは、人の言葉を受け取って道具(tool)を呼び、仕事を進めます。しかし業務ルールが複雑になると様子が変わります。金融の窓口業務では、以下のような規則が並びます。
- 振込手数料は原則として依頼人負担
- ただし同一名義の口座間の振替は無料
- 一定額を超える振込は、当日中の受付を締め切ったあとは翌営業日扱い
- 組戻し(振込の取り消し)の返金先は、原則として引き落とし元の口座(ただしその口座がすでに解約されている場合は、本人確認のうえ別の口座へ返す)
プロンプトに業務ルールを書き足しても、規則が増えるほど読み落としや取り違えが起きます。
この「ぶれ」の大きさは公開ベンチマークで確かめられています。測るために作られたのがτ-bench(τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains)です。τ-benchが広めた指標がpass^kで、同じ課題をk回やらせてk回とも成功して初めてよしとします。業務システムに求められるのは、たまたま一度うまくいく能力より、何度やっても同じように正しく動く再現性です。
gpt-4oの小売ドメインでは、pass1が約61%なのに対し、pass8は約25%まで落ちます(Sierraのベンチマーク解説、および上記論文)。モデルが賢くなれば解決する問題ではなく、確率的に動くものを決定的に動かしたいという構造の問題だと筆者は述べています。
「それなら業務ルールは全部命令型のプログラムで書けばいい」とも考えられますが、これには2つの限界があります。1つ目は、客の言い換えや同意のような曖昧な入力を扱えないことです。2つ目は、命令型で書いても保証されるのはAPIの中だけで、API同士をつなぐロジックは保証されないことです。AIエージェントも、このロジックの部分で誤ります。API間に確率的なトークン生成が入り込むためです。
そこで、業務ルールをLeanの公理系(module)としてAIに渡し、AIがその公理を組み合わせて受付命題(「この会話の事実は客の目的を満たしている」という1文)を結論とする受付定理を組み立て、証明する構成を提案しています。証明が正しいかを判定するのはAIではなく処理系です。公理系から導けないものはコンパイルを通りません。受付定理を運用時に証明して実行するため、ルールに準拠した処理を会話ごとに組み立てられるとしています。
2. 型が命題、実装が証明
定理証明支援系は、定理とその証明をプログラムとして書き、証明が正しいかを機械に検査させる言語と処理系です。Leanはその一つで、今回使われています。
Leanでは命題を「型」として書き、その型を持つ値(実装)が命題の証明になります。実装が型検査を通れば、命題がすべての入力について成り立つことを機械が確かめたことになります。検査するのはコンパイラの中核にある小さなプログラム(カーネル)です。
偽の命題は証明できません。証明せずに通す方法は公理(axiom)を足すかsorryで済ませるかの2つだけで、どちらも機械的に分かります。sorryには警告が出て、#print axioms 定理名と打てば、その定理が依存しているものを列挙できます。
証明の対象にできるのは、純粋で必ず停止する関数です。DBの読み書きのような副作用は、Leanの外側、受付エージェントの側に置かれています。
ふつうの言語の型は「整数」「文字列」といった大まかな分類に留まり、値を量化する「すべてのnについて〜」のような仕様は書けません(カリー=ハワード対応で言えば単純型は命題論理に対応)。Leanは依存型を持つ純粋関数型言語で、依存型は入力の値によって出力の型が決まるため値の量化が可能になり、検査できる範囲は高階論理(HOL)まで広がります。
記事では具体例として、各桁の和が9の倍数なら元の数も9の倍数であることを示すLeanコード(digitSum関数とtheorem mod9)を紹介しています。命題を書き間違えて偽にした場合、その定理の証明は絶対に書けないことも示しています。また、矛盾する定理の証明をGeminiに依頼した会話を公開し、Leanを理解しているGeminiは「証明は書けない」と答えたことも紹介されています。
3. AIが書けるなら、前提が変わる
solverやverifierが使われてきたのは、間違えたときの損害が極端に大きく、あとから直せず、場合が多すぎて試しきれず、守るべき事がはっきり書けてあまり変わらない場面です。この4つが揃うと証明や探索にかける手間が割に合います。しかしふつうの業務システムでは、使える人がほとんどいないことや、仕様がよく変わり手間が見返りに合わないことから、あまり使われてきませんでした。
AIエージェントの登場後は、この「使える人がいない」という前提が成り立たなくなります。守るべき規則は文書として書いてあり、客の言葉は毎回違い、何を頼まれるかは会話が始まるまで分からない場面(金融の窓口や税務申告)と相性が良いとしています。
従来の命令型APIでは、開発時に設計と関数の実装を確定させ、運用時に残された自由度は「関数と入力の選択(APIコール)」だけでした。定理証明支援系型のAPIでは、開発時に決めきるのは設計(業務公理モジュールの構築)だけになり、関数の組み立てそのものが運用時に残ります。公理系から導けないものはコンパイルが通らないため、できることを広げても規則を守る度合いは下がらないとしています。
業務ルールは厳密にはLeanのmoduleとして渡され、AIが組み立てる受付定理はそのmoduleが定義する型を入出力に持つよう強制されます。
4. τ²-benchの金融ドメインで作った
τ²-benchは顧客対応AIエージェントのベンチマークで、τ-benchの後継にあたります(τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment、sierra-research/tau2-bench)。採点は会話が終わった時点のデータベースを正解の状態と比べる方式で、τ-benchと同じです。使用したのは金融ドメインで97タスクあります。
実装は、役割の違う複数のエージェントとLean実行系を組み合わせた構成です。客と会話するのは受付エージェントのみで、以下の6ステップで動作します。
- 受付エージェントが客の依頼を受理し、命題作成エージェントへ指示を出す
- 命題作成エージェントが、事実グラフの初期状態を確認し、客の目的を命題として定義する
- 証明作成エージェントが、事実グラフが最終状態に未到達なら業務公理に従って証明を作成する
- Lean実行系が証明をコンパイルする。通らなければ証明作成エージェントへ差し戻す。通れば事実グラフを投入して実行し、「不足している事実のリスト」を出力する
- 受付エージェントが不足事実のリストを受け取り、会話やDBのread/updateで事実を集め、事実グラフを更新してステップ3に戻る
- 事実グラフが最終状態に到達したら、受付エージェントが客へ完了を報告して終了
5. 目的は最終状態の命題で表す
客の目的は、会話でたまった事実についての1文(命題)として置かれ、到達すべき最終状態だけを言い、途中の手続きは指定しません。受付エージェントは会話で確かめたことを「事実」としてため、この事実を述語の矢印で結んだ集まりを「事実グラフ」と呼んでいます。
紹介ボーナスの問い合わせを例に、客が「友人を4人紹介して全員承認されたのに紹介ボーナスが2人分しか入っていない」と問い合わせたケースが紹介されています。命題作成エージェントが選んだ終わりの条件は「ボーナスが付いていない紹介のそれぞれについて、付いていない理由を客に伝え終えている(銀行の記録は何も変えない)」という1文です。
実際の顧客対応では客の目的は会話の中で変わるため、今回の実装では命題は会話に合わせて差し替えられ、同時に複数存在してもよい設計にしています。複数の命題は順番に並べて持ち、1つが真になったら次へ移ります。どの命題も同じ事実グラフを読むため、一度確かめた事実は別の命題でもそのまま使えます。
紹介ボーナスの会話例では、4件のうちボーナス対象は2件で、1件は「7日間に2件まで」という上限超過、もう1件は利用額の条件を満たす途中でした。会話は、客の特定→本人確認→紹介4件の読み取り→理由の伝達、という順で進み、最後に命題が真になりました。
6. 判断はLLM、手順の保証は決定論
金融ドメインの業務ルールには「緊急事案については、事態の深刻さを認め、共感的で切迫感のある言葉づかいで応対すること」のような、定理証明では扱えない人間向けの規則もあります。筆者は、これを「判断」と「手順」に分解し、「共感的で切迫感のある返答か」をLLMに確認させる手順を置いたうえで、その手順が必ず行われることを決定論で保証する方法を取っています。
確認の中身はLLMに任せ、その確認が必ず行われることは決定論で保証する、というのが設計の考えです。客の言葉から目的を読み取って命題にする部分もLLMが担い、正しさは機械的には保証されません。この区別が設計の中心だとしています。
処理系が担う部分が増えるほど、LLMが読む量と推論する量は減るとされ、その理由として、処理系が「不足している事実」だけを返すこと、業務公理から決まる判定は処理系が計算すること、業務公理から導けない操作はコンパイル時点で弾かれやり直しの往復が減ることの3点が挙げられています。
7. 試してみてわかった課題
筆者は、τ²-bench(sierra-research/tau2-bench、論文: arXiv:2506.07982)をMITライセンスで公開したSierraの研究チームに感謝を述べています。
実装を進める中で、文書が答えを一つに決めていない箇所や、文書と模範解答がずれている箇所がかなりの割合であったことが分かりました。規則をLeanに写すと、受付エージェントはそうした箇所で推測で埋めずに止まります。開発用の74タスクのうち29タスクがこのずれに当たり、うち23タスクは文書や指示を補った版で満点を取っています。
具体例として、task_087(カード不正利用の申し立てで客負担の上限が50ドルか500ドルか、文書から額を導けないケース)と、task_077(新しいカードの配送方法とデザインの選択で、客エージェントへの指示が模範解答に届かないケース)が挙げられています。補足の提案は22件(32タスクぶん)まとまっており、公式リポジトリへのPull Requestとして出す準備をしているものの、まだ1本も出していないとのことです。
8. 今後の展望
2026-11-03時点で、金融ドメイン97タスクのうち74タスクを開発に使い、残る23タスクは評価専用として取り置かれています。開発用タスクの内訳は、公式の採点で満点かつ証明完了が45タスク、文書と模範解答のずれがあり補った版で満点が23タスク、同ずれで補った版が未確認が0タスク、作業中が6タスクです。
次の課題として、作業中の6タスクを終えて評価専用の23タスクで評価すること、既定の枠組みのエージェントで解いた場合とこの構成で解いた場合の消費トークン数を比較することが挙げられています。
また、現在は費用の制約から定額コーディングエージェントのサブエージェントを使って実装・実行しており、精度が安定したらAPI経由のLLMで隔離された環境での実証を目指すとしています。2026-10-26時点でこの形で実行したのはまだ一部の5タスクのみです。
このタスクに限ればProlog(論理型言語)でも満点を取れた見込みだとしつつ、どの規則が証明を要するかは規則を写してみるまで分からないため、最初からLeanを選んだと説明されています。τ²-benchの公式リーダーボードは提出を「標準(standard)」と「カスタム(custom)」に分けており、複数のエージェントとLeanの処理系を組み合わせた今回の構成は「カスタム」に当たります。
また、規則に厳密に従うことと点数は別だとも述べています。自然文で書かれた規則には矛盾やどこまで調べれば終わるか決まらない箇所があり、規則を厳密に扱うほど文書が決めていない所で止まる場面が増え、点数が下がる可能性があるとしています。
今後の応用について
今回扱ったのはτ²-benchのカスタマーサポートですが、「複雑な業務ルールをAIに守らせたい」という要求は会計、税務、人事労務にもあるとしています。税務申告はその典型例として挙げられ、申告や納付の期日・税額は条文から値が決まるため純粋関数として書け、ある支出が交際費等に当たるかという判断のように条文から決まらない部分は外から渡す問いとして切り分けられるとしています。freeeは申告の領域でもプロダクトを作っており、この形をそこでどう活かせるか考えていきたいと述べられています。
補足として、公理は「絶対に動かせない前提」ではなく差し替えられるパラメータであり、平行線公準の例(採る公準によってユークリッド幾何学にも非ユークリッド幾何学にもなること)を引いて、業務ルールも会社や業務が変われば差し替えられる前提として「業務の公理系」と呼んでいると説明しています。なお今回の実装では公理の追加は不要で、defによる定義だけで実現しており、#print axiomsで証明が依存する公理を機械的に列挙して確認しているとのことです。
まとめ
- 業務ルールが複雑になると、AIエージェントは悪意なく判断を誤り、同じ依頼でも結果が一定しない。pass^kで測ると、1回なら約61%解ける課題も8回連続では約25%まで落ちる。決定論だけでは曖昧な自然言語入力を扱えない
- 解決策として、業務ルールをLeanに写し、会話のたびに「この会話の事実は客の目的を満たしている」という定理を立てて、定理証明支援系がその正しさを検める構成を取った
- 客の目的は「事実グラフの最終状態」として命題で表現し、手順は指定しない。命題は会話に合わせて差し替えられ、複数あってよい
- 決定論で扱えない規則は、「判断の中身はLLM、判断が必ず行われることの保証は決定論」に分解する
- 形式化によって、文書が答えを一つに決めていない箇所や模範解答とずれている箇所が表に出てきた。開発用の74タスクのうち29タスクがこれに当たる
コードは近日、https://github.com/chisakiShinichirouToshiyuki/tau-proven-agent で公開予定(2026-11-5時点では未公開)とされています。