記事のサマリー（TL;DR）
- ALTK-EvolveはモデルのWeights更新なしに過去軌跡からガイドラインを自己蒸留し、推論時に再注入する学習ループ
- gpt-oss-120b（117B MoE）は「コア+タスク別取得」構成でTGC+16.1pp、かつトークン増加は+5%のみ
- DeepSeek-V3.2（671B MoE）はフルガイドライン注入でTGC+9.5pp／SGC+16.1pp、一方GLM-5（745B MoE）はゼロ改善の「飽和」パターン
国内AI・SaaS開発チームがエージェント設計で押さえるべき投与量設計の視点
マルチステップ業務エージェントを自社サービスに組み込む企業では、利用するモデルの能力帯によってメモリ戦略を変える必要があります。本研究の知見を国内環境に引き寄せると、以下の点が実務上の判断軸になります。
第一に、モデル選定とメモリ設計はセットで検討することが求められます。API課金型のフロンティアモデル（GPT-5.5やClaude Opus 4.6相当）を使う場合はフルガイドライン注入が有効ですが、プロンプトキャッシュの活用なしには推論コストが膨らみます。一方、軽量・中規模モデルで構築するオンプレミスやVPC環境では、厳選取得（curated retrieval）の方がコスト効率と精度を両立できます。
第二に、コサイン類似度ベースのガイドライン取得は暫定解である点です。本研究でも次のステップとして「アウトカム信号で学習したセレクター」が挙げられており、kintone・Salesforce・Stripeなどの業務APIを叩くエージェントでは、タスク成否フィードバックをループに組み込む設計が精度向上の余地を生みます。
第三に、プロンプトキャッシュを前提とした設計です。静的なガイドラインセットプレフィックスをキャッシュ可能な形で固定することは、コスト最適化の実装上の優先事項であり、Claude / GPT API 両方がサポートする機能です。
詳細
背景：エージェントメモリは「オン/オフ」ではなく「投与量」の問題
IBM Researchの前稿では、ALTK-EvolveとACEを比較し、自己蒸留ガイドラインをタスクごとに少数取得するか全件注入するかで精度とコストが変わることを示しました。本稿はその前段、**「そもそも何をどれだけ与えるべきか」**という問いに立ち返ります。
8モデル（30B密モデルからフロンティア商用モデルまで）でスケール評価した結果、浮かび上がった知見は明確です。エージェントメモリは有効化する機能ではなく、モデルに合わせて校正する投与量だということです。
ALTK-Evolveの学習ループ
「メモリ」とは過去の会話ログを再生することではなく、エージェント自身の過去軌跡から蒸留されたガイドラインセット（有効だった戦略・避けるべきミス・エッジケース）を指します。
ループの流れは次の通りです。
- エージェントがタスクを試行し、軌跡を生成する
- ALTK-Evolveが成功・失敗両方の軌跡から行動ガイドラインを抽出する
- ガイドラインを再利用可能なセットに統合する
- 推論時に、エージェントはフルガイドラインセットまたはタスク関連の選択セットを受け取る
モデルWeightsは一切更新されません。学習ループはモデルが参照できるガイダンスを変えるだけであり、だからこそ採用コストが低く、テスト済み8モデルをまたいで移植できます。
評価設定：AppWorldベンチマーク
評価にはAppWorld（カレンダー・メッセージング・決済など9つのシミュレートアプリにまたがる585タスク、168の test_normal + 417の test_challenge）を使用しました。
スコアリングは2種類です。
- TGC（Task Goal Completion）：エージェントが個々のタスクを完全・正確に完了した割合
- SGC（Scenario Goal Completion）：同一シナリオの全バリアントに成功した場合のみカウントする厳格な指標。信頼性を測るオール・オア・ナッシングの基準
比較する3つの構成
| 構成 | コンテキストに含まれるもの |
|---|---|
| ベースライン | メモリなし（出荷時のエージェントそのまま） |
| フルガイドラインセット | マイニングしたガイドライン全件をReActステップごとに注入 |
| 厳選取得（Curated Retrieval） | 高信頼コアガイドライン（固定部分）＋タスクごとに取得した関連ガイドライン（可変部分） |
ガイドラインはAppWorldのトレーニングスプリットのみから1回マイニングされます。テストスプリットのデータはガイドライン構築に一切使われません。
3つのパターン：能力帯別の結果
8モデルのスイープから代表モデルをピックアップした結果（test_normal TGCベース）：
| モデル | パターン | ベースライン TGC / SGC | ベストメモリ TGC / SGC | 最良構成 | ΔTGC | ΔSGC |
|---|---|---|---|---|---|---|
| gpt-oss-120b（117B MoE） | 弱い/選択的 | 39.9 / 21.4 | 56.0 / 37.5 | 厳選取得 | +16.1 | +16.1 |
| DeepSeek-V3.2（671B MoE） | 強い/余地あり | 79.8 / 64.3 | 89.3 / 80.4 | フルガイドラインセット | +9.5 | +16.1 |
| Claude Opus 4.6 | 強い/余地あり | 90.5 / 87.5 | 94.6 / 94.6 | フルガイドラインセット | +4.1 | +7.1 |
| GPT-5.5 | 強い（天井近傍） | 92.3 / 82.1 | 95.2 / 89.3 | フルガイドラインセット | +2.9 | +7.2 |
| GLM-5（745B MoE） | 飽和 | 87.5 / 80.4 | 87.5 / 80.4 | フルガイドラインセット | 0.0 | 0.0 |
SGC列を見ると、より厳格な指標ほど改善幅が大きい傾向があります。DeepSeekのSGCは+16.1pp（TGCは+9.5pp）と伸び、良質なガイドラインがシナリオ全バリアントをクリアする助けになっていることが分かります。また、TGC上位のGPT-5.5とClaude Opus 4.6も、SGCでそれぞれ+7.2pp・+7.1ppの改善を示しており、残存する失敗モードが存在する限りメモリは効果を発揮し続けることを示しています。
3パターンの意味
- 強いモデル（余地あり）：フルガイドラインセットを吸収・適用できる能力を持ち、レアなエッジケース知識も含めた全ガイドラインが有効。DeepSeek-V3.2（671B MoE）がこれに当たります。
- 弱い・中堅モデル：大規模なガイドラインセットに圧倒される傾向があります。gpt-oss-120bの場合、フルセット注入より厳選取得の方が精度が高く、コストも約50%低くなりました。
- 飽和モデル：GLM-5（745B MoE）のように、タスク上限に達している・ガイドラインが残存失敗を対象にしていない・ガイダンスを適用できていないなど複合的な理由で改善ゼロのパターン。「飽和」はあくまで観察された結果を表すラベルであり、確定した原因説明ではないと研究者は明記しています。
パラメータ数だけがパターンを決めるわけではなく、ベンチマーク上の余地、コンテキストウィンドウサイズ、アーキテクチャ、ガイドライン品質、タスク分布が複合的に影響します。
コストの現実：安い戦略が最善戦略になりうる
フルガイドライン注入はReActステップごとにガイドラインを再送するため、入力トークンを膨張させます。
| モデル | 構成 | トークン数/タスク（ベースライン） | トークン数/タスク（＋メモリ） | オーバーヘッド |
|---|---|---|---|---|
| DeepSeek-V3.2 | フルガイドラインセット | 148K | 263K | +78% |
| gpt-oss-120b | フルガイドラインセット | 110K | 166K | +51% |
| gpt-oss-120b | 厳選取得 | 110K | 116K | +5% |
重要な点が2つあります。
①厳選取得はコストをほぼベースライン水準に保つ。弱いモデルでは精度でも厳選取得が優位であるため、精度・コスト両面で最善の選択肢になります（gpt-oss-120bでTGC+16.1ppをトークン+5%で達成）。
②メモリは推論ループを長くしない。DeepSeekのReActステップ数はメモリ有無でほぼ同じ（平均約18〜19ステップ）であり、コスト増加の主因はステップ数でなく入力トークンの膨張です。
本番環境での効率レバーとして最も有効なのはプロンプトキャッシュです。ガイドラインセットの静的部分はステップをまたいで同一であるため、キャッシュ可能なプレフィックスとして固定することで実効コストを大幅に削減できます。なお、コンテキストウィンドウサイズがガイドライン吸収効率に与える影響については、現時点で制御実験は実施されておらず、継続的な研究課題とされています。
今後の方向性
研究チームが挙げる次のステップは以下の通りです。
- 学習済みセレクター：現在のコサイン類似度ベースの取得に代わり、アウトカム信号で訓練されたセレクターの開発
- 非常に弱いモデルへのメモリ適用：自己蒸留のシグナルが不十分な能力帯向けに、教師蒸留メモリを別問題として探索
- AppWorld以外への拡張：他のエージェントベンチマークや実世界デプロイメントでの検証
- コンテキストウィンドウの影響分離：コンテキストサイズと生の能力を切り分けた制御実験
ALTK-Evolveライブラリ（抽出・統合・取得パイプライン一式を含む）はオープンに公開されており、フルテクニカルレポートでは完全な手法とアブレーション結果を確認できます。
付録：メトリクス定義
- TGC（Task Goal Completion）：エージェントが個々のタスクを完全・正確に完了した割合。「仕事を完了したか」のヘッドライン指標。
- SGC（Scenario Goal Completion）：各シナリオが同一タスクの複数バリアント（異なるデータ・表現・エッジ条件）をまとめたものとして定義され、全バリアント成功時のみカウント。TGCより厳格で信頼性を測ります。TGCでは大半のバリアントを解けても1つ失敗すれば計上されないため、SGCは一貫性の指標として機能します。