記事のサマリー(TL;DR)
- IBMはLLM向けのマークアップ言語「LLMON(LLM Object Notation、発音は「レモン」)」を開発し、Granite 4.1ベースモデルから派生した実験的プレビューモデル「granite-4.1-3b-LLMON-preview」「granite-4.1-8b-LLMON-preview」を公開しました。
- LLMONは予約済みの特殊トークンによる区切りでタグを表現し、命令・データ・要件などのコンテキスト要素を明示的に分離することで、間接的なプロンプトインジェクション攻撃への耐性を高めたと説明されています。
- 関連ツールとして、LLMONを扱うためのツールキットやワークフロー例を含むGitHubリポジトリ、JSONとLLMONを相互変換する変換ツール、LLMONをネイティブ対応した「Mellea」、Attentionの挙動を可視化する「LLMON Attention Visualization」デモが合わせて公開されています。
詳細
背景:コンテキストの構造が暗黙的であることの問題
LLMは次のトークンを生成するためにコンテキストを利用します。長い対話の過程で、コンテキストにはシステムプロンプト、過去の会話ターン、取得した文書に作用する命令、ツールの応答やユーザーデータ、許容される出力を制約する要件、推論の連鎖など、多様な要素が蓄積されていきます。こうしたコンテキストは豊かな構造を持ちますが、その多くはモデルにとって暗黙的であるか、JSONのようなLLMの読解を想定していない形式で符号化されています。これが、特に小規模なLLMが脆弱で、予期しない形で失敗する主な理由の一つだとされています。また、こうした明示的な構造の欠如は、プロンプトインジェクションのような攻撃者に悪用される可能性もあるとしています。
この課題に対応するため、IBMは構造と意味をモデルに明示的に伝えるLLMネイティブなマークアップ言語「LLMON」を開発しました。意味的にまとまったコンポーネントは、予約済みの特殊トークンによる区切りで囲まれた、意味のあるタグで示されます。ネストを含むデータスキーマは、因果的なLLMにとって曖昧さのない形で記述されます。一意のIDにより、コンテキスト内のどこにあっても特定の命令を指し示し、それが作用すべきデータペイロードと結びつけることができ、これはプログラミング言語における関数呼び出しと引数の受け渡しに似た仕組みだとされています。
公開内容
今回、Granite 4.1ベースモデルから派生し、LLMONでマークされたテキストの読み書きを学習した2つの実験的プレビューモデル「granite-4.1-3b-LLMON-preview」と「granite-4.1-8b-LLMON-preview」が公開されました。あわせて、LLMONを扱うためのツールキットやワークフロー・テンプレートの例を含むGitHubリポジトリも公開されています。
LLMONが可能にすること
ユーザーデータに隠された間接的なプロンプトインジェクションは、命令とデータの明示的な分離により、LLMONモデルではほとんど無視されるとされています。一部のベンチマークでは攻撃成功率がほぼゼロまで低下する一方、通常の指示チューニングモデルは高い確率で乗っ取られてしまうとのことです。これは、Granite 4.1 Instructモデルと比較して全体的な能力を維持したまま達成されているとしています。
無関係な文章、過去のチャットのやり取り、ツールの出力は、各命令が作用すべき正確なデータに紐づけられているため、回答に紛れ込むことがないとされています。命令・データ・要件は明確にマークされているため、アプリケーションのコードレベルでの構造と意味をモデルが活用できるとしています。
LLMONはMelleaで試すことができ、MelleaはLLM呼び出しを自動的にLLMON化するネイティブ対応を備えています。これにより、LLMにJSON構造を守らせるよう強制する必要がなくなるとしています。既存のJSONを損失なくLLMONに変換するための変換ツールも提供されています。また、独自の構造や関連タグを定義し、LLMONモデルの上にLoRAをチューニングしてそれを理解させることも可能だとしています。
なぜJSONではないのか
JSONはパーサーのために設計されたものであり、因果言語モデルのために設計されたものではないと説明されています。トークナイザーは文法を遵守するよう制約されておらず、構造は通常のテキストにも現れうるトークン({、"、:)によって符号化されます。モデルにとっては、文書内の引用符とフィールドを閉じる引用符は同じトークンに見えます。パーサーにとっては明確なエスケープ規則も、モデルにとっては統計的なパターンに過ぎません。ネストの深さは括弧を数えることで符号化されますが、これはトランスフォーマーが特に長いスパンにわたって苦手とすることが知られています。
これに対しLLMONは、構造を示す区切りが文字ではなく予約済みの特殊トークンであるXMLライクなマークアップであり、構造と内容が語彙の別々の部分を使う形になっています。タグは各スパンの先頭で示され、スパン間の境界は明示的です。ネストされた構造はローカルに記述されるため、モデルは長いスパンにわたって階層を追跡する必要がないとされています。多くのチームがすでにJSONを中心としたパイプラインを構築していることを踏まえ、JSONとLLMONを損失なく相互変換する変換ツールとサンプルのノートブックが作成されたとのことです。
LLMONとチャットテンプレートの関係
LLMONはチャットテンプレートを置き換えるものではなく、それを拡張するものだと説明されています。通常のチャットテンプレートがどの部分がどのロール(system、user、assistant)に属するかをモデルに伝えるのに対し、LLMONは各コンポーネントが何を意味し、ロール内・ロール間でどのように関連しているかをモデルに伝えます。
LLMONプレビューモデルは独自のチャットテンプレートを備えているため、通常のチャットモデルに渡すのと同じメッセージリストを構築し、通常どおりapply_chat_templateを呼び出せば、以下に示すLLMONがレンダリングされます。唯一の違いは、ターンの各部分に名前を付け、それぞれをexec: TrueまたはFalseとマークできる点です。Trueとマークされた部分は、レンダリングされた出力の末尾にあるexecブロックに組み込まれ、どの命令を実行し、何を対象とするかを示します。Falseとマークされた部分はコンテキストにはレンダリングされますが、どこからも参照されません。
記事では、以下のようなメッセージ例が示されています。
messages = [
{
"role": "user",
"instruction": [{ "value": "Write a short paragraph about", "exec": True }],
"data": [{ "value": "IBM Company", "exec": True }],
"requirement": [
{"value": "Use less than 10 words", "exec": True},
{"value": "Do not use commas", "exec": True}]
}
]
このメッセージは、モデルには次のような形でレンダリングされて渡されます(改行とインデントは読みやすさのために追加されたもので、実際のテンプレートは何も挿入しません)。
<|open|>instr<|:|>Ȗ<|close|>Write a short paragraph about<|open_end|>
<|open|>data<|:|>ä¦<|close|>IBM Company<|open_end|>
<|open|>req<|:|>Á¼<|close|>Use less than 10 words<|open_end|>
<|open|>req<|:|>¢¬<|close|>Do not use commas<|open_end|>
<|open|>exec<|:|>ÄÐ<|close|>
<|open|>exec<|.|>instruction<|close|>instr<|:|>Ȗ<|open_end|>
<|open|>exec<|.|>input<|close|>data<|:|>ä¦<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>Á¼<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>¢¬<|open_end|>
<|open|>exec<|.|>output<|close|>assistant<|:|>ãø<|open_end|>
<|open_end|>
<|open|>assistant<|:|>ãø<|close|>
2文字のブロックIDは、このトークナイザーが単一トークンとして符号化する固定セットから選ばれるため、どのIDが使われてもブロックを参照するコストは常に2トークンになるとされています。ロールとしては依然として単一のuserターンですが、そのコンポーネントは5つの独立してアドレス指定可能なブロックとしてモデルに届き、それらは6番目のブロック(execブロック)によって結び付けられます。execブロックは「この命令を、このデータに対し、これら2つの要件に従って実行し、答えをここで示すブロック(モデルが実際に埋めるassistantブロックと同じもの)に入れる」ことを示しています。従来のテンプレートであれば、すべてのコンポーネントを1つの文字列にフラット化し、どの部分がタスクで、どの部分が対象で、どの部分が制約なのかをモデルの推測に委ねていたはずだとされています。
LLMONによるプロンプトインジェクション攻撃への対応
間接的なプロンプトインジェクションとは、悪意のある命令が、取得した文書やツールの応答、ユーザー提供のデータといったデータペイロードの中に隠される攻撃の一種です。これはLLMONの命令・データ分離が対処するよう設計された問題だとされています。
LLMONのプレビューモデルは、複数のオープンソースモデルおよびクローズドソースモデルと比較評価されました。評価には、古典的なNLPタスクのデータ内にインジェクションを仕込むOPIベンチマークが用いられ、複数の攻撃手法が使われました。評価指標としては、頑健性(1マイナス攻撃成功率、すなわちモデルが注入された命令を実行しなかった割合)が報告されています。
LLMON以外のすべてのモデルは攻撃に対して非常に脆弱で、高い確率で注入された命令を実行してしまったとされています。これに対しLLMONは、このベンチマークにおいて問題を実質的に解消し、テストした中で最も優れたフロンティアモデルと比較して47%多くの攻撃を回避し、最も優れたオープンソースモデルと比較しては95%多くの攻撃を回避したとしています。他のベンチマーク(ASBおよびStruQ)でも同様の傾向が見られたとのことです。
なお、これらのベンチマークは静的な間接的プロンプトインジェクションに対する頑健性を評価するものであり、命令・データ分離はこのタイプの攻撃に直接対応するものだとされています。複数の対話ターンにわたって展開される適応的な攻撃への対応についても、引き続き改善を進めているとしています。
全体的な能力
安全性の向上は全体的な能力を犠牲にして得られたものではないとされています。標準的なベンチマークのカテゴリー全体において、LLMONモデルはGranite 4.1 Instructモデルと同等の性能を示したとのことです。つまり、現在Granite 4.1の3Bまたは8Bを試しているユーザーであれば、LLMONプレビューに置き換えることで、全体的な性能はほぼ同等に保ちながら、プロンプトインジェクションに対する耐性を大幅に高められるはずだとしています。変換パイプラインは不要で、ターンの各部分に(上記の例のようにinstruction、data、requirementといった)名前を付けるだけで十分であり、付属のチャットテンプレートがそれらをLLMONブロックに変換するとされています。LLMON-convertersライブラリはさらに一歩進んでおり、ある部分自体がJSON文書のように構造化されている場合、それをLLMON化することで、1つの不透明な文字列としてではなく、型付けされた個別にアドレス指定可能なブロックとして構造を保持するとしています。
モデルの学習方法
このモデルは、公開済みのinstructモデルではなくGranite 4.1のベースチェックポイントから学習を開始しており、LLMONの挙動は既存のチャット形式の上に後付けされるのではなく、事後学習(post-training)の過程で学習されるとされています。LLMONは、タグの開始・終了を示し、ネストとアンカリングを可能にする6つの区切り記号を定義しており、これらはトークナイザーに予約済みの単一トークンとして組み込まれています。
従来の指示チューニング用コーパスはLLMON形式に再シリアライズされ、すべてのプロンプトのコンポーネントが独立してアドレス指定可能なブロックとなり、各ターンにはどの命令を実行し、どの入力に作用し、出力をどこに送るかを示す実行ブロックが付与されています。タスクの構成(チャット、マルチターン、RAG、ツール呼び出し)は通常のinstructモデルが扱うものと同様であり、これがベンチマーク性能が従来のチューニング済みモデルに近い水準を保っている理由だとされています。
さらに、コンテキスト内には存在するものの意図的にどこにも紐づけられていない「おとり」の命令・データブロックをデータに加えつつ、目標となる出力自体は変更しない、という形でデータが拡張されています。これにより、モデルは実行ブロックが指定する依存関係にのみ従い、それ以外は無視することを学習するとされています。
その後に強化学習が続きます。具体的には、マルチドメイン推論、RLHF、知識の較正、数学にまたがる5段階の逐次的なGRPOステージを経て、最後にモデル自身がインジェクション攻撃の試みに応答した結果から構築された1,000組のオンポリシー選好ペアを用いたDPOステージが実施されたとしています。
こうした構成から導かれる特権ルール(実行ブロックを通じて参照される命令は権威あるものとして扱われ、入力として参照されるもの(データ、文書、ツールのスキーマ、ツールの結果)は従うべき命令ではなく読むべき素材として扱われるというルール)は、追加のガードレールとしてではなく、この設計自体から生まれるものだとされています。さらに、実行ブロックで呼び出されない命令やデータのスパンは無視されるとのことです。これは学習された挙動であり、強制された保証ではないと明記されています。LLMONモデルのAttention層でこれがどのように現れるかは、Hugging Face Spaces上の「LLMON Attention Visualization」で確認できるとしています。
独自の語彙を持ち込む(ScienceWorld)
LLMONは固定のスキーマに縛られておらず、自分のドメインに合ったタグ名や構造を選び、それらを読み書きできるようアダプターをファインチューニングできるとされています。この例として、エージェントが(お湯を沸かすといった)初等的な科学タスクを一度に一つのコマンドを発行することで実行し、シミュレーターからスコアを受け取るテキストベースのベンチマーク「ScienceWorld」が用いられています。
このタスクの解決に関わる計画の軌跡(planning trajectories)の構造を捉える語彙が定義され、instr.task.goal、req.planning_policy.rule、data.state.room、data.state.inventory、assistant.next_actionといったタグが含まれているとしています。ScienceWorldの参照解答のすべてのステップがこれらのタグでレンダリングされ、LLMONモデルの上にLoRAがチューニングされました。学習済みモデルは、保留されたゲームをプレイし、新しい語彙で次の行動を記述するとされています。参照軌跡の変換からテストゲームのプレイ、未学習のベースモデルに対するアダプターの評価までの全体のワークフローを示すノートブックが用意されており、ツール呼び出しエージェント向けの別の例を示すノートブックも別途公開されています。
試用にあたって
これは実験的なプレビューであり、探索・評価のためのものであって、本番環境向けではないとされています。
- モデル: granite-4.1-3b-LLMON-preview、granite-4.1-8b-LLMON-preview
- 可視化デモ: LLMON Attention Visualization
- LLMONリポジトリ: https://github.com/generative-computing/llmon
- Mellea: https://github.com/generative-computing/mellea
- 論文: https://arxiv.org/abs/2610.38120、https://arxiv.org/abs/2603.22519
記事では、何がうまく機能し、何がうまく動かなかったか、またどのようなユースケースを見たいかについて、GitHub Discussionsに投稿してフィードバックを寄せるよう呼びかけています。