記事のサマリー(TL;DR)
- Liquid AIは新世代の基盤モデル群「LFM3(Liquid Foundation Models)」を発表しました。テキスト・画像(vision)・音声(audio)・オムニ(omni)・意思決定(decision)の各モデルを、2Bパラメータ前後の共通バックボーン「LFM3-1.7B-Base」から派生させています。
- LFM3-1.7Bは、新たな「トライハイブリッド」アーキテクチャと学習レシピにより、前世代のLFM2.5-2.6Bに対しパラメータ数を35%削減しながら性能で上回るとしています。
- 各モデルは単一GPUでファインチューニング可能で、テキストモデルは4bit精度で約1GBに収まり、256Kトークンのコンテキストウィンドウによりオンデバイスでのエージェント実行を想定しています。
詳細
LFM3がLFM2系から変更した4つの主な点
Liquid AIは、従来のLFM2ファミリーと比較してLFM3が次の4点を変更したと説明しています。
- パラメータあたりの性能向上:新しいトライハイブリッドアーキテクチャと学習レシピにより、LFM3-1.7BはLFM2.5-2.6Bに対しパラメータ数を35%少なくしながら上回る性能を示すとしています。
- 全モダリティを単一バックボーンに統合:LFM3-1.7B-Baseから学習された、テキスト・画像・音声・オムニ・意思決定の2Bクラスのモデル6種を提供します。初のオムニモデルと、画像モデルにおける動画入力対応が含まれます。
- エッジ向けの設計:テキストモデルは4bit精度で約1GBに収まり、新しい自社開発の画像・音声エンコーダが処理を高速化し、テキストモデルの256Kコンテキストウィンドウによりオンデバイスでのエージェント実行が可能だとしています。
- 特化のしやすさ:すべてのモデルが単一GPUでファインチューニング可能で、自社のデータ・用語・展開環境に適応できるとしています。
より表現力の高いバックボーンの構築方法
LFM2では、短い畳み込み(short convolutions)とアテンションのハイブリッドがオンデバイスで品質を落とさず高速に動作することが示されたと説明されています。LFM3では、ハードウェアと連携したアーキテクチャ探索(hardware-in-the-loop architecture search)を用いて、エージェント的なユースケース向けにアーキテクチャを再設計したとしています。こうしたユースケースでは、パラメータあたりの能力向上と、長いコンテキストにおける高速な推論が求められるとしています。
この探索は現在、スマートフォンやRaspberry Pi 5からノートPC、クラウドCPU、GPU、Qualcomm Hexagon NPUまで、14種類のデバイス・バックエンドの組み合わせを対象としています。
LFM3-1.7B-Baseは24層構成で、以下の4つの主な変更点があります。
- トライハイブリッドの層構成:13層のゲート付き短畳み込み、256トークンのウィンドウを持つスライディングウィンドウアテンション(SWA)5層、グローバルアテンション6層。畳み込みのカーネルサイズはLFM2の3から7に拡大されています。
- ヘッド単位のゲート付きアテンション:シグモイドゲートが各ヘッドの出力をスケーリングし、追加すべき情報がない場合にヘッドをオフにできるようにしています。これにより、量子化を妨げる活性化の外れ値を抑制できるとしています。
- 部分的RoPE:グローバルアテンション層では各ヘッドの最も周波数の高い半分のみを回転させ、残り半分は距離に関わらず内容ベースで一致させます。SWA層は従来通りフルRoPEを維持します。
- サンドイッチ正規化(Sandwich norm):各ブロックが入力と出力の両方を正規化し、活性化を適切なスケールに保ちます。
Liquid AIによると、この変更の効果は長いコンテキストで表れるとしています。パラメータあたりで見ると、LFM3-1.7Bは短いプロンプトにおいてエッジデバイス全般でLFM2-1.2Bと同等の性能を示し、8Kトークンのコンテキストでは約25%高速だとしています。
LFM3-1.7B-Baseは22兆トークンで事前学習されており、語彙はLFM2.5-8B-A1Bと同じ128Kを使用しています。最後の3.5兆トークンは、エージェント的なトレースやツール呼び出しの割合を増やした厳選データによる中間学習段階であり、これによりコンテキストウィンドウも256Kトークンまで拡張されたとしています。
1つのバックボーンから6つのモデルへ
すべてのLFM3モデルはLFM3-1.7B-Baseから分岐しています。単一の大規模汎用モデルを動かすのではなく、入力に合ったモデルを選び、カスタマイズし、オンデバイスで実行する構成です。
| モデル | 入力 | 出力 | 構成 |
|---|---|---|---|
| LFM3-1.7B | テキスト | テキスト | LFM3-1.7B-Base |
| LFM3-VL-2B | テキスト、画像、動画 | テキスト | LFM3バックボーン + 画像エンコーダ |
| LFM3-Audio-2B | テキスト、音声 | テキスト、音声 | LFM3バックボーン + 音声エンコーダ、音声デコーダ、LiquidCodec |
| LFM3-Omni-2B | テキスト、画像、動画、音声 | テキスト、音声 | LFM3バックボーン + 画像・音声エンコーダ、音声デコーダ |
| d1-2B | テキスト、画像、動画 | 確率付きの判定結果 | LFM3-VL-2B |
| d1-omni-2B | テキスト、画像、動画、音声 | 確率付きの判定結果 | LFM3-Omni-2B |
画像・音声モデルには、新たに自社開発した2種類のエンコーダが使われています。
- 画像エンコーダ:畳み込みとアテンションを組み合わせ、従来のLFM VLモデルで使われていたSigLIP2エンコーダと比較して計算量を3分の1に抑えているとしています。164Mパラメータのこのエンコーダは、Qwen3.5-2Bの画像エンコーダと同等の精度を、2.2分の1のFLOPsで達成しているとしています(いずれも同じLFM2.5-230M言語バックボーンで測定)。動画については、サンプリングしたフレームをペアごとに1つの時間スライスへ埋め込み、時間方向のシーケンス長を半分にしているとしています。
- 音声エンコーダとLiquidCodec:音声エンコーダはスライディングウィンドウアテンションと短畳み込みを組み合わせ、完全に因果的(causal)であるため、発話中にモデルがプリフィルでき、最初のトークンまでの時間は最短50ミリ秒だとしています。新しい音声トークナイザーであるLiquidCodecは、生成されたトークンをApple M4 Max上のシングルCPUスレッドで実時間の約87倍の速度で音声に変換し、ストリーミングデコードにも対応しているとしています。
LFM3モデルの使い方
各モデルはtransformersで動作します。以下のコードはモデルカードから抜粋したもので、モデルカードには各モデルが対応する他の推論エンジンも記載されています。
LFM3-1.7B
ローカルでのエージェント実行、ツール呼び出し、構造化出力、またはドメイン特化のファインチューニングのベースが必要な場合にLFM3-1.7Bを使用します。Hermes Agent、Pi、OpenClawなどのエージェント実行環境(agentic harness)で動作するよう事後学習(post-trained)されています。前世代のLFM2.5-2.6Bをパラメータ数35%減で上回り、特にエージェント的タスクで大きな向上が見られるとしています。WebArena-Verifiedでは38.42点(対する旧モデルは3.02点)を記録し、ブラウザやビジネスアプリでの長時間タスクではQwen3.5-9Bをも上回るとしています。詳細はLFM3-1.7Bのモデルカードに記載されています。
実行するには、最新版のtransformersをインストールします。
pip install -U transformers
続けてモデルを読み込んで実行します。
from transformers import pipeline
generator = pipeline(
"text-generation",
model="LiquidAI/LFM3-1.7B",
trust_remote_code=True,
)
messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(
messages,
do_sample=True,
temperature=0.1,
top_k=50,
repetition_penalty=1.1,
max_new_tokens=2048,
)
print(output[0]["generated_text"][-1]["content"])
ローカルエージェントの設定については、Agent Harnessesガイドを参照するよう案内されています。
LFM3-VL-2B
オンデバイスでの視覚理解が必要な場合にLFM3-VL-2Bを使用します。動画を入力として受け取れる初のLFMビジョンモデルであり、回答前に段階的な推論を行い、物体を検出してその配置について推論するため、ロボティクス用途の基盤として有力だとしています。LFM2.5-VL-3Bと比較してパラメータ数は少なく(1.9B対3.1B)、62種類の視覚ベンチマークの平均スコアは57.6から71.4に向上し、6倍以上の規模を持つGemma 4 12Bに匹敵するとしています。詳細はLFM3-VL-2Bのモデルカードに記載されています。
実行するには、画像関連の依存パッケージとともにtransformers>=5.21.0をインストールします。
pip install "transformers>=5.21.0" torch torchvision pillow
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "LiquidAI/LFM3-VL-2B"
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
messages = [
{
"role": "user",
"content": [
{"type": "image", "url": "https://placecats.com/300/200"},
{"type": "text", "text": "Describe this image."},
],
}
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
with torch.inference_mode():
output_ids = model.generate(
**inputs,
do_sample=True,
temperature=0.1,
top_k=50,
repetition_penalty=1.1,
max_new_tokens=16384, # generate() needs an explicit limit; reasoning can be long
)
generated_ids = output_ids[:, inputs["input_ids"].shape[1]:]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])
ツール呼び出し、ツール検索、llama.cppによるオンデバイス推論についてはLFM3-VL-2Bのモデルカードを参照するよう案内されています。
LFM3-Audio-2B
音声チャット、音声認識、音声合成、または18言語間の翻訳をノートPCやエッジデバイスで行いたい場合にLFM3-Audio-2Bを使用します。テキストまたは音声を入力として受け取り、テキスト・音声またはその両方で応答し、発話された依頼をツール呼び出しに変換できます。LFM2.5-Audio-1.5Bと比較して、新しい自社開発の音声エンコーダと音声コーデックを使用し、音声品質が高く(UTMOSv2で3.83対3.22)、音声理解や汎用的な音声推論、ツール呼び出しにも対応しているとしています。詳細はLFM3-Audio-2Bのモデルカードに記載されています。
実行するには、音声関連の依存パッケージとともにtransformers>=5.20.2をインストールします。
pip install "transformers>=5.20.2" torch accelerate librosa soundfile
import torch
import soundfile as sf
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "LiquidAI/LFM3-Audio-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()
続けて、音声で質問し、テキストと音声で回答を得ます。
conversation = [
{"role": "system", "content": "Respond with interleaved text and audio."},
{"role": "user", "content": [{"type": "audio", "audio": "question.wav"}]},
{"role": "assistant", "content": "<|mixed_start|>"},
]
inputs = processor.apply_chat_template(
conversation,
continue_final_message=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=1024,
audio_temperature=1.0,
audio_top_k=128,
audio_repetition_penalty=1.1,
audio_repetition_window=4096,
return_dict_in_generate=True,
)
text = processor.decode(
outputs.sequences[0, inputs["input_ids"].shape[1]:],
skip_special_tokens=True,
)
waveform = codec.decode(
outputs.audio_codes[:1, :, :outputs.audio_lengths[0]]
).audio_values[0] # 24 kHz
print(text)
sf.write("reply.wav", waveform.float().cpu().numpy(), 24_000)
ライブ音声認識、音声合成、音声理解、ツール呼び出しについてはLFM3-Audio-2Bのモデルカードを参照するよう案内されています。
LFM3-Omni-2B
見て、聞いて、話すことができる単一のオンデバイスモデルが必要な場合に、個別のASRモデル・視覚言語モデル・LLM・TTSモデルの代わりとしてLFM3-Omni-2Bを使用します。画像についての口頭質問に答えたり、動画を見聞きしたり、見聞きした内容をツール呼び出しに変換したりできます。これはLiquid AI初のオムニモデルであり、テキスト・画像・音声を入力とし、テキストと音声の両方を出力できます。視覚質問応答、音声認識、音声合成、指示追従といった各単体LFM3モデルの中核機能も維持しているとしています。LFM3-Audio-2Bと同様にLiquidCodecを通じて発話し、生成トークンを実時間より速く音声に変換するため、生成と同時に音声応答がストリーミングされるとしています。音声・映像を伴う動画理解のベンチマークであるDaily-Omni、WorldSense、AV-SpeakerBenchにおいて、Qwen2.5-Omni-7Bを含む最大10.7Bパラメータのモデルを上回るとしています。詳細はLFM3-Omni-2Bのモデルカードに記載されています。
実行するには、画像・音声関連の依存パッケージとともにtransformers>=5.20.2をインストールします。
pip install "transformers>=5.20.2" torch torchvision torchcodec accelerate pillow librosa soundfile
import torch
import soundfile as sf
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "LiquidAI/LFM3-Omni-2B"
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
model = AutoModelForMultimodalLM.from_pretrained(
model_id, dtype=dtype, device_map=device, trust_remote_code=True
).eval()
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
codec = processor.audio_tokenizer.to(device=device).eval()
続けて、写真について音声で質問します。
conversation = [
{
"role": "system",
"content": "Answer questions about the provided image. Base every answer only on what can be seen. Respond with text.",
},
{
"role": "user",
"content": [
{"type": "image", "image": "photo.jpg"},
{"type": "audio", "audio": "question.wav"},
],
},
]
inputs = processor.apply_chat_template(
conversation,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(device)
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=1024, generation_mode="text")
print(processor.decode(
outputs.sequences[0, inputs["input_ids"].shape[1]:outputs.sequence_lengths[0]],
skip_special_tokens=True,
))
音声出力、音声トラック付き動画、ツール呼び出しについてはLFM3-Omni-2Bのモデルカードを参照するよう案内されています。
d1-2Bとd1-omni-2B
生成テキストではなく、高速で構造化された判定が必要な場合にd1モデルを使用します。状況(サポートチケット、請求書、アプリ画面、写真、音声メモなど)と質問のリストを与えると、1回のフォワードパスですべてに回答し、それぞれに対して校正済みの確率が付与されます。yes/no、選択肢、スコアに加えて、物体を指し示す、文書から値を読み取る、範囲付きで数値を推定する、該当するすべての選択肢を選ぶといった機能にも対応しているとしています。詳細はd1-2Bおよびd1-omni-2Bのモデルカードに記載されています。
2つのd1モデルの違いは次の通りです。
- d1-2B:テキスト、画像、動画向け。d1-3Bを置き換え、パラメータ数は3分の1少なく、4つの判定スイートすべてで高いスコアを記録しています。例えばImajevBenchでは75.5対64.0としています。
- d1-omni-2B:音声入力が含まれる場合に選択します。文章の代わりに音声で質問しても、精度はほぼ維持されるとしています。
d1-2Bを実行するには、画像関連の依存パッケージとともにtransformers>=5.19をインストールします。
pip install "transformers>=5.19" torch torchvision pillow
続けて、d1-2Bを読み込み、1件のサポートチケットについて複数の質問を1回のパスで行います。
import torch
from transformers import AutoModel
device = "cuda" if torch.cuda.is_available() else "mps" if torch.backends.mps.is_available() else "cpu"
dtype = torch.float32 if device == "cpu" else torch.bfloat16
model = AutoModel.from_pretrained("LiquidAI/d1-2B", trust_remote_code=True, dtype=dtype).to(device)
# Several named questions over one state, answered in one pass
questions = {
"refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"}, # yes/no: P(yes)
"team": {"type": "choice", "instructions": "Which team should handle this?", "criteria": {"billing": "Charges, refunds, invoices", "shipping": "Delivery and parcels", "technical": "App or site faults"}},
"topics": {"type": "choice", "multiple": True, "instructions": "Which topics does the message raise?", "criteria": {"billing": "Payments and charges", "delivery": "Shipping and parcels", "login": "Signing in to the account"}},
"urgency": {"type": "score", "instructions": "How urgent is this ticket?", "criteria": ["low", "medium", "high"]},
}
out = model.system_one("I was charged twice and my parcel never arrived. Please refund one charge.", questions)
a = out["answers"]
urgency = a["urgency"]["legend"][str(int(a["urgency"]["score"]))]
print(round(a["refund"]["noul"], 2), a["team"]["choice"], a["topics"]["choices"], urgency)
# 1.0 billing ['billing', 'delivery'] medium
紙面の都合上、d1-2Bの例のみを掲載しています。音声クリップや口頭質問についてはd1-omni-2Bのモデルカードを参照するよう案内されています。
自社タスク向けのLFM3ファインチューニング
LFM3は特化させることを前提に設計されています。フロンティアモデルは強力な汎用モデルですが、個々のユースケースの専門家とは限らないとしています。LFM3は小型で高速なモデルに追加の能力を詰め込んでいるため、短時間のファインチューニングで、自社のデータ・用語・ツールに対応した専門モデルへ変えられるとしています。小型であるため、ファインチューニング後のモデルはデバイスからプライベートインフラ、クラウドまで、アプリケーションが動く場所にそのまま展開できるとしています。
すべてのモデルは単一GPUでファインチューニング可能で、以下のノートブックではテキスト・画像・音声・オムニの各モデルについて、データ準備から評価までの一連のタスクを手順として示しています。
| モデル | 手法 | タスク |
|---|---|---|
| LFM3-1.7B | SFT | 乱雑な文書から構造化JSONを抽出 |
| LFM3-1.7B | DPO | 検索した文書から回答する、または回答を拒否する |
| LFM3-1.7B | GRPO | 108種類のツールを持つ電話アプリで正しいツールを呼び出す |
| LFM3-1.7B | CPT | 生テキストから新しい言語(トルコ語)を学習 |
| LFM3-VL-2B | SFT | レシート写真をJSONに読み取る |
| LFM3-VL-2B | GRPO | 数式画像をLaTeXに書き起こす |
| LFM3-Audio-2B | SFT | 音声によるスマートホームコマンドを関数呼び出しにマッピング |
| LFM3-Audio-2B | SFT | モデルに新しい声を学習させる |
| LFM3-Omni-2B | SFT | 音声によるスマートホームコマンドを関数呼び出しにマッピング |
| LFM3-Omni-2B | SFT | 医療画像についての口頭質問に答える |
(各行にはColabで開くためのノートブックへのリンクが付与されています。)
事例:LFM3に行動を教える
Liquid AIは、LFM3-VL-2Bを調整し、オーケストレーション・ナビゲーション・操作のための3つの相補的なロボティクスモデルを構築したと説明しています。
オーケストレーターはロボットアームをツール呼び出しによって操作します。物体を指し示して捉え、深度ツールで計測し、モーションプランナーを呼び出し、その後のカメラ画像で結果を確認します。ナビゲーターは直近のRGB観測を用いて経路の説明に従い、空間的な目標地点とウェイポイントの軌道をわずか5トークンで予測します。操作用のVLA(Vision-Language-Action)は、画像・言語・ロボットの状態を、1回のフォワードパスで8ステップ分の連続行動チャンクにマッピングします。
15種のロボット構成(embodiments)にわたって共同学習されたこのVLAは、LIBEROの4つのスイート全体で平均96.2%の成功率を達成し、RoboCasa-GR1のテーブルトップタスクでは45.7%を記録したとしています。また、Jetson AGX Orin上でTensorRT FP16を用いた場合、行動チャンクの生成は50ミリ秒未満だとしています。
Liquid AIは、これらの結果がLFM3-VL-2Bを、高レベルの計画立案から低レベルの制御まで、組み込みハードウェア上でのリアルタイム行動生成を含むロボティクス向けのコンパクトな基盤として位置づけるものだと説明しています。知覚・ナビゲーション・操作の様子はデモ動画で確認できるとしています。
LFM3の利用開始方法
すべてのLFM3モデルはオープンウェイトであり、Hugging Face上で公開されています。
- ダウンロード:Hugging Face上のLFM3コレクション。独自の事後学習向けにLFM3-1.7B-Baseも含まれています。
- ファインチューニング:ファインチューニング用ノートブックを使って、LFM3を自社のタスクに適応させられます。
- ハーネスでの利用:OpenClaw、Hermes Agent、Piなどを用いたローカルエージェントの実行方法については、Liquid AIのガイドが案内されています。
引用
本リリースを引用する場合は、以下のブログ記事を引用するよう案内されています。
@article{liquidAI2026LFM3,
author = {Liquid AI},
title = {Introducing LFM3: Every Modality for Specialized Intelligence},
journal = {Liquid AI Blog},
year = {2026},
note = {www.liquid.ai/blog/lfm3},
}