記事のサマリー(TL;DR)
- llama.cppとggmlのライブラリがv1.0.0としてリリースされ、今後はダウンストリームの開発者向けにAPI/ABIの互換性に関する変更をメジャーバージョン番号の更新で明示します。
- ggml-org傘下のプロジェクト全体に適用されるセマンティックバージョニング規則(MAJOR/MINOR/PATCHの区分)が定められました。
- llama.cppは現在150種類以上のアーキテクチャバリアントと主要な投機的デコーディング手法をサポートしており、Docker、Homebrew、conda-forge、Wintgetなど複数の配布チャネルで提供されています。
詳細
リリース概要
llama.cppは、コンシューマー向けのローカルマシンからハイエンドのエンタープライズサーバーまで、幅広いハードウェア上でマルチモーダルLLMを実行可能にするプロジェクトです。量子化(quantization)、最適化されたバックエンド、そして移植性の高いC/C++実装を通じて、ソフトウェアスタックのあらゆる層でAI推論へのアクセスを可能にしていると説明されています。提供元は、これがクロスプラットフォームかつプライベートなAI製品を構築するための、最も軽量で汎用性があり合理的なプラットフォームであると述べています。
プロジェクト開始から3.5年の間に大きく成長し、多くのダウンストリームアプリケーションが既にこの基盤に依存しているとのことです。提供元はローカルAIとプライバシーの重要性が今後も高まるにつれ、この傾向が続くと見込んでいます。新しい統合が増えるごとにライブラリインターフェースに依存する開発者も増えるため、柔軟かつ安定したAPIの提供が重要だとしています。
今回リリースされたのは以下の2つのライブラリです。
| リリース | ライブラリ | 公開ヘッダー |
|---|---|---|
| llama.cpp v1.0.0 – C/C++によるLLM推論 | libllama | llama.cpp/include/ |
| ggml v1.0.0 – 機械学習向けテンソルライブラリ | libggml | ggml/include/ |
今後、llama.cppとggmlの両方で、APIおよびABIの非互換性はメジャーバージョンの更新によって反映されます。採用が広がるにつれて、こうした境界をダウンストリームの利用者に対してより厳格に明示していく方針です。
セマンティックバージョニングの更新規則
ggml-org傘下の全プロジェクトにセマンティックバージョニングを用いた以下の規則が適用されます。
- MAJOR:
./include内の公開C APIに対する破壊的変更 - MINOR: 後方互換性のある機能追加、バックエンド更新、モデルサポート追加、またはAPI追加
- PATCH: APIに変更のないバグ修正
配布チャネル
ggml-orgのソフトウェアが開発者やエンドユーザーに届く配布方法の拡充を進めているとしています。パッケージングやリリースパイプラインへの組み込み方法については、該当のディスカッションを参照するよう案内されています。配布チャネルと対応プラットフォームは以下の通りです。
- プレリリース成果物: Linux、macOS、Windows、Android、iOS
- Docker: Linux
- Debian: Linux
- Homebrew: macOS、Linux
- conda-forge: Windows、macOS、Linux
- MacPorts: macOS
- Winget: Windows
- XCFramework: iOS、macOS
開発体制
プロジェクトは高いスキルを持つ貢献者たちによるオープンソースコミュニティに支えられてきたとしています。ソフトウェアエンジニアリング分野におけるAI能力の急速な進歩を受け、開発サイクルの中でLLMを慎重かつ合理的な方法で適応・統合し続けているとのことです。高品質なコードベースの維持、アーキテクチャの管理、実装詳細の理解が引き続き最優先事項であるとしています。
開発ペースの向上を支えるため、プロジェクトを支えるCIインフラの改善に継続的にリソースを投じているとしています。HF BucketsやHF JobsといったHugging Faceの技術により、masterブランチに加えられるすべての変更について正確性を担保するために必要な処理能力を拡張できているとのことです。また、NVIDIA、AMD、Qualcomm、Arm、IBM、Intelからのハードウェア支援を受け、主要なハードウェアプラットフォーム全体でセルフホストランナーの登録を増やし続けているとしています。
バックエンドとモデルのカバレッジ
llama.cppの基盤となる機械学習エンジンであるggmlは、事実上あらゆるハードウェア上で動作するよう設計されているとしています。これは専用のggmlバックエンドを実装することで実現されており、各バックエンドは動的ライブラリとしてコンパイルし、必要に応じて実行時に読み込むことが可能です。現在実装されているバックエンドの一覧は、プロジェクトのリソースから確認できるとされています。
提供元は、すべてのモデルアーキテクチャに対する継続的なサポートを提供することにコミットしているとしています。現時点でllama.cppは150種類以上のアーキテクチャバリアント、および主要な投機的デコーディング(speculative decoding)手法すべてに対応しているとのことです。
謝辞
Hugging FaceのLlama.cppチームは、コミュニティからの大きな支援に感謝を述べています。長年にわたりプロジェクトを維持してきたメンテナーおよびすべての貢献者に特別な謝意を表しており、今回のリリースは共同作業なしには実現できなかった重要な節目であるとしています。
関連リソース
記事では、llama.cppの使用例、Hugging Face上のggml-orgページ、GithubのGgml-orgページに加え、llama.cppチームとHugging Faceが提供するmacOSおよびWindows向けのLlamaデスクトップアプリも紹介されています。