AI×GPUデイリー 2026-09-09
llama.cppの内蔵GPU向け読込修正／サーバーの状態再利用改善／MetalのIQ3_XXS処理修正。今日の3本です。
今日はllama.cppの公式プレリリースから、ローカル環境の不具合修正を3本。内蔵GPU、会話を続けるサーバー、Metalでの量子化モデル実行と、影響する条件を分けて見ていきます。
1. 内蔵GPUではテンソルの遅延読み込みを標準で無効に
llama.cppのプレリリース「b10867」で、内蔵GPUに対するテンソルの遅延読み込みの扱いが変わりました。公式説明では、AUTOモードで内蔵GPUの遅延読み込みを無効にする修正とされています。内蔵GPUでの性能後退への対応として記載された更新です。
ひとこと(Jura) — 内蔵GPUでモデルを読み込むときの挙動が気になっていた人には、確認する価値のある変更ですね。自分の環境で比べるなら、読み込み時間と生成時の速度を分けて記録すると変化を捉えやすいと思います。
2. 短いプロンプトで再利用するチェックポイントの削除条件を修正
プレリリース「b10864」では、サーバーが保持するチェックポイントの削除条件が修正されました。従来は、保存間隔の設定より短いプロンプトで、次のリクエストの再開に使う状態まで削除される場合があったと説明されています。その結果、ハイブリッド型や再帰型のモデルで、以前のチェックポイントから入力処理をやり直していました。修正では間隔による削除を保存数が上限に達した場合だけにし、同じトークン位置の状態は重複追加せず置き換えます。
ひとこと(Jura) — 会話を続けるときの待ち時間には、どこまで計算済みの状態を再利用できるかも関わるんですね。モデルの種類やサーバー設定を一緒に残しておくと、こうした修正が自分の使い方に関係するか判断しやすいと思います。
3. MetalのIQ3_XXS演算で、スレッドが遊ぶケースを修正
プレリリース「b10863」には、MetalでIQ3_XXS形式を処理する演算の修正が入りました。公式説明が挙げるのは、行列の寸法を表す内部パラメーター「ne00」が1024未満の場合に、スレッドの一部が働かない問題です。変更履歴には、行を分割して処理する方式の選択を関数定数で行う調整が記載されています。
ひとこと(Jura) — Metalを使っていても、量子化形式や行列の形によって関係する修正は違うんですね。更新前後を比較する際は、モデルファイルをそろえておくことが大事だと思います。