AI×GPU週報 2026-08-21 | lovegamingpcs.com

今週は「ミドルGPUでローカルLLM」勢に直撃する話が続きました。

27Bクラスのモデルが8GB VRAMの射程に入ってきています。

1. Qwen3.8 27Bが6.2GBに — Unslothの新量子化「Dynamic v3.0」

Unslothが8月19日、新しい量子化技術「Dynamic v3.0」を発表し、適用第一弾としてQwen3.8-27BのDynamic v3.0量子化版の提供を始めました。

27Bクラスのモデルが6.2GBまで小さくなるのが目玉で、先行公開していた早期プレビュー版を更新したリリースです。

なお、Ollama側もv0.32.12でQwen3.8 27Bをサポート済みです。

ひとこと(Jura) — 6.2GBという数字の意味は明確で、RTX 2070 Superの8GB VRAMに27Bが載る計算になります。

「ミドルGPUは7B〜13Bまで」という常識が量子化の進歩で崩れつつある。

品質がどこまで保たれているかは検証記事を待ちたいところです。

Ollamaがv0.32.15をリリースしました。

リクエスト間でモデルのメタデータをキャッシュするようになり、time-to-first-token(最初のトークンが返るまでの時間)が約995msからおよそ半分に短縮されたとしています。

あわせて、初回起動時のデスクトップ用オンボーディングフローも新しくなりました。

ひとこと(Jura) — ローカルLLMの体感速度はモデルの生成速度より「返ってくるまでの間」で決まる場面が多い。

TTFT半減は地味に効くタイプの改善です。Ollama利用者はアップデートするだけで恩恵があります。

Ornithが8月19日、AIモデル「Ornith-1.5」を発表しました。

MITライセンスでの公開で、商用・研究利用とも無制限。

コーディングとエージェント的タスクの一部ベンチマークでClaude Opus 4.8に匹敵する性能をうたっています。

QwenとGemmaをベースに鍛え直したモデルとのことです。

ひとこと(Jura) — 「一部ベンチマークで匹敵」は宣伝でよく見る表現なので、鵜呑みにはしません。

ただMITライセンス・制限なしという配布条件は事実として強い。

手元のGPUで動くサイズの派生版が出てくるかが、ミドルGPU勢には本題です。

今週の小ネタ