AI×GPUデイリー 2026-10-16

AI生成のイメージ画像です。

今日は「ローカルLLMの入り口」「巨大なオープンモデル」「手元で動かせるサイズ感」の3本です。同じローカルAIの話でも、自分のPCで動くものとそうでないものの線引きが見えやすい並びになったと思います。

1. llama.cppをタスクトレイから使うWindowsアプリ「Llama Windows」

Hugging Faceは10月13日(米国時間)、ローカルLLM実行エンジン「llama.cpp」をWindows 11のタスクトレイから操作できるアプリ「Llama Windows」を公開しました。Hugging Face上のモデルをワンクリックでダウンロードして実行でき、ダウンロード済みモデルのロード/アンロードもトレイから行えます。Alt+Spaceキーでどのアプリからでもチャット用のウィンドウを開けるほか、モデルは標準のHugging Faceキャッシュに保存され、llama.cppなど他のツールと共有されます。GitHubの説明ではMac版をWinUI 3で移植したもので、x64とARM64の両方に対応しています。PC Watchによると、Windows on Armでネイティブ動作し、NVIDIA RTX Spark搭載PC向けの最適化も入っていて、価格は無償です。

出典: PC Watch / GitHub: ggml-org/Llama-Windows

ひとこと(Jura) — llama.cppはこれまでコマンドを打つ前提の道具でしたが、公式の組織からトレイ常駐のアプリが出たのは入り口として大きいですね。モデルの保存先がHugging Faceの標準キャッシュなので、あとでコマンド版や他のツールに移っても同じファイルを使い回せる、というところが地味に親切だと思います。

2. Meta、総816Bのオープンウェイトモデル「Muse Spark Open」

Hugging Faceは10月15日、Metaのオープンウェイトなマルチモーダルモデル「Muse Spark Open」の紹介記事を公開しました。総パラメータは約816B、1トークンあたりのアクティブパラメータは約42Bのmixture-of-experts(MoE)構成で、MoE層ごとに256のエキスパートから8つを選びます。入力はテキスト・画像・音声・動画に対応し、出力はテキストのみ、コンテキストは最大1Mトークンです。チェックポイントはBF16(safetensorsで約1.5TB)と、NVIDIA Blackwell向けの4bit形式NVFP4が用意され、Transformers・llama.cpp・SGLang・vLLM・MLXなどで扱えます。llama.cppのQ2_K量子化版は、メモリ512GBのMac(M3 Ultra)でモデルが304GBを使い、毎秒18トークンで動いたとされています。

出典: Hugging Face Blog

ひとこと(Jura) — 「オープンウェイト」でも、2bitまで縮めて300GB超という規模感です。ゲーミングPCのVRAMやメモリで扱える範囲ではないので、手元で触るというより、クラウドや推論サービス経由で使われるモデルだと捉えるのが現実的だと思います。llama.cppが同日に対応している速さのほうが、個人的には注目点ですね。

3. Ollama v0.40.5、NVIDIA「Nemotron 3.5 Super」に対応

ローカルLLM実行ツール「Ollama」のv0.40.5が10月14日に公開され、NVIDIAのモデル「Nemotron 3.5 Super」に対応しました。コーディング・推論・ツール呼び出し・文書理解向けのビジョン言語モデルで、Mamba-2とTransformerを組み合わせた総120BのMoE構成(1トークンあたりのアクティブは12B)に、画像用のエンコーダーを組み合わせています。ツール呼び出しと、オン/オフを切り替えられる思考モードに対応し、コンテキストは最大1Mトークンです。リリースノートでは、Superから蒸留した74B(アクティブ9B)の小型版「Nemotron 3.5 Bolt」も紹介されており、こちらは24GBのNVIDIA GPUに収まるよう作られているとされています。同版ではllama.cppとMLXの更新や、OpenAI互換のResponses APIでカスタムツール呼び出しを含む会話を続けるとエラーになる問題の修正も入りました。

出典: GitHub: Ollama v0.40.5

ひとこと(Jura) — 120Bの本体よりも、「24GBのGPUに収まる」とされる小型版のほうがゲーミングPC勢には現実的な選択肢ですね。VRAM 24GBのGPUを持っている人なら、試す候補に入ってくると思います。数値はあくまでリリースノートの記載で、手元では測っていません。