AI×GPUデイリー 2026-10-06

AI生成のイメージ画像です。

今日は「推論エンジンの最適化」「手元の端末の寄せ集め」「古いGPUの延命」の3本です。どれも新しいハードを買う前に、いまある機材でどこまで回せるかという話ですね。

1. ハードごとにカーネルを自動調整する推論エンジン「Magnitude」公開

Magnitude AIは10月5日、AIエージェント向けのオープンソースLLM推論エンジン「Magnitude」を公開しました。ライセンスはApache-2.0で、対応OSはmacOS/Windows/Linux、対応ハードはApple SiliconのGPU、NVIDIA GPU、AMD GPU、CPUです。汎用の事前コンパイル済みカーネルではなく、実行する端末に合わせてカーネルをローカルで自動コンパイル・チューニングする方式で、人気モデル向けには手動で最適化したカーネルも載せているとしています。公称値ではllama.cpp比で最大2倍の処理速度、Metal環境でデコード92%、NVIDIA CUDA環境で19%の高速化、エージェント1つあたりのメモリ消費を27%削減とされています。

出典: PC Watch

ひとこと(Jura) — 数字はMetalとCUDAで伸び幅がかなり違っていて、どの環境でも2倍になるわけではない点は押さえておきたいところです。Claude CodeやCodex、ClineなどからOpenAI互換API経由で呼べるとされているので、手元のエージェントの裏側を差し替えて比べやすい作りなのは良いですね。

2. iPhoneをMacのローカルAI処理に使う「Backburner」

iPhoneをMacの外付けGPUのように使い、ローカルAI処理の一部を肩代わりさせるツール「Backburner」がGitHubで公開されました。作者はGitHubユーザーのStayLameBro氏で、Apple Silicon搭載MacとiPhone 15 Pro以降を、10Gbps対応のUSB Type-Cケーブルでつないで使います。プロンプト読み込みでは、Mac側が1〜40層、iPhone側が41〜64層を受け持つパイプライン処理で待ち時間を短くする仕組みです。Qwen3.8-27B(IQ4_XS)での検証として、16k〜48kトークンのプレフィルが29〜44%速くなり、24GBメモリのMac単体では64kトークンが上限のところを128kトークンまで扱えたとされています。

出典: PC Watch

ひとこと(Jura) — 面白いのは速度より、iPhone側のメモリを足すことで扱えるコンテキストが倍になる、というほうだと思います。ローカルLLMはメモリ容量で上限が決まりがちなので、引き出しに眠っている端末も「メモリの足し」として数えられる発想は覚えておきたいですね。

3. 「Strata」v0.1.39、旧世代GeForceやIntel Arcに実験対応

Qwen3.8-Flash-Nextをコンシューマ向けPCで動かすオープンソースの推論環境「Strata」の最新版v0.1.39が、10月4日に公開されました。CUDA 13に対応しない旧世代GPU向けにCUDA 12.9ベースのエンジンを加え、GeForce GTX 10シリーズやP40、V100などに実験的に対応しています。あわせて、Linux限定のSYCL版でIntel Arc GPU、AVX2非対応の旧世代CPUにも実験対応しました。GeForce RTX 5070での実測で約6%(Q2_0)の速度向上、4基のGPU構成では8リクエスト合計で、単独時の120tok/sに対し360tok/sを記録したとされています。

出典: PC Watch

ひとこと(Jura) — CUDA 13で旧世代GPUが外れていく流れのなかで、あえて12.9系のエンジンを別に用意したのが今回のポイントですね。あくまで実験的対応なので、古いカードを買い足す前提にはせず、手元にあるなら試す余地ができた、くらいに受け取るのがよさそうです。