uzuのローカル推論をM5で比較、投稿者はQwen3.5 9Bで92.1トークン毎秒を報告
日本語参考要約訳
【冒頭の抜粋訳】 ローカルLLM推論に大きな進展です。この新しい推論エンジンは、llama.cppの4倍の速度でLLMを動かします。 私はベースM5のMacBook Proで、Qwen3.5 9Bを3つのエンジンで動かしました。 ・llama.cpp：22.0トークン毎秒 ・MLX：25.1トークン毎秒 ・uzu：92.1トークン毎秒 下の動画は3つの実行を並べて示しています。最初の2つの数字は、llama.cppやMLXの作りが悪いことを意味しません。どちらもローカルのデコードにある厳しい限界のすぐ下に位置しています。
※長文投稿のため、参考訳は概要を最大600字まで表示しています。 元投稿をご参照ください
AINNでは投稿本文・投稿者本人の追記・第三者コメントの全文転載を避け、X公式埋め込みと元投稿への導線を中心に表示します。
AIによる見どころ整理
何について
Avi Chawla氏が、ベースM5のMacBook ProでQwen3.5 9Bを動かした比較動画を公開しました。投稿の値はllama.cppが22.0、MLXが25.1、uzuが92.1トークン毎秒です。これは同氏の環境と入力での結果であり、すべてのMacや文章で約4倍になるという測定ではありません。 uzuはMirai Labsの公開する推論エンジンです。小さなモデルが先の候補をまとめて提案し、本体モデルが複数候補を一度に検証する「投機的デコード」を使います。Miraiの説明でも、推測しやすいコードや数学と、自由な会話・創作文では得られる効果が異なるとされています。 投稿から参照される詳説は、同じQwen3.5 9BでもuzuのMirai-M、MLXの4ビット変換、llama.cppのQ4_K_Sでは量子化方式が同一ではないと明記しています。エンジンとモデル形式を組み合わせた比較であり、単独の処理部分だけの優劣や回答品質の同等性を示すものではありません。実際の用途では、入力の長さや生成速度に加え、回答品質も合わせて確かめる必要があります。
なぜ注目
手元のMacで動くAIを選ぶ際に、速度の数字だけでなく量子化方式や入力条件をそろえて読む重要性が分かる比較例です。
🔰 初学者向け要約
AIが次に書く言葉を先にいくつか予想し、本体がまとめて確認することで、Mac上の文章生成を速める仕組みです。今回の速度差は特定の機種・モデル・入力による結果なので、どんな仕事でも同じ差が出るとは限りません。
用語を調べる
公開記事とWeb上の出典をもとに、Geminiが短く説明します。1日5回まで利用できます。