QwenPU、Qwen3.5の重みに計算回路を組み込み小型言語モデルを実行

何について

Rahul氏が、言語モデルの内部で別の小型言語モデルを動かす「QwenPU」を紹介した。Qwen3.5-4Bの構造にCPUとベクトル演算回路を追加し、Karpathy氏のstories260KをCプログラムとして実行する。追加した重みは学習させず、コンパイラーが計算して作る。 開発元は、異なる実装でも同じ物語をトークン単位で出力したと報告している。元のQwenの重みは変更せず、stories260Kの重みは回路側のメモリーへデータとして読み込む。通常の言語モデルが文章を推測する仕組みとは異なる実験だ。 開発途中で、チェックポイント全体は26.7GB。丸ごとの読込みには40GB以上のGPU、回路部分だけを使うデモや検査には24GBのGPUが必要と説明されている。L4上のGPU実行器では物語の1トークンに約16秒かかる。先のnesformerのゲーム機再現とは異なり、今回は小型言語モデルの計算を動かす例となる。

なぜ注目

学習した重みと、計算で設計した重みの役割を分けて考えられる実験です。動作の正確さだけでなく、現在のサイズと速度の制約も示されています。