MiniMax-M3.1-Flashの2ビットGGUFをUnslothが案内、143.9GBでもメモリ計画は要確認

何について

Unslothが、MiniMax-M3.1-Flashを手元で動かすための量子化GGUFとガイドを公開した。2ビットのUD-Q2_K_XLは143.9GBで、同社はトップ1トークン一致率91.5%と、Q8版259.1GBに対する約45%の容量削減を紹介している。これは出力トークンの一致を測る指標で、一般の課題を91.5%正解するという意味ではない。 現行ガイドには、2ビットのメモリ目安を表で150GB、説明文で160GB以上とする表記が併存する。RAMとVRAMの合計、または統合メモリを想定し、16Kのテキスト文脈・同時1枠が前提。メモリ目安のGB表記はGiBを基準とし、ファイル容量のGBは十進単位としている。長い文脈や画像・動画、追加の高速化モデルにはさらにメモリが必要になる。 モデル全体は428B、各トークンで動くのは23Bパラメータだが、重み全体をメモリに置く計画が必要とされる。量子化を配布した側の比較であり、あらゆる構成での性能や動作を独立確認した報告ではない。

なぜ注目

量子化後の容量・出力との一致率・実際に用意するメモリを分けて、ローカル利用の条件を判断できる情報になる。