ブラウザ上で動作するAPI不要の小型言語モデル実験室「MicroLLM lab」公開

何について

MicroLLM labは、インストール不要・APIキー不要でブラウザ内のみで動作する小型言語モデルの実験環境です。136Mパラメータクラスのモデルが100 tokens per second以上の高速処理を実現し、プライバシー保護のため入力が端末外に送信されません。複数の小型LLMモデルをWebGPU対応ブラウザで比較検証可能です。

なぜ注目

API不要で動作する点、WebGPUによる高速処理、プライバシー保護の仕組みと複数モデルの比較検証機能が確認できるため利用者に注目されます。