Hermes向けLFM2.5アダプターを公開　100課題の評価でツール呼び出しを20%削減

何について

Tekniumが紹介したのは、LFM2.5-24B-A2BをHermes Agentのデータ分析作業に適応させるLoRAアダプター。公開モデルカードでは、同じ100課題を各1回試した評価で、基盤モデルとアダプターの双方が解けた課題の平均ツール呼び出しが4.97回から3.97回に減ったと報告している。 正解率は基盤モデル73%、アダプター72%で、差は統計的に明確ではない。「精度低下なし・20%効率化」という投稿の表現は、一般的な速度や料金の20%削減を示すものではない。評価と同じ100課題で学習時点を選んでおり、特定の分析課題・Hermes以外への効果やGGUF版の評価は未確認とされる。

なぜ注目

モデルの能力だけでなく、実際に使うエージェント環境に合わせた学習で作業効率を改善する検証。小規模評価と学習時点の選び方まで公開され、数字の限界を確認できる。