RouterPlus、利用者の品質基準を保ちながらモデルと推論先を選ぶ仕組みを紹介

何について

Ajit kumar氏が、合成データを大量生成する際のトークン単価に着目し、品質チェックを満たす低コストのモデルを選ぶRouterPlusを紹介した。引用先のAlok Bishoyi氏は、実際のトラフィックでモデルと提供者を比較し、推論の費用や供給能力を調整するサービスだと説明している。 公式資料では、全体のベンチマーク順位だけで選ぶのではなく、利用者の評価と実運用の処理内容からモデル、上位モデルへの切替、呼び出し方を探す。指定モデルと同じ出力経路から始め、評価用に分けたリクエストで品質基準を通過してから処理先を移す設計だ。 公式の8月13日付ITSMBench検証では、ITサービスデスクの課題を同じ実行条件で各4回試し、RouterPlusは正答率71.4%、1課題$0.0224、比較した単一モデルの最良は69.3%、$0.4703と報告した。一方、4回とも成功した課題はRouterPlusでも45.7%。これは提供者の特定課題での評価で、合成データの全用途で最安や同品質を保証する結果ではない。

なぜ注目

モデルを固定せず、実際の仕事と品質基準に合わせて推論先を調整する手法。費用差だけでなく、繰り返し実行の安定性を示す指標が公開されている。