OpenRouter、価格だけでない推論先選択へ　応答速度・失敗率・出力品質を標準ルーティングに反映

何について

Peter Steinberger氏が、OpenRouterの推論先選択の見直しを歓迎しました。同氏は、仲介サービスを避けるよう勧めていた理由として推論品質の予測しにくさを挙げています。これは同氏の見解で、今回の変更内容はOpenRouterの公式説明で確認できます。 新しい標準ルーティングは、入力単価だけでなく、実際の入出力・キャッシュを反映した価格、応答開始までの時間、生成速度、エラー率、出力品質を評価します。現在の品質確認ではツール呼び出しの形式が主な項目で、回答内容すべての正しさを保証する仕組みではありません。 同社は代表的なオープンモデルを対象に1週間、2,400万件超の要求を旧方式と新方式に振り分けた実験を報告。応答開始時間の中央値は1,007ミリ秒から837ミリ秒へ16.9％短縮し、429制限を少なくとも一度受ける割合は7.1％から3.8％へ低下しました。一方、要求当たり費用は6.0％増えています。 明示的な並べ替えやプロバイダー順を指定しない要求には新方式が自動適用されます。価格優先や順序固定の指定は引き続き可能で、会話中はキャッシュを保つため原則として同じ提供元を使います。数値は同社の実験条件下の結果です。

なぜ注目

標準動作が自動で変わるため、利用者の応答時間と費用の両方に関わります。改善率だけでなく費用増と、従来の価格優先指定を残せる条件も確認したい更新です。