TypeSafe AIのJevがVercel AI Gatewayで利用可能に、ソフトウェアの確率的意思決定モデルを提供

TypeSafe AIのJevがAI Gateway上で利用可能になった。Jevはソフトウェア向けの確率的意思決定モデルで、状態を入力すると型付けされた選択肢（Choice）、スコア（Score）、ブール値（Boolean）の回答を並列で返す。通常の言語モデルがトークン単位でテキストを生成し後処理が必要なのに対し、Jevは不要なテキスト生成を省きつつ、明確なケースを自動化し不確実なケースはレビューへ回せる仕組みだ。TypeSafeによれば、Jevは自身のワークフロー評価で既存のLLMに比べ最大193.6倍高速かつ444.6倍安価な結果が報告されている。 使用例としては、エージェントループ内の次のツールやサブエージェントの選択、継続や再試行などの意思決定、アクション前の緊急度やリスクの評価、モデル出力の検証やガードレールの適用が挙げられる。AI SDK 7の実験的APIを通じてアクセスでき、評価時にモデル名、状態、質問リストを指定して呼び出す仕組みだ。例ではサポートケースから返金の有無を判断し、不確実なものは手動レビューに回す処理が示されている。 結果には質問IDや選択肢キーが保持され、選択やスコアの信頼度も返されるため、現場のラベル付きデータで確率や信頼度の調整も可能。Jevはリクエストごとにゼロデータ保持や学習不要のオプションを設定でき、評価結果はログやレポートに記録される。