Vercel Labsの「agent-desktop」、OSの画面構造を読みAIがデスクトップアプリを操作

何について

テツメモ氏が、Vercel Labsの「agent-desktop」を紹介した。Chris Tate氏は、agent-browserの対象をコンピューター全体へ広げる道具として発表し、バックグラウンドでの動作や、複数エージェントがそれぞれのカーソルで操作する構想を説明している。 公式リポジトリでは、macOS・Windows・Linux向けのCLIとCライブラリを提供。画面のピクセルだけに頼らず、OSのアクセシビリティツリーからボタンなどの要素を読み、参照IDを使って操作した後に状態を再確認する。Claude CodeやCodex向けのスキル導入手順も案内されている。 利用できる操作や必要な権限はOSで異なる。macOSではアクセシビリティ権限、Linuxではグラフィカルセッションなどが必要で、画面やクリップボードの内容を含み得るログの扱いにも注意が必要だ。

なぜ注目

コーディングAIからデスクトップアプリを扱うための公開ツールが、3つの主要OS向けに提供されている点が実務上の注目点です。