手の動きで遊ぶブラウザゲームを制作、open-source-handsが認識キットと雛形を公開

何について

open-source-handsは、Webカメラに映した手をゲーム操作に変える制作キット。開発元は、ホタル捕りや水切りなど15本の「Show of Hands」で使う技術として公開した。MediaPipeが検出する手の21点をもとに、20種類の形、16種類の動き、拍手やズームなど両手の操作を扱う。AIコーディング支援向けの制作手順とthree.jsのゲーム雛形も含む。

なぜ注目

開発元は映像を端末外へ送らずブラウザ内で処理すると説明。20種類の形のうち4種類は実験的な扱いで、認識の調整やカメラなしの模擬テストも用意する。新しい認識モデルの性能記録ではなく、既存技術をゲーム制作に使いやすくまとめた公開物だ。