手を使用して自然な相互作用のために指の動きを追跡することは、一般的に研究されています。バーチャルリアリティ（VR）アプリケーションでの指追跡のビジョンベースの実装では、補助入力に必要なハンドヘルドデバイスによって指の動きが遮られるため、カメラを使用した指の動きの追跡は依然として困難です。表面に静電容量近接センサーを使用した指追跡コントローラーが登場し始めています。ただし、湾曲した静電容量センシング電極から関節式の手のポーズを推定する研究はまだ未成熟です。
Sony Interactive Entertainmentの研究チームが、62個の電極を備えたプロトタイプのコントローラーを作成し、その研究成果を2020年度のCHI会議にて寄稿しています。
光学追跡システムを使用してトレーニングデータセットを記録し、曲面の静電容量画像に畳み込みニューラルネットワーク手法を適用するために2.5D表現を導入、コンピュータービジョン分野での最近の成果に基づく2種類のネットワークアーキテクチャをデータセットで評価しています。
また、プロトタイプを使用してリアルタイムの対話型アプリケーションを実装し、VRアプリケーションで指を使用して直感的な対話の可能性を実証しており、新しいPlayStation VRのペリフェラルになりうるデバイスのための研究かもしれません。
Follow @aurordesign
