Preferred Networksとウォータールー大学の研究者チームが、タブレットペンの上端に下向きのカメラを取り付けることを提案しています。 これにより、ペンを持つ手と、もう一方の手を含む可能性のあるすぐ近くをキャプチャするためのユニークで実用的な視野角が作成され、ユースケースを論文内で紹介しています。本論文は、2020年度のHCI会議のBest paperにも選ばれています。
本研究では、プロトタイプデバイスの製造について説明し、有効なインタラクションデザインスペースを探索しています。これには、手のポーズ認識、タブレットグリップの検出、手のジェスチャー、環境内の物理的なコンテンツのキャプチャ、ユーザーとペンの検出が含まれるとのことです。 ディープラーニングコンピュータービジョンパイプラインは、分類、回帰、およびキーポイント検出のために開発され、これらの相互作用を可能にします。
論文内でも動画内でも、机の上でスケッチするユースケースと、Mapを探索しているユースケースを紹介しています。２つのユースケースでインタラクションを紹介しており、本論文で提案しているPenSightのコンテクストを理解する助けになっています。
