スマートフォンをはじめとしたデバイスが実現させる拡張現実（AR）により、ユーザーは物理空間と仮想空間を同時に操作できます。実際にAR技術を用いた仮説検証も始まっており、特にスマートフォンカメラを用いたものが主流です。ユーザーインターフェースとして、手は非常に重要であり、3Dハンドトラッキングにより、スマートフォン上で仮想オブジェクトを直接取得して移動する装置になります。
本論文では、スマートフォン、Leap Motionコントローラー、および計算ユニットを使用したポータブル3Dハンドトラッキングのプロトタイプを実装した、と報告しています。
プロトタイプの作成に続いて、12人の研究者がプロトタイプを使用して、使いやすさの問題を調査し、設計スペースを定義しています。
知覚（オブジェクトに移動し、オブジェクトに手を伸ばす）、操作（オブジェクトをつかみ、方向付けする）、および行動理解（スマートフォンをビューポートとして使用する方法を知る）の問題を特定し、これらの問題を克服するために、オブジェクトベースのフィードバックと調節メカニズムを設計し、2つのタスク（遠方のオブジェクトのピックアップとブロックからの家の組み立て）を介して知覚と行動の影響を調べた、と報告しています。
結果、静止した物体や動いている物体を拾い上げて操作する際の最初のプロトタイプよりも、認知負荷が低いそうです。また、ユーザーの好みが大きく、ユーザーとの対話が非常に速く成功した、と報告しています。
スマートフォンベースのフリーハンド操作の人気と研究の関心は今後も高まることが想定され、AR技術とハンドトラッキング、スマートフォンは密接な関係を保っていきそうな気がします。
[1] : Qian, J., Ma, J., Li, X., Attal, B., Lai, H., Tompkin, J., … & Huang, J. (2019, October). Portal-ble: Intuitive Free-hand Manipulation in Unbounded Smartphone-based Augmented Reality. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 133-145). ACM.
