コーネル大学の研究チームが、フォームフィットリストバンドに密接に取り付けられた4つの小型サーマルカメラとディープニューラルネットワークを用いて、指の追跡と手の姿勢推定を可能にする技術、FingerTrakを開発し、2020年度のIWMUTに寄稿しています。
FingerTrakは、すべての指を見る必要なく、手の姿勢全体（20本の指の関節の位置）を再構築するため、低解像度（32×24）のサーマルカメラを使用して、手首の手のシルエットだけを観察することで、システムが手の全体の姿勢を推定できる、としています。
カスタマイズされたディープニューラルネットワークは、これらのマルチビュー画像を「ステッチ」し、3D空間で20の関節位置を推定する方法を学習し、構築しています。
11人の参加者によるユーザー調査では、同じ背景でテストした場合にシステムが6.46◦の平均角度誤差を達成し、別の背景でテストした場合に8.06◦を達成できることが示されています。 FingerTrakはまた、デバイスの再マウントで有望な結果を示し、複雑なポーズのいくつかを再構築できる可能性があるとしています。
Follow @aurordesign [1] : Hu, F., He, P., Xu, S., Li, Y., & Zhang, C. (2020). FingerTrak: Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes Captured by Miniature Thermal Cameras on Wrist. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 4(2), 1-24.
