ARにおけるスマートフォンベースのハンドトラッキングとその操作性評価

Portal-ble: Intuitive Free-hand Manipulation in Unbounded Smartphone-based Augmented Reality [1]

スマートフォンをはじめとしたデバイスが実現させる拡張現実（AR）により、ユーザーは物理空間と仮想空間を同時に操作できます。実際にAR技術を用いた仮説検証も始まっており、特にスマートフォンカメラを用いたものが主流です。ユーザーインターフェースとして、手は非常に重要であり、3Dハンドトラッキングにより、スマートフォン上で仮想オブジェクトを直接取得して移動する装置になります。

本論文では、スマートフォン、Leap Motionコントローラー、および計算ユニットを使用したポータブル3Dハンドトラッキングのプロトタイプを実装した、と報告しています。
プロトタイプの作成に続いて、12人の研究者がプロトタイプを使用して、使いやすさの問題を調査し、設計スペースを定義しています。
知覚（オブジェクトに移動し、オブジェクトに手を伸ばす）、操作（オブジェクトをつかみ、方向付けする）、および行動理解（スマートフォンをビューポートとして使用する方法を知る）の問題を特定し、これらの問題を克服するために、オブジェクトベースのフィードバックと調節メカニズムを設計し、2つのタスク（遠方のオブジェクトのピックアップとブロックからの家の組み立て）を介して知覚と行動の影響を調べた、と報告しています。

結果、静止した物体や動いている物体を拾い上げて操作する際の最初のプロトタイプよりも、認知負荷が低いそうです。また、ユーザーの好みが大きく、ユーザーとの対話が非常に速く成功した、と報告しています。

スマートフォンベースのフリーハンド操作の人気と研究の関心は今後も高まることが想定され、AR技術とハンドトラッキング、スマートフォンは密接な関係を保っていきそうな気がします。

[1] : Qian, J., Ma, J., Li, X., Attal, B., Lai, H., Tompkin, J., … & Huang, J. (2019, October). Portal-ble: Intuitive Free-hand Manipulation in Unbounded Smartphone-based Augmented Reality. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 133-145). ACM.

URL : https://dl.acm.org/citation.cfm?doid=3332165.3347904

ダートマス大学らの研究チームが、マイクロチップを使用した新しいテキスト入力手法を提案

TipText: Eyes-Free Text Entry on a Fingertip Keyboard [1]

ダートマス大学らの研究チームが、マイクロサムチップジェスチャーを使用した新しいテキスト入力手法を提案し、その成果を2019年度のUIST会議にて発表しました。

提案している技術は、ユーザーの人差し指の最初のセグメントに目に見えないように配置された小型のQWERTY配列のキーボードを特徴としています。 テキスト入力は、人差し指の先端をタップするため、人差し指と親指を使用して実行しています。入力方法に関しては動画を参照した方が理解が進みます。
キーボードのレイアウトは、人差し指上のキー位置のユーザーの自然な空間認識を反映する空間モデルを利用することにより、目を使わない入力用に最適化されました。

一連のユーザー調査と、コンピューターシミュレーションを用いたテキスト入力テストを通じて、キーボードレイアウトを設計および最適化するアプローチをとったようです。
結果は、文字がQWERTYのアルファベットおよび空間配置に非常に限定された2×3グリッドが最適だったようです。
また、ユーザー評価により、参加者は平均11.9 WPMのテキスト入力速度を達成し、実験の終わりに向かって13.3 WPMの速さで入力できることを示したと報告しています。

スマートフォンを用いたテキスト入力以外にも音声入力や視線トラッキングを利用した入力方法なども研究が盛んですが、こういった入力手法も需要がありそうです。

[1] : Xu, Z., Wong, P. C., Gong, J., Wu, T. Y., Nittala, A. S., Bi, X., … & Yang, X. D. (2019, October). TipText: Eyes-Free Text Entry on a Fingertip Keyboard. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 883-899). ACM.

URL : https://dl.acm.org/citation.cfm?doid=3332165.3347865

力学に基づいたインタラクションを促進するためのデータ処理フレームワーク

SCALE: Enhancing Force-based Interaction by Processing Load Data from Load Sensitive Modules [1]

MIT Media labの研究チームが、力に基づくインタラクションを調査するために、分散型荷重感応モジュールから荷重データを抽出するフレームワークであるSCALEを開発し、2019年度のUIST会議にて報告しました。

力は、ベクトルそのものだけでなく、触れ方、物体の位置、体の動きなどの活動に関する豊富な情報も伝えます。
提案されているシステムは、荷重データ処理の単一パイプラインで、これらのインタラクションをキャプチャします。 さらに、数学的フレームワークを構築することにより、インタラクション領域を平坦な2D表面から3D空間に拡大しています。
これにより、タッチポイントの垂直方向、つまり高さ方向をキャプチャできます。

これらの技術的発明は、一般的な形状キャプチャやモーション認識などの幅広いアプリケーションへの応用ができると主張しており、フレームワークを物理的なプロトタイピングキットにパッケージ化し、実際のシナリオでシステムを評価するために製品設計者とワークショップを実施した、と論文内で報告しています。

[1] : Yoshida, T., Shen, X., Yoshino, K., Nakagaki, K., & Ishii, H. (2019, October). SCALE: Enhancing Force-based Interaction by Processing Load Data from Load Sensitive Modules. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 901-911). ACM.

URL : https://dl.acm.org/citation.cfm?doid=3332165.3347935

RGBのように振動、圧力、せん断を組み合わせる新しい触覚デバイス

FIgure 1. VPS（振動、圧力、せん断）の概要図 [1]
（論文[1]のFigure 1より引用）

触覚の分野での課題の1つは、意味のある現実的な感覚をユーザーに提供することです。ほとんどの現実世界の触覚は複数の次元で構成されていますが、ほとんどの市販製品は振動が含まれているだけで、最も費用対効果の高いソリューションです。VRやARの世界では、HMDと呼ばれるヘッドマウントディスプレイ以外でのペリフェラルとして、多く触覚に関するデバイスが盛んに研究されています。

スタンフォード大学とFacebook Researchの研究チームは、VPS（振動、圧力、せん断の頭文字を取っている）ディスプレイを導入することを提案しています。RGBのLEDが赤、青、緑を組み合わせて新しいものを作成する方法と同様に、振動、圧力、およびせん断を組み合わせて情報伝達を向上させる多次元触覚アレイだそうです。振動、圧力、せん断（VPS）によってユーザーの皮膚を機械的に刺激できる多次元の触覚ピクセル（タキセル）には3つの自由度があり、それらを組み合わせて新しい効果を生み出すことができるそうです。

力と変位プロファイルの観点から各触覚次元のデバイス性能とダイナミクスを特徴づけ、刺激識別タスクを介してVPSディスプレイの情報伝達を評価しています。単一のタキセルを介した情報転送は、振動に圧力とせん断力を加えると、0.56ビットから2.15ビットに増加することがわかったそうです。
また、VPSの快適性と連続性を調査した結果、せん断モードのみでの触覚は、快適性と連続性で評価されることが明らかになったと報告しています。

[1] : Kim, L. H., Castillo, P., Follmer, S., & Israr, A. (2019). VPS Tactile Display: Tactile Information Transfer of Vibration, Pressure, and Shear. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 3(2), 51.

URL : https://research.fb.com/publications/vps-tactile-display-tactile-information-transfer-of-vibration-pressure-and-shear/

1 … 46 47 48 49 50 51 52 … 86