ペン+タッチ入力機能を備えたタブレットの多くの現状維持インターフェイスは、ユーザー中心の姿勢を感知して適応するのではなく、固定された場所でデバイス中心のUIウィジェットに到達することをユーザーに強制します。つまり、UI上に固定された場所に、ユーザーがタッチしないとその機能は発現しません。
この問題に対処するために、Mixrosoft Researchの研究チームが、姿勢認識を介してモバイル使用と固定使用のさまざまなニュアンスの間を遷移するセンシング技術を開発し、その研究成果を2019年度のCHI会議にて報告しています。
これらの姿勢のニュアンスには、ハンドグリップのシフト、スクリーンの角度と向きの変更、手書きまたはスケッチ中の手のひらの植え付け、手が近づく方向の検出が含まれます。 これを達成するために、1）静電容量タッチスクリーン画像、2）慣性運動、3）把持および手の近接検出のための画面ベゼル周囲の電界センサーの3つのセンシングモダリティを組み合わせたそうです。
これらのセンサーが、体、腕、手、グリップ中心の参照フレームのきめ細かいコンテキストに合わせて、相互作用を調整し、ユーザーインターフェイス要素をモーフィングする姿勢認識ペン+タッチテクニックを有効にする方法を示しています。
