視線データを活用したMR空間中における情報表示ポリシーの学習

Learning Cooperative Personalized Policies from Gaze Data [1]

理想的なMixed Reality(MR)システムは、人にとって有用な場合にのみ仮想情報(ラベルなど)を提示するのが理想です。不必要な情報は自然に除外され、有用な情報のみ視覚として情報が入ってくるのが理想系です。
ただし、ラベルが有用であるかどうかを即時に判断するのは困難です。それは、現在の人が抱えているタスク、持っている知識、コンテキストなど、さまざまな要因に依存するからです。

本論文では、強化学習メソッドを提示して、 眼球運動のデータが、与えられたオブジェクトのラベルを非表示にする手法を提示しています。
インテリジェントエージェントが、手動で設計された経験則でのラベルよりも、視覚的な検索タスクでユーザーをよりサポートする協調ポリシーを学習できることを示すことにより、このアプローチの機能を示しています。

動画でも紹介されているように、より現実的な環境とユースケース(食料品の買い物など)で有用性の検証をしています。 この方法をスーパーマーケットのシナリオに適用すると、ユーザーがスーパーマーケットの棚を閲覧しているのを観察することで、ユーザーの好みの製品を学習することができた、と主張しています。

こういったMR空間の中での情報非表示は非常に重要なものであるので、強化学習を協力的な支援タスクに適用して、パーソナライズされたユーザーインターフェイスを実現できる日が近づいている気がします。

[1] : Gebhardt, C., Hecox, B., van Opheusden, B., Wigdor, D., Hillis, J., Hilliges, O., & Benko, H. (2019, October). Learning Cooperative Personalized Policies from Gaze Data. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 197-208). ACM.

URL : https://dl.acm.org/citation.cfm?doid=3332165.3347933