HMDのリアルタイムの顔追跡アルゴリズムのトレーニングで使用するデータセットを準備するには、費用がかかります。
手動で注釈付けされた顔のランドマークは、通常の写真データセットではアクセスできますが、VR顔追跡用の内向きに取り付けられたカメラには、これらの既存のデータセットと互換性のない広角レンズ、低レイテンシーの短い露出、および近赤外線センサーを使用して人間工学的に近距離で動作するなどが含まれます。
Disner Researchの研究チームは、新しいトレーニングデータを作成するコストをかけずに適切な顔ソルバーをトレーニングするために、ラジアルワープリプロジェクションという手法を使用して、既存のランドマークデータセットをHMDカメラ固有のものに自動的に再利用することでコストを下げる、ということを提案しています。
提案している手法は、完全に機能するHMDの下と内部に取り付けられたカメラの位置により正確にローカル対応するために、トレーニングをソース写真のローカル領域、つまり口と目に分けるそうです。
カメラごとに解決されたランドマークを組み合わせて、ユーザーの顔の表情から駆動されるライブアニメーションアバターを生成し、口の領域のセグメンテーション、まばたきの検出、および瞳孔追跡の手段により、重要な堅牢性が実現するそうです。
未処理のトレーニングデータセットに対して結果を定量化しています。
