SNSの普及などにより、あらゆる種類の表情が自撮り、ポートレート、インターネット写真で見ることができ、同時にこれらの写真は、さまざまな種類のカメラから、幅広い角度と照明条件の下で撮影されています。普段何気なく撮影した写真ですら、その撮影環境に影響されています。
Pinscreen社の研究チームは、制約のない顔画像を完全に正規化することで、遠近法の歪みを除去し、均等に照明された環境に調整し、正面およびニュートラルの顔を予測できるディープラーニングフレームワークを開発し、その成果をSIGGRAPH Asiaにて発表しています。
本研究で提唱している方法は、元の背景とともに、重要な顔の詳細と被写体の類似性を保持しながら、高解像度の画像を生成できるそうです。
3つの連続した正規化ステップに分割し、それぞれが画像ジェネレーターとして機能する異なる生成的敵対ネットワークを使用し、パースペクティブディストーションの除去は、密なフローフィールド予測を使用して実行されるそうです。
照明変換ネットワークを使用して均一に照明された顔が得られ、顔認識のための深い特徴に基づく回帰ネットワークと組み合わせた一般化された表情合成フレームワークを使用して、表情が中和され、条件付き推論のための新しいデータ表現、および教師付き学習のためのトレーニング方法を導入して、同じ人物の異なる表現がもっともらしいだけでなく、同様の中立的な顔にもつながるようにしている、と報告しています。
動画中でもわかるように様々な顔画像を正規化している様子がわかります。主な用途として、画像ベースの3Dアバター作成、ポートレート操作から、犯罪捜査のための顔の強化と再構成タスクにまで及部とし、広範なユーザー調査を通じて、正規化の結果は、正しい結果とほとんど区別できないことがわかったと主張しています。
Follow @aurordesign [1] : Nagano, K., Luo, H., Wang, Z., Seo, J., Xing, J., Hu, L., … & Li, H. (2019). Deep face normalization. ACM Transactions on Graphics (TOG), 38(6), 1-16.
