最近の画像から画像への高度な変換技術により、フリーハンドスケッチから顔画像をすばやく生成できます。ただし、既存のソリューションはスケッチに適合しがちで、入力としてプロのスケッチまたはエッジマップさえ必要です。
中国科学院らの研究チームは、もっともらしい顔画像の形状を暗黙的にモデル化し、顔画像を合成して入力スケッチを近似しながら顔画像を合成する技術である、DeepFaceDrawingを開発し、その成果を2020年度のSIGGRAPHに寄稿しています。
まず、主要な顔コンポーネントの特徴埋め込みを学習し、入力スケッチの対応する部分を、顔コンポーネントサンプルの特徴ベクトルによって定義されたコンポーネントに向けてプッシュし、中間結果としてマルチチャネル機能マップを使用して、埋め込みコンポーネント機能から現実的な画像へのマッピングを学習する別のディープニューラルネットワークを構築しているそうです。
この方法は基本的に入力スケッチをソフト制約として使用するため、ラフスケッチや不完全なスケッチからでも高品質の顔画像を生成できることが強みだそうで、アーティスト以外でも使いやすく、形状の細かい制御をサポートしている点が特徴だそうです。
定性的および定量的評価では、既存および代替のソリューションよりも優れたシステムの生成能力を示しており、このツールの表現力は、ユーザー調査によって確認されているとしています。
Follow @aurordesign [1] : Chen, S. Y., Su, W., Gao, L., Xia, S., & Fu, H. (2020). Deep Generation of Face Images from Sketches. arXiv preprint arXiv:2006.01047.
