本論文はMIT CSAIL、Google、UCバークレー大学のチームから発表されたもので、2018年度のUIST会議でも報告された内容です。
この論文では、複雑な人間の動きを3Dモーションスカルプチャーで視覚化するシステムを紹介しています。これは、人体が空間を移動する際に、人体が動いた軌跡を構造化して出力する、新しい表現方法のようなもの、と理解した方が良いかもしれません。
本システムは入力のビデオ画像からモーションスカルプチャーを計算し、それを3Dでシーンに埋め込みます。更に面白いことに、ユーザーは彫刻を物理的に印刷することもできます。インタラクティブなインターフェイスにより、ユーザーは材料や照明条件を選択することで、彫刻デザインをカスタマイズできると主張しています。
このワークフローを提供するために、一連の2D画像から人間の3Dジオメトリを経時的に推定するアルゴリズムを導入し、彫刻を元のビデオに挿入する3D対応の画像ベースのレンダリングアプローチを開発しています。この一連のプロセスの自動化により、プロのアーティストの領域からモーション彫刻の作成を取り除き、幅広い既存のビデオ素材に適用できるようにする、という構想だそうです。
動画を見ると、様々なユースケースが提示されており、非常に面白い内容になっているので、ぜひ見ていただけると良いかと思います。
[1] : Zhang, X., Dekel, T., Xue, T., Owens, A., He, Q., Wu, J., … & Freeman, W. T. (2018, October). MoSculp: Interactive Visualization of Shape and Time. In The 31st Annual ACM Symposium on User Interface Software and Technology (pp. 275-285). ACM.
