遠近法の歪みを除去し、正面の顔を予測できるDNNフレームワーク

Deep Face Normalization (SIGGRAPH Asia 2019) [1]

SNSの普及などにより、あらゆる種類の表情が自撮り、ポートレート、インターネット写真で見ることができ、同時にこれらの写真は、さまざまな種類のカメラから、幅広い角度と照明条件の下で撮影されています。普段何気なく撮影した写真ですら、その撮影環境に影響されています。
Pinscreen社の研究チームは、制約のない顔画像を完全に正規化することで、遠近法の歪みを除去し、均等に照明された環境に調整し、正面およびニュートラルの顔を予測できるディープラーニングフレームワークを開発し、その成果をSIGGRAPH Asiaにて発表しています。

本研究で提唱している方法は、元の背景とともに、重要な顔の詳細と被写体の類似性を保持しながら、高解像度の画像を生成できるそうです。
3つの連続した正規化ステップに分割し、それぞれが画像ジェネレーターとして機能する異なる生成的敵対ネットワークを使用し、パースペクティブディストーションの除去は、密なフローフィールド予測を使用して実行されるそうです。
照明変換ネットワークを使用して均一に照明された顔が得られ、顔認識のための深い特徴に基づく回帰ネットワークと組み合わせた一般化された表情合成フレームワークを使用して、表情が中和され、条件付き推論のための新しいデータ表現、および教師付き学習のためのトレーニング方法を導入して、同じ人物の異なる表現がもっともらしいだけでなく、同様の中立的な顔にもつながるようにしている、と報告しています。

動画中でもわかるように様々な顔画像を正規化している様子がわかります。主な用途として、画像ベースの3Dアバター作成、ポートレート操作から、犯罪捜査のための顔の強化と再構成タスクにまで及部とし、広範なユーザー調査を通じて、正規化の結果は、正しい結果とほとんど区別できないことがわかったと主張しています。

[1] : Nagano, K., Luo, H., Wang, Z., Seo, J., Xing, J., Hu, L., … & Li, H. (2019). Deep face normalization. ACM Transactions on Graphics (TOG), 38(6), 1-16.

URL : https://dl.acm.org/doi/10.1145/3355089.3356568

自宅で患者を監視するためのモバイル3D歩行分析システムの開発

Figure.1 モバイル3D正規歩行分析システムの概要図 [1]

補助ロボットは、在宅患者の生活の質の向上に重要な役割を果たします。すべての監視タスクの中で、歩行障害は高齢者や神経疾患のある人に多く見られ、転倒のリスクが高まります。したがって、通常の生活条件での自宅での歩行監視用のモバイルシステムの開発は重要です。

インペリアル・カレッジ・ロンドンの研究チームは、人間を追跡し、単一のRGB-Dカメラに基づいて標準座標で歩容を分析できるモバイルシステムを開発し、2019年度のIROSにて報告しています。

まず、ビュー不変の3D下肢ポーズの推定は、RGB画像で導出された2Dジョイントとともに深度画像からの情報を統合することによって可能にしており、6Dカメラポーズと3D下肢スケルトンの両方が、Simultaneously Localization and Mapping（SLAM）に基づく標準座標系でリアルタイムに追跡するそうです。移動カメラフレームでの3D姿勢推定に対処するために、visual-SLAMを使用して、標準の座標系でカメラの動きと人間の歩行の両方をローカライズし、関節の運動学と定量的歩行機能の計算を可能にしたそうです。

異常歩行は、抽出された歩行特徴のセットに関して、サポートベクターマシン（SVM）および双方向Long-Short Term Memory（BiLSTM）ネットワークを使用して検出されます。システムの堅牢性を評価するために、一般的な歩行異常を模倣する6つの歩行パターンを実行している16人の健康なボランティアからマルチカメラのグラウンドトゥルースデータを収集しました。実験結果は、提案したシステムが以前の異常な歩行検出方法と比較して、良好な下肢姿勢推定と優れた認識精度を達成できることを示しています。

今後の研究では、被験者の数を増やしてニューラルネットワークの過剰適合を避け、微妙な歩行変化を検出するための特徴選択を改善することを目指す、と締めくくっています。

[1] : Guo, Y., Deligianni, F., Gu, X., & Yang, G. Z. (2019). 3-D Canonical pose estimation and abnormal gait recognition with a single RGB-D camera. IEEE Robotics and Automation Letters, 4(4), 3617-3624.

URL : https://ieeexplore.ieee.org/document/8763984

形状を変えられるロボットとその協調動作による新しい価値と体験：ShapeBots

ShapeBots: Shape-changing Swarm Robots [1]

コロラド大と東京大学の研究チームが、自己変形可能なロボット「ShapeBots」を、2019年のHCIの国際会議であるUIST（ACM Symposium on User Interface Software and Technology）にて発表しました。

本研究で紹介しているのは、形状を変えるロボットと、そのロボットが群れを形成して協調動作を行った場合の体験、アプリケーション事例を紹介しています。

ShapeBotsは、形状を変える群れロボットのプロトタイプであり、各ロボットは、細い（2.5 cm）で水平方向と垂直方向の両方に高度に伸縮可能な（最大20cm）小型のリニアアクチュエータを活用して、形状を変更できるそうです。各アクチュエータのモジュール設計により、さまざまな形状および形状の自己変換が可能になります。

自己変形可能なロボットの群れは、情報を表示し、オブジェクトを作動させ、実体のあるコントローラーとして機能し、データを視覚化することができる、と主張しています。このタイプのインターフェイスが、ユビキタスで分散型の形状変更インターフェイスの将来の可能性をどのように広げるかについてを、論文内で紹介してくれています。

また、本論文のFirst Authorである鈴木氏は多くの研究開発を行っており[2]、このShapeBotsをスケールアップしたLiftTileについてもWebsite内で紹介してくれていますので、興味がある方は一読いただければと思います。

[1] : Suzuki, R., Zheng, C., Kakehi, Y., Yeh, T., Do, E. Y. L., Gross, M. D., & Leithinger, D. (2019, October). ShapeBots: Shape-changing Swarm Robots. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 493-505). ACM.

URL : https://dl.acm.org/citation.cfm?doid=3332165.3347911

[2] : http://ryosuzuki.org/shapebots/

VRを用いた教育が学習に及ぼす影響はあるかに関する一つの研究

Figure 1. シュミレーションにおけるScreenshot画像 [1]
（論文[1]のFigure 1より引用）

バーチャルリアリティ（VR）は、教育とトレーニングにパラダイムシフトをもたらすと予測されていますが、その教育的価値の経験的証拠はほとんどないのが現状です。

コペンハーゲン大学の研究チームは、マルチメディア学習の原理が没入型VRに一般化するかどうかを調査するために、仮想学習シミュレーションに没入型VRを追加し、その結果を報告しています。
さらに、脳波（EEG）を使用して、学習中の認知処理の直接的な測定値を得ています。
52人の大学生が、デスクトップディスプレイ（PC）またはヘッドマウントディスプレイ（VR）を介して科学シミュレーションから学んだ2×2の実験的クロスパネルデザインに参加し、サンプルとしています。
シミュレーションには、画面上にテキスト表示されるものとナレーション付きの画面上のテキストされるものが含まれており、両方のバージョンで、生徒はVR条件の方がより認知を多くするが、あまり学習しないという結果が得られているそうです。
VRの学習科学は、学習者を過負荷にして気を散らす可能性があり、知識習得には他の要因が必要そうだという結果が得られており、VRを教育に使用する事例は多く出ているので、非常に興味深い内容となっています。

[1] : Makransky, G., Terkildsen, T. S., & Mayer, R. E. (2019). Adding immersive virtual reality to a science lab simulation causes more presence but less learning. Learning and Instruction, 60, 225-236.

URL : https://www.sciencedirect.com/science/article/abs/pii/S0959475217303274#!

1 … 41 42 43 44 45 46 47 … 86