スケッチから顔画像をリアルタイムに合成する新しい技術：DeepFaceDrawing

DeepFaceDrawing: Deep Generation of Face Images from Sketches [1]

最近の画像から画像への高度な変換技術により、フリーハンドスケッチから顔画像をすばやく生成できます。ただし、既存のソリューションはスケッチに適合しがちで、入力としてプロのスケッチまたはエッジマップさえ必要です。

中国科学院らの研究チームは、もっともらしい顔画像の形状を暗黙的にモデル化し、顔画像を合成して入力スケッチを近似しながら顔画像を合成する技術である、DeepFaceDrawingを開発し、その成果を2020年度のSIGGRAPHに寄稿しています。

まず、主要な顔コンポーネントの特徴埋め込みを学習し、入力スケッチの対応する部分を、顔コンポーネントサンプルの特徴ベクトルによって定義されたコンポーネントに向けてプッシュし、中間結果としてマルチチャネル機能マップを使用して、埋め込みコンポーネント機能から現実的な画像へのマッピングを学習する別のディープニューラルネットワークを構築しているそうです。

この方法は基本的に入力スケッチをソフト制約として使用するため、ラフスケッチや不完全なスケッチからでも高品質の顔画像を生成できることが強みだそうで、アーティスト以外でも使いやすく、形状の細かい制御をサポートしている点が特徴だそうです。

定性的および定量的評価では、既存および代替のソリューションよりも優れたシステムの生成能力を示しており、このツールの表現力は、ユーザー調査によって確認されているとしています。

[1] : Chen, S. Y., Su, W., Gao, L., Xia, S., & Fu, H. (2020). Deep Generation of Face Images from Sketches. arXiv preprint arXiv:2006.01047.

URL : http://geometrylearning.com/DeepFaceDrawing/

熱線切断をロボットで制御することで材料の形状を自由にカットする技術

RoboCut: Hot-wire Cutting with Robot-controlled Flexible Rods [1]

熱線切断は、材料を彫るために使用される製造技術で、従来の機械は直線のワイヤーに依存しているため、区分的に刻まれた表面の作成に制限があります。

ETHチューリッヒ校らの研究チームは、デュアルアームロボットのセットアップを利用して、柔軟な加熱ロッドが材料を切断するときに、形状をアクティブに制御する方法を提案し、その成果を2020年度のSIGGRAPHに寄稿しています。

この設定では形状の自由度が非常に高くなりますが、これを効果的に使用するには、3つの密結合した副問題について同時に推論する必要があります。1）ロッドの形状とスイープする表面がロボットの動きによって制御される方法をモデリングする。 2）弾性ロッドの平衡形状によってスイープされた一連のサーフェスを通じてターゲット形状を近似。 3）ロボットを変形可能なツールで目的のスイープを作成するよう、衝突のないモーション軌跡を生成します。
3つのサブ問題すべてに統一された方法で対処するロボット熱線切断の計算フレームワークを提示しているとしています。

ロボット製作システムで生成された一連のシミュレーション結果と物理的アーチファクトに対するアプローチを評価します。

URL : https://people.inf.ethz.ch/poranner/

皮膚上の触覚デバイスの刺激とVR空間中の刺激が一致するようにレンダリングする手法

Tactile Rendering Based on Skin Stress Optimization (SIGGRAPH 2020) [1]

スペインのレイ・ファン・カルロス大学の研究チームが、ユーザーの皮膚上の触覚デバイスによって生成された刺激が仮想環境シミュレーションで計算された刺激と一致するように、仮想タッチをレンダリングする方法を提案、その成果を2020年度のSIGGRAPHに寄稿しています。

タッチ感覚は、ユーザーの指に取り付けられた小さな指ぬきのデバイスによって生成されます。これらの指ぬきは、指パッドを押す小さなディスクを持っており、向きと深さを変更することにより、人間の指の内部にさまざまな応力分布を生成できます。また、FEMシミュレーションを使用して人間の皮膚をシミュレートするので、シミュレーションされた応力分布をこのメソッドへの入力として使用できます。シミュレーションからのものと一致する人間の指の内部で可能な限り近い応力分布を生成するために、最適化方法が使用されています。

特定のターゲットストレス、対応するデバイス構成を見つける完全な最適化手法を実行するためには、デバイス構成からレンダリングされたストレスへのマッピングが必要で、このマッピングを学習するためにニューラルネットワークが使用されています。広範なデバイス構成の応力分布を収集することにより、デバイスの状態から応力へのマッピングを学習するニューラルネットワークをトレーニングでき、ターゲットストレスに可能な限り近いデバイス構成を見つけることができるとしています。

ユーザーの実験を通じて定性的に、および生体模倣指センサーで定量的にアルゴリズムを検証しています。

URL : http://mslab.es/projects/TactileRenderingSkinStress/

LoRaセンシングを使用して人間の活動を把握する手法

Exploring LoRa for Long-range Through-wall Sensing [1]

ワイヤレス信号は、過去数年間、非接触センシングに広く利用されてきましたが、WiFiとRFIDは3〜6メートルのセンシング範囲を実現できる一方、音響ベースのセンシングは1メートル未満に制限されます。

中国科学院らの研究チームが、IoT通信用に設計された新しい長距離通信技術であるLoRaを使用して、ターゲットの動きと信号の変化の関係を特徴付けるセンシングモデルを開発し、LoRaセンシング範囲を人間の呼吸センシング用に25メートル以上に拡張する新しい手法を提案し、その成果を2020年度のIMWUTに寄稿しています。

さらに、人間の活動を感知できるプロトタイプシステムを構築しており、（1）ターゲットがLoRaデバイスから25メートル離れていても、壁を挟んで15メートル離れていても、人間の呼吸を感知できることを示しています。 （2）ターゲットがLoRaトランシーバーペアから30メートル離れている場合でも、人間の歩行（変位と方向の両方）を正確に追跡できるとしています。

[1] : Zhang, F., Chang, Z., Niu, K., Xiong, J., Jin, B., Lv, Q., & Zhang, D. (2020). Exploring LoRa for Long-range Through-wall Sensing. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 4(2), 1-27.

URL : https://dl.acm.org/doi/abs/10.1145/3397326

1 … 9 10 11 12 13 14 15 … 86