BSP-Net : バイナリ空間分割からコンパクトなメッシュを生成する手法

BSP-Net: Generating Compact Meshes via Binary Space Partitioning [1]

ポリゴンメッシュはデジタル3Dドメインのいたるところに存在しますが、ディープラーニング革命において小さな役割しか果たしていません。形状の生成モデルを学習するための主要な方法は、陰関数に依存しており、高価な等表面化ルーチンの後でのみメッシュを生成します。

これらの課題を克服するために、3D学習を容易にするために、コンピューターグラフィックスのバイナリ空間分割（BSP）からの古典的な空間データ構造に触発され、新しい手法をサイモン・フレイザー大とGoogle Researchの研究チームが開発しています。

BSPの核となる要素は、凸集合を取得するために空間を再帰的に分割する操作で、この特性を利用して、凸分解によって3D形状を表すことを学習するネットワークであるBSP-Netを考案し、2020年度のCVPRに寄稿しています。BSPNetは教師学習なしのため、トレーニングに凸形の分解は必要なく、ネットワークは、一連の平面上に構築されたBSPtreeから取得された一連の凸を使用して形状を再構築するようにトレーニングされるそうです。

BSPNetによって推論された凸面は、等平面化を必要とせずに、簡単に抽出してポリゴンメッシュを形成でき、生成されたメッシュはコンパクト（低ポリゴン）で、シャープなジオメトリを表すのに適しているそうです。また、動画の最後にあるように、￥BSP-NetとCvxNetとの出力比較もおこなっています。

[1] : Chen, Z., Tagliasacchi, A., & Zhang, H. (2020). BSP-Net: Generating Compact Meshes via Binary Space Partitioning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 45-54).

URL : http://openaccess.thecvf.com/content_CVPR_2020/html/Chen_BSP-Net_Generating_Compact_Meshes_via_Binary_Space_Partitioning_CVPR_2020_paper.html

教師学習無しで単一ビュー画像から3D変形可能オブジェクトを生成する方法

Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild [1]

オックスフォード大らの研究チームが、教師学習無しで、単一ビュー画像から3D変形可能オブジェクトカテゴリを学習する方法を提案し、2020年度のCVPRに寄稿しています。この方法は、各入力画像を深度、入射光と反射光の比、視点、照明に分解するオートエンコーダに基づいているとのことです。

多くのオブジェクトカテゴリが少なくとも原則として対称的な構造を持っていることを使用し、シェーディングのために外観が対称的でなくても、照明に関する推論により、基礎となるオブジェクトの対称性を活用できることを示しています。さらに、モデルのその他のコンポーネントと端から端まで学習した対称確率マップを予測することで、おそらく対称ではないがおそらく対称であるオブジェクトをモデル化しています。

この方法が監督や事前の形状モデルなしで、単一ビューの画像から人間の顔、猫の顔、車の3D形状を非常に正確に復元できることを示しています。ベンチマークでは、2D画像対応のレベルで監視を使用する別の方法と比較して、優れた精度を示しており、今後は、深さマップを使用して正規の視点からの3D形状を表現するそうです。 より複雑なオブジェクトの場合は、モデルを拡張して、複数の標準ビューまたはメッシュやボクセルマップなどの異なる3D表現を使用することができるとしています。

[1] : Wu, S., Rupprecht, C., & Vedaldi, A. (2020). Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1-10).

URL : http://openaccess.thecvf.com/content_CVPR_2020/html/Wu_Unsupervised_Learning_of_Probably_Symmetric_Deformable_3D_Objects_From_Images_CVPR_2020_paper.html

VR空間での壁抜けはアバターの種類によって躊躇する？

Do You Feel Like Passing Through Walls? Effect of Self-Avatar Appearance on Facilitating Realistic Behavior in Virtual Environments [1]

ユーザーが仮想境界（壁など）を通過できないようにすることは、安全性と設計上の制限を考慮して、ルームスケールでの仮想環境で対処する重要な問題です。壁の衝突からの感覚フィードバックは効果的であることが示されていますが、それは没入感を混乱させる可能性があります。

東京大学の研究チームが、存在感が大きいとユーザーが壁を歩くのを思いとどまらせると想定し、擬人化（リアルなアバターかロボット）と全身または手のみを制御する2要素間被験者実験（N = 92）を実施し、その成果を2020年度のCHI会議に寄稿しています。

論文では、参加者が徐々に壁を貫通するように仕向けたゲームのようなルームスケール規模の仮想環境で、最初に壁を貫通した瞬間を分析しています。
結果は、現実的な全身セルフアバターが、参加者が壁を貫通するのを思いとどまらせるのに最も効果的であることを示したそうです。さらに、存在感の低い参加者は、壁をより早く歩く傾向があったことも把握しています。こういった研究はルームスケールでのゲームアプリケーションの開発などに貢献できる可能性が高いと主張しています。
興味深いのは手のみでの実験結果だと思いますので、興味がある方はぜひ論文をご参照ください。

[1] : Ogawa, N., Narumi, T., Kuzuoka, H., & Hirose, M. (2020, April). Do You Feel Like Passing Through Walls?: Effect of Self-Avatar Appearance on Facilitating Realistic Behavior in Virtual Environments. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1-14).

URL : https://dl.acm.org/doi/abs/10.1145/3313831.3376562

視覚障害者が回路を理解するための新しいデバイス：Tangible Circuits

TangibleCircuits: An Interactive 3D Printed Circuit Education Tool for People with Visual Impairments [1]

ダートマス大学らの研究チームが、視覚障害者（BVI）のユーザーが回路図を理解をサポートする新しい触覚および音声フィードバックデバイスを開発し、CHI会議に寄稿しています。

開発されたTangibleCircuitsを使用すると、3Dプリントされた回路を操作して、触ったときにオーディオチュートリアルの指示が表示されます。このシステムは、3D印刷可能なモデルを抽出する自動解析アルゴリズムと、Fritzingダイアグラム、オーディオインターフェイスで構成されています。

BVIユーザーがハードウェアコンピューティングを学習するのを支援する設計テクノロジーの要件をよりよく理解するために、現在の回路チュートリアルテクノロジーのアクセシビリティの制限について一連の形成的な調査を行い、TangibleCircuitsのチュートリアルシステムとしての有効性を理解するために、ユーザー調査を実施して得た洞察と設計上の憂慮事項を作成しています。

BVIユーザーは、TangibleCircuitsを使用して、幾何学的、空間的、構造的な回路情報をよりよく理解でき、ツールを使った学習を楽しんだことがわかったと報告しています。

[1] : Davis, J. U., Wu, T. Y., Shi, B., Lu, H., Panotopoulou, A., Whiting, E., & Yang, X. D. (2020, April). TangibleCircuits: An Interactive 3D Printed Circuit Education Tool for People with Visual Impairments. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1-13).

URL : https://dl.acm.org/doi/abs/10.1145/3313831.3376513

1 … 16 17 18 19 20 21 22 … 86