スケッチと自然言語は、インタラクティブなアプリケーションにとって効果的なコミュニケーションメディアです。 特にグラフィカルレコーディングといった手法で会議の理解を得ている事例もありますし、画像や絵を用いた方が理解が促進するタイプの人もいます。
本論文では、ユーザーが指定したテキスト記述に基づいてスケッチを生成できる、最初のニューラルネットワークベースのシステムSketchformeを紹介しています。
Sketchformeは、マルチオブジェクトスケッチシーンの高レベルおよび低レベルの理解をすることができるそうです。
また、このシステムを使用したスケッチは非常に人間味があり、ユーザー調査では複数のケースで人間が生成したスケッチよりも表現力が高い、という結果を得る事に成功していたり、スケッチの36.5％が人間が生成したと見なされたそうです。
これらの生成されたスケッチを使用して複数の対話型アプリケーションを開発し、Sketchformeが言語学習アプリケーションを大幅に改善する事を著者らは期待しており、インテリジェントな言語ベースのスケッチアシスタントをサポートできることも示唆している、と主張しています。
最後になりましたが、本論文は2019年度UIST会議に寄稿されたものです。
[1] : Huang, F., & Canny, J. F. (2019). Sketchforme: Composing Sketched Scenes from Text Descriptions for Interactive Applications. arXiv preprint arXiv:1904.04399.
