図形の構造を考慮した絵描き歌自動生成システム

本論文では任意の画像から，画像内に存在する物体の図形の構造を考慮した絵描き歌を自動生成するシステムについて述べる．相手に物事を説明するシーンにおいて，口頭のみでの説明と比べ，それに絵を加えた説明のほうが聞き手に強い印象を与えることができる．しかし絵を描くことに対して苦手意識を持つ人は，絵を描いて説明するということに対し羞恥心を感じ，口頭のみでの説明を行わざるを得なくなる．そこで我々は絵を描くことに対して苦手意識を持つ人が気軽に絵を練習できる方法として絵描き歌を提案する．任意の絵に対して，いちいち絵描き歌を人が作成するのは非常に手間がかかるため，我々は任意の画像から自動で絵描き歌を生成するシステムを開発した．さらに物体の構造に着目することでより人間に理解しやすい絵描き歌手法を提案する．従来の絵描き歌の歌詞は物体を構成するパーツの形状をとらえて作成されており形状に対するユーザの理解を促進するが，絵を描くのに必要な『位置関係』については触れられていないため，本手法では従来の歌詞に加えてパーツの位置関係も明示することにより，さらに詳しく物体の特徴をとらえることを可能にした．ユーザは絵描き歌にしたい対象を撮影し，システムに入力する．システムはユーザが撮影した画像を受け取り，パーツ分けをする．その後パーツごとの構造（形状・位置関係）を取得し，それに合わせた歌詞を自動生成する．本システムについて評価を行った結果，本システムを利用することにより絵を描くことに対する苦手意識の低減につながることが確認できた．

This study aims to propose a system that automatically creates a drawing song (Ekaki-Uta) in consideration of the diagram structure of a figure from an arbitrary image. When explaining things to someone, a stranger impression can be given to the listener by explaining using a supporting picture. However, people with poor drawing skills tend to depend on oral communication. To overcome this limitation, a drawing song as a drawing practice method is proposed without any constraints. We developed a system that automatically generates drawing songs from arbitrary images because it takes a significant amount of time to create drawing songs for a given picture. In addition, by focusing on the structure of the object, the proposed drawing method is easy to use. The lyrics of a traditional drawing song are created by capturing the shape of the parts that promote human understanding of the shape but they do not mention the positional relation required to draw a picture. In the proposed method, specifying the positional relationship of parts and conventional lyrics make it possible to capture object features in detail. The user captures a picture of an object and inputs it to the system, which then divides it into parts. Then, the structure (shape and positional relation) of each part is acquired, and the lyrics are generated automatically. An evaluation of the proposed system confirms that the system reduces poor consciousness when drawing pictures.