漫画におけるセリフ位置と意味の時系列を考慮した話者キャラクターの推定

情報処理学会

説明

漫画作品は，誌面構成の特性（コマ割り，吹き出し）や線画と文字が混在する様態のために，文字認識技術や人物検出技術を単独で用いた情報抽出が難しい．そのため，漫画メタデータの作成には手作業が必須で負担が大きい． とりわけ，任意のセリフとそれを発したキャラクターの対応付けは自動認識が困難であるとされている．そこで本研究では，漫画のセリフを位置と意味の観点から解析するとともに，時系列に対する学習モデルである再帰型ニューラルネットワーク（RNN）を利用して，セリフの話者を自動推定する手法を提案する．提案手法は，意味情報と時系列から文脈を把握することで，これまで困難であったキャラクターとセリフが同一コマに存在しない場合であっても精度よく対応付けが可能である．対応推定には特徴量として．これまでに有効であることが示されている吹き出しに対する各キャラクター間の距離およびセリフの分散意味表現を用いる．また，漫画は物語が時系列で繋がっていることから，RNN を使うことで文脈から得られる情報によってキャラクターの推定精度を高められると期待できる．セリフに対する各キャラクターの距離情報による推定，そこにセリフの分散意味表現を加えた特徴ベクトルによる推定，距離情報と分散意味表現にRNNを使った提案手法による推定の 3 つの推定精度を比較し，提案手法の有効性を検証した．

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ