CGアバター対話における音声からの頭部動作および表情の自動生成

DOI

書誌事項

タイトル別名
  • Automatic generation of head motion and facial animation from speech in CG avatar dialogue

抄録

<p>近年，アバターを介したコミュニケーションに注目が集まっており，遠隔での接客や教育，障がいのある人の労働支援など，社会的な応用が期待されている．アバターの操作では，操作者の会話中の表情や頭，手の動きをキャプチャし，リアルタイムにアバターに反映させる手法が用いられるが，アバター操作のために身振り手振りを交えながら発話し続けるのは操作者への負担が大きい．そこで，操作者の負担を軽減するために，音声からCGアバターの動きを自動生成するモデルSpeech2motionを提案する．本研究では会話中の動作に着目しており，Speech2motionモデルはLSTMベースのニューラルネットワークを用いて，頭部動作や表情変化を予測する．話者1名70分の雑談対話時の会話データとキャプチャされたモーションデータを記録し，収録したデータを用いてSpeech2motionモデルの学習を行った．実験的評価の結果，提案モデルはモーション生成の自然性において，MOS値3.07を達成した．</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390296808221578752
  • DOI
    10.11517/pjsai.jsai2023.0_4xin129
  • ISSN
    27587347
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ