対話中の頭部運動と顔表情の相乗機能の認識

DOI

書誌事項

タイトル別名
  • Recognition of Synergetic Functions between Head Movements and Facial Expressions in Conversations

抄録

対話中の顔表情と頭部運動に焦点を当て，それらの連携によって現出するコミュニケーション機能を理解・認識するための機械学習モデルを提案する．対話において，顔表情や頭部運動は，話し掛けや応答など様々な機能を担うが，従来，感情表出以外の顔表情の機能や頭部運動の機能との関連性については十分理解が進んでいなかった．本研究では，新たに顔表情の機能に関するコーパスを構築し，既存の頭部運動機能コーパスと併せて分析することで，顔表情と頭部運動が互いの機能を強化・多重化，または相互補完する関係にあることを見出した．次にこれら顔表情と頭部運動が相乗して発揮する機能を認識するため，頭部姿勢角，及び，顔面活動単位(Action Units)の時系列データを入力とする深層学習モデルを構築した．具体的には，畳み込みニューラルネット(CNN)をベースとし，特徴統合の方式（早期/後期）や，CNNと他の識別器を連結した2段階の方式等を用いて複数のモデルを構成した．実験の結果，「話し掛け」を頭部運動と顔表情の両方で行うという相乗機能において，提案モデルが最高0.675のF値を達成するなど，頭部運動と顔表情の相乗機能の認識可能性が示唆された．

収録刊行物

関連プロジェクト

もっと見る

キーワード

詳細情報 詳細情報について

  • CRID
    1390295203824832128
  • DOI
    10.14923/transfunj.2022hap0007
  • ISSN
    18810195
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
    • KAKEN
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ