マルチモーダル非言語行動に基づく対話者の視線機能の認識

DOI

書誌事項

タイトル別名
  • Recognition of Gaze Functions in Conversations from Multimodal Nonverbal Behaviors

抄録

人の対話における視線の機能に焦点を当て，これを対話者の非言語行動から認識するための研究の枠組みを提案する．対話において視線行動は，他者を観察する以外にも，感情・態度の表出や対話の流れの調整などの重要な役割を果たす．従来，対話中の対人視線方向を頭部姿勢や眼球方向などから推定する方法が提案されているが，視線の機能を認識の対象とした取り組みはまだ行われていない．そこで本論文では視線機能の認識という新たな問題を設定し，その解決の枠組みを示す．まず最初に43種の視線機能を定義し，対話中の時刻ごとに各機能の有無を非排他的に記述したコーパス，及び，その分析例を示す．次に14種の視線機能を対象とし，これを対話者の非言語行動から認識する深層学習モデルを提案する．具体的には入力モダリティとして，頭部運動，発話状態，注視状態，眼球方向，及び，顔表情を用い，各々の視線機能の有無の認識を行う畳み込みニューラルネット(CNN)を提案する．実験の結果，14機能の平均認識性能（F値）がチャンスレートから0.243の大幅な向上を遂げ，また，他者を見ながら傾聴するという機能において，最高0.839のF値を達成するなど，視線機能の認識可能性が示唆された．

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390298278366164992
  • DOI
    10.14923/transfunj.2023jap1003
  • ISSN
    18810195
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ