マルチモーダルなマイクロ行動分析に基づく複数人会議の定量化

DOI

書誌事項

タイトル別名
  • Quantifying a Multi-person Meeting based on Multi-modal Micro-behavior Analysis

説明

<p>本研究では、オンライン会議の定量評価に着目し、ミーティング中よく発生する三つのマイクロ行動「発話」、「頷き」、「笑顔」を正確に検出し、エンドツーエンドのオンライン会議定量化システムを提案する。話者認識（ASD）システムでは、音声と映像の時系列情報を抽出するエンコーダ、cross-attentionによるモーダル情報インタラクションモジュール、および長期的な発話特徴を捉えるためのself-attentionモジュールが含まれてる。頷き検出のため、頭部姿勢推定（HPE）の研究で提案されたWHENetモデルに基づいて、頭部のピッチ方向を入力特徴として、GRUによる頷き認識システムを構築する。笑顔検出はHaarカスケード分類器を用いる。K-分割交差検証法によって提案手法を評価した結果、各モジュールのF値はそれぞれ94.9%、79.67%、71.19%であった。</p>

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ