マルチモーダルデータを利用したプログラミング作業中の困惑状態推定

情報処理学会

説明

IT人材の育成が盛んな昨今，さまざまなシステムによってプログラマを多角的に支援する試みが行われている．我々はこれまで，相槌機能を実装したインタラクティブな人形を開発し，この人形に対して作業について困惑している事柄を声に出して説明させることで作業者の情報整理を支援することを目指してきた．本研究では，プログラマの脈拍や視線，姿勢やキーボード・マウスの操作ログなどのマルチモーダルデータを用いて混乱状態を推定するモデルを開発し，システムが混乱を検出した場合にプログラマを支援することを目指した．没入度や眠気など，感情を取得できる生体センサからのデータと，キーボード操作ログのデータからそれぞれ分類器を作成し，5段階の困惑度合いに対して交差検証を行った．層化10分割，個人内および一人抜きの各交差検証における，生体データとキータイプ情報を用いた分類器のF値はそれぞれ，0.78と0.30，0.93と0.46，0.21と0.18となった．

収録刊行物

詳細情報 詳細情報について

問題の指摘

ページトップへ