本研究では、ユーザーの微細な表情や動作の変化に対する詳細な観察・分析と、それに基づく客観性の高いユーザーの状態記述方法を開発する。表情や動作から「集中/興味/飽き/疲労」といったユーザーの状態を客観的に記述できれば、製品やサービスのデザインに役立てることができる。GUI操作中のユーザーの表情は変化に乏しく観察が困難であるが、一方で心理学等の分野では微細な表情の変化とそのメカニズムに着目した研究事例があり、さらに近年では顔認識AIによる表情の分析が可能になりつつある。