Automatically Evaluation of Degree of Spectators' Satisfaction in Video Sequences Based on Their Facial Expressions and Face Directions

IPSJ

Bibliographic Information

Other Title
  • 複数人物の顔方向・表情認識に基づく映像中の観客の満足度の自動定量評価

Search this article

Description

スポーツやお笑いなどのエンタテイメント産業では，観客の観覧内容に対する満足度を知ることがサービスの質を評価するうえで重要となる．通常は観客に対するアンケート調査などで満足度評価を行うが，そのような方法では多くの人手や費用が必要となる．そのため観客の満足度調査をビデオ映像などから自動的に行う手法の開発が求められている．本論文では顔認識技術によって観客の表情や顔の向きなどの情報を自動的に取得し，それらに基づいて観客の満足度を機械的に推定するシステムを提案する．提案システムでは観客が映っているシーンからまず観客の顔の検出と向きの推定を行い，それから表情識別器によって検出された顔を笑顔と非笑顔に分類する．次に，あるシーンから検出された顔の向きと表情の組合せの出現頻度を数えあげたヒストグラムを作成する．このヒストグラムを特徴ベクトルとした識別器を用いて各シーンの状況（観客が喜んでいるシーンかどうかなど）を判別し，“喜んでいる” または“真検に観戦している” 度合いとしての満足度の推定を行う．実際のスポーツ観戦動画を用いた実験により，提案するヒストグラム特徴でサポートベクタマシンを学習し，観客が“喜んでいる” シーンかどうか，“真剣に観戦している” シーンかどうかなどの判別およびその満足度推定を有効に行えることを確認した．

In the entertainment industry which treats sports or comedy show, understanding whether their spectators have been satisfied or not is important to evaluate the quality of their services. Currently, questionnaire survey has been used to evaluate the degree of their satisfaction. But great cares of cost and time are required for questionnaire survey. So it is desired to automatically evaluate spectator's satisfaction degree from video sequences. This paper presents a system for automatically evaluation of degree of spectators' satisfaction in video sequences. The proposed system is designed by a “bag-of-visual-words” approach based on face recognitions. First, the multiview (left-profile, front, right-profile) faces are detected from each image in the given video sequence. Then the detected faces are classified into the two expressions, smile or not. The classification results of the face directions and the facial expressions are voted to each classes' histogram over the video sequence. Finally, the state of the spectators is classified by using the kernel SVM on the voted histograms. The degree of spectators' satisfaction is estimated by the classification score of “Positive Scene” or “Watching Seriously”. Our approach demonstrated promising results for classifications of “Positive Scene” and “Negative Scene” or “Watching Seriously” and “Not Watching Seriously”.

Journal

Related Projects

See more

Keywords

Details 詳細情報について

Report a problem

Back to top