Extraction of Shot/Reverse-shot Including Camera Work

IPSJ

Bibliographic Information

Other Title
  • カメラワークを含むショット・リバースショット区間の検出

Search this article

Description

映像への効率良いアクセスを実現するためには映像の構造化が不可欠であり，また構造化を行うためにはカット検出だけでなくシーン境界検出等，相互に関係するショットをまとめる処理が必要である．映画やドラマにおいては，2種類の類似したショットが交互に繰り返される，ショット・リバースショットが会話の場面等で多用されるという特徴がある．ショット・リバースショットはカメラ操作をともなわない静的なショットから構成されることが比較的多いため，キーフレームの色領域に関する空間関係の類似度評価等，画像の静的特徴により検出するものが多かった．しかし，パン，チルト等のカメラ操作が施される場合もあり，そのような映像では全体が変化するために従来の静的な類似性判定では検出することは困難である．このようなショット区間の検出は映画のシーン境界検出やインデクシング，検索に必要であり，カメラワークを含むものも検出できることが精度向上のために望まれる．本論文ではカメラワーク成分をキャンセルする処理を施すことで一様な動きをした背景部分の除去を行い，残された主体部分の類似性判定に基づきショットどうしの類似性を判定することによって，カメラワークを含むショット・リバースショットの場面を抽出する手法を提案する．そして，カメラワークキャンセルを考慮しない従来検出法との比較により，提案手法の効果について評価した．

Video parsing is one of the important technique to offer efficient way to access video contents, and therefore scene boundary detection is fundamental process for video parsing. Scene boundary detection, that is based on shot similarity, has been studied for movie structure analysis. According to the film grammar, shots that consist of the alternation of two group of similar shots are called ‘shot/reverse shot’. Previous studies that extract shot/reverse shot are based on comparison of color histogram or color based region clusters that are extracted by static key-frame analysis. Therefore, the extraction of a scene composed of shot/reverse-shot including camera work is an open issue, since static shot similarity evaluation cannot cope with such case effectively. In this paper, we proposed a method of detecting shot/reverse-shots under the influence of camera work based on camera work cancellation and dominant object similarity. We evaluated the proposed method by comparing static based method.

Journal

Keywords

Details 詳細情報について

Report a problem

Back to top