動きに基づく料理映像の自動要約

IPSJ Web Site 12 Citations 10 References

Bibliographic Information

Other Title
  • ウゴキ ニ モトヅク リョウリ エイゾウ ノ ジドウ ヨウヤク
  • Motion Based Automatic Abstraction of Cooking Videos

Search this article

Description

近年，マルチメディア情報を有効に活用する重要性が増すにつれ，テレビ映像の自動要約に関する研究がさかんに行われつつある．本論文では，料理映像を対象にした自動要約手法を提案し，検討する．我々は料理映像要約の目的を，調理の全体的な流れを視覚的・直感的に理解するのに十分な映像を作成することとしている．要約映像を作成する際には，映像の重要部分を抽出することが必要となるが，料理映像においては，調理動作および料理や食材の状態を示す部分が特に重要である．これらは画像全体の動きの激しさと関連があることから，オプティカルフローによりこれらの重要部分を検出する手法およびカメラワーク（パン）を除去する手法を提案し，評価実験によりその有効性を示した．さらに，この手法によって抽出された重要部分と，調理動作の中でも特に重要な繰返し動作部分から料理映像要約を生成するアプリケーションを実装した．放送局の異なる複数の料理番組に提案手法を適用し，要約映像を自動生成した結果，要約映像は十分に調理手順の内容を保ちつつ，元の映像の1/8 から1/12 の時間に短縮できた．また，自動要約した映像の一部を，番組制作者によって作成された要約映像と比較することにより，本手法の有効性を確認した．

Re flecting the increasing importance of handling multimedia data efficiently, many studies are made on automatic abstraction of television broadcast video. In this paper, we propose a method to abstract cooking videos. We de fine cooking video abstraction as shrinking videos maintaining sufficient understandability of general cooking procedures visually and intuitively. To abstract a video, important sub-shot segments need to be extracted from the original video. Important segments in a cooking video are considered as cooking motions and appearances of foods, since visual information that represents essential cooking operation is exceptionally important. These segments have typical motion-related features. Thus,a method to extract such important segments referring to the intensity of motion in the image is proposed. Effectiveness of the method is shown through evaluation experiments. We also implemented an abstracted cooking video browser that assembles important segments detected by the proposed methods and repetitious motions that is especially important among cooking motions. The resultant abstracted videos were about 1/8 to 1/12 of the original videos in time, maintaining the understandability of cooking procedures. And the validity of the abstraction method was checked by comparing some automatic abstracted videos with abstracted videos provided from the broadcaster.

Journal

Citations (12)*help

See more

References(10)*help

See more

Keywords

Details 詳細情報について

Report a problem

Back to top