調理動作後の物体の視覚的状態予測を目指した Visual Recipe Flow データセットの構築と評価

DOI Web Site 参考文献16件

書誌事項

タイトル別名
  • Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

抄録

<p>本稿では，調理レシピにおいて，調理動作後の物体の視覚的な状態の予測を目指し，Visual Recipe Flow (VRF) データセットを提案する．VRF データセットは (i) 物体の視覚的な状態遷移と (ii) レシピ全体のワークフローに対するアノテーションから成る．視覚的な状態遷移は動作前後の物体の観測を表す画像の組として，ワークフローはレシピフローグラフとして，それぞれ表現する．ここでは，データセットの構築方法，アノテーション手順について順に説明し，アノテータ間のアノテーション一致率を測ることでデータセットの品質を調査する．最後に，動作前後の画像と物体のテキスト情報を用いたマルチモーダルな情報検索の実験を行うことで，各アノテーション要素の重要性について調べる．</p>

収録刊行物

  • 自然言語処理

    自然言語処理 30 (3), 1042-1060, 2023

    一般社団法人　言語処理学会

参考文献 (16)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ