BioVL2データセット:生化学分野における一人称視点の実験映像への言語アノテーション

書誌事項

タイトル別名
  • BioVL2: An Egocentric Biochemical Video-and-Language Dataset

抄録

<p> 本論文では,生化学分野における一人称の実験映像データセットであるBioVL2データセットを提案する.BioVL2データセットは生化学における4種類の基本的実験に対し,それぞれ8動画撮影した合計32,総時間2.5時間の映像からなるデータセットである.各映像はプロトコルと紐づいており,言語アノテーションとして(1)視覚と言語の対応関係のアノテーション,(2)プロトコル中に現れる物体の矩形アノテーションの2種類のアノテーションを付与している.構築したデータセットの応用例として,本研究では実験映像からプロトコルを自動生成する課題に取り組んだ.定量的,定性的な評価の結果,開発した手法はフレームに映っている物体名をそのままプロトコルとして出力する弱いベースラインと比較して,適切なプロトコルを生成できることを確認した.なお,BioVL2データセットは研究用途に限定してデータセットを公開する予定である.</p>

収録刊行物

  • 自然言語処理

    自然言語処理 29 (4), 1106-1137, 2022

    一般社団法人 言語処理学会

被引用文献 (1)*注記

もっと見る

参考文献 (33)*注記

もっと見る

関連プロジェクト

もっと見る

詳細情報 詳細情報について

問題の指摘

ページトップへ