臨場感向上のための環境音付き360度パノラマ画像の自動生成手法

情報処理学会

抄録

近年，VRHMD（Virtual Reality Head Mounted Display）のアクセシビリティの向上により，Web ブラウザを通じて手軽に 360 度パノラマ画像にアクセスできるようになった．これにより，VR 旅行が可能となり，バーチャルでの旅行先や観光名所を体験できるようになっている．現実の旅行の代替ではないが，旅行先の選定手段として有効であると考える．これまでに本研究では，既存の課題を指摘し，多様なニーズに対応するために，VR 型の観光地リコメンドシステム IIDS を開発した．本稿では，観光地への興味が VR 空間の臨場感によって高められると仮説をたて，VR 空間の臨場感向上を目的とした．本稿では，環境音を 360 度パノラマ画像に追加することで，より臨場感のある体験を提供する機能を追加した．環境音は以下のように生成する．入力される 360 度パノラマ画像を 6 つに分解し，それぞれの画像を物体検出と画像キャプション生成にかけ，画像の情報をテキストに変換する．このテキストを text-to-sound のモデルに入力し，環境音 (物体) と環境音 (背景) を作成する．この環境音を入力された画像が表示される VR 空間に配置する．

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ