ライブの音響および映像を用いたVRアバター動作生成手法

IPSJ

Abstract

VR 空間での体験はユーザが実際にその場にいるかのような高い没入感を得ることができ，物理的な制約なくネットワーク越しに参加できるという利便性を持っている．近年，HMD などの VR デバイスが安価となり普及したことで，VR 空間におけるコンサートライブなど，仮想空間ならではの体験を提供する活用が広がっている．VR 空間で行われるコンサートライブには自由な視点で参加可能なものや，観客がアバターで表現されているものや，演奏者がアバターで表現されているものがある．楽器演奏者の動きを VR アバターで表現する際の技術のうち，従来から研究されてきたものは大きく分けて 3 種類に分類できる．モーショントラッカーを用いる手法と画像/深度センサを用いる手法と慣性計測装置を用いる手法である．慣性計測装置を用いる手法とモーショントラッカーを用いる手法では演奏中に身体に機器を取り付ける必要があり演奏の妨げとなりうる．深度センサを用いる手法や，近年提案された深層学習によって映像からの骨格推定をおこなう手法では身体に何も取り付けずに骨格検知が可能であるが，楽器などによって演奏者の関節点とカメラの間に障害物が存在する場合は骨格推定の精度が落ち，不自然な動きとなってしまうことがある．本研究ではコンサートライブ時の音響と映像を用いた楽器演奏者の VR アバター動作生成手法を提案する．コンサートライブにおいては，音響は楽器演奏中の動きから生成される．そのため音響から推定した演奏者の骨格を用いることで，細かい手指や楽器による遮蔽や腕の交差などの映像だけでは推定できない骨格を補完する．アンケート評価の結果，音響と映像を用いることで確かに映像のみの場合より自然に骨格推定できることが判明した．

Journal

Keywords

Details 詳細情報について

Report a problem

Back to top