ARジオラマにおける前景抽出インタフェースを用いた三次元形状復元手法

近年，拡張現実感 （Augmented Reality，AR） と呼ばれる，現実空間に対して計算機情報を重畳表示する技術が身近なものとなり始めている．本研究室では，対象の実物体の三次元形状復元，ストローク入力による動作記述が可能である AR ジオラマと呼ぶシステムを提案していた．しかし，このシステムが復元する三次元モデルは復元精度が良くないという問題があった．本研究では，AR ジオラマの三次元形状復元に関して新たな手法を検討する．提案手法では，色情報を用いて領域分割を行うことによって，三次元物体形状復元を行う手法を用いる．特徴点情報ではなく，色情報を用いることで，三次元物体形状復元のテクスチャ依存性を低くする．ユーザからのマウスによるストロークを入力とし，ストロークによって復元したい物体を指定してシルエットを抽出し，得られたシルエットとカメラ自己位置姿勢から三次元形状の復元を行う．実装の結果，従来手法では復元不可能であったテクスチャが少ない物体の三次元形状復元ができること，従来手法と比べて精度のよい三次元形状モデルの生成ができることを確認した．Recently, augmented reality (AR） technologies, which overlay computer generated information onto the real world, have been widespread. We have previously proposed AR Diorama System that can construct AR contents by using a handheld camera and stroke input, which enable the user author behaviors. However, there were problems in virtual object creation and object behavior authoring due to the low precision of the 3D reconstruction. In this study, we consider to employ a better 3D reconstruction method to improve AR Diorama System. Our approach is based on real-time region segmentation and silhouette carving. Region segmentation uses color information of the real object of concern so that the new system does not require texture information unlike a feature point tracking based approach used in the previous system. A user first draw a stroke on screen to specify a real object to reconstruct, then its silhouette is automatically extracted and tracked in real-time by using a graph cut algorithm. A 3D model of the real object is gradually reconstructed on-the-fly by using silhouette and camera pose data associated with multiple keyframes. Experimental results show that our method can reconstruct better 3D models in terms of precision compared to the previous system regardless of texture information, though a camera must be moved around the object carefully to acquire a good result.