高臨場感リモートCo-Cookingを実現するIoTまな板の設計と空間提示方法の検討

書誌事項

タイトル別名
  • IoT Cutting Board and Spatial Presentation Method for High-Reality Remote Co-Cooking

抄録

近年の3D-LiDARやHMDの進歩により,複数のユーザが,自身および周辺物理空間のセンシングし空間データを仮想空間に持ち寄ることで臨場感が高い交流を行うことを可能にするサイバーフィジカル空間共有システムが提案されている.このシステムは,没入感のある空間共有を実現できる一方で,点群データの粗さや,HMD装着による動きの制約により,現実空間の物理オブジェクトとの精緻なインタラクションを前提とするアプリケーションに適用するには課題がある.本研究では,HMDを使用せずに物理オブジェクトへの精緻なインタラクションを遠隔ユーザの間で高い臨場感を伴って共有するための新たな提示デバイスと空間提示法の開発を目的とする.ユースケースとして料理教室を想定し,講師の動作を見ながら調理することを可能にするIoTまな板を開発した.IoTまな板はアーム付きカメラ,ディスプレイ,ロードセルセンサを搭載し,まな板上の調理動作の撮影と共有,講師および他の参加者の調理動作のまな板上への表示,食材の重さや力の入り具合の計測・表示と共有を可能にする.さらに,追加のまな板を近くに置くことにより,他の調理者の調理状況をまな板上の映像や情報を通して高臨場感に再現可能である.また,本デバイスを用いた新しい空間提示方法として,利用可能なデバイス数を増やした場合や他デバイスと併用する場合における様々な高臨場感空間共有手法を提案する.

In recent years, the technologies of 3D-LiDAR and HMD have advanced. It is now possible for multiple users to bring sensing and spatial data of themselves and the surrounding physical space into a virtual space. Therefore, a cyber-physical space sharing system has been proposed to enable highly realistic interaction. This system can realize an immersive space sharing experience. However, there are some limitations such as the coarseness of the point cloud data and the motion limitation due to the wearing of HMD. And The system is not suitable for applications that require precise interaction with physical objects in real space. The purpose of this study is to develop a new presentation device and spatial presentation method to share precise interaction with physical objects with a high sense of presence between remote users without using HMDs. As a use case, we assumed a cooking class. The IoT cutting board is equipped with two cameras, a load cell sensor and a display to measure the weight of the food and the amount of force applied. We also propose a new method of highly realistic space presentation using multiple IoT cutting board devices as well as using the devices with other kind of devices like a side monitor, a projector, etc.

収録刊行物

詳細情報 詳細情報について

問題の指摘

ページトップへ