ヒューマノイドを対象にした視聴覚統合による実時間人物追跡―アクティブオーディションと顔認識の統合―

  • 中臺 一博
    科学技術振興事業団ERATO北野共生システムプロジェクト
  • 日台 健一
    科学技術振興事業団ERATO北野共生システムプロジェクト
  • 溝口 博
    東京理科大学理工学部機械工学科
  • 奥乃 博
    科学技術振興事業団ERATO北野共生システムプロジェクト 京都大学大学院情報学研究科
  • 北野 宏明
    科学技術振興事業団ERATO北野共生システムプロジェクト

書誌事項

タイトル別名
  • Real-Time Human Tracking by Audio-Visual Integration for Humanoids-Integration of Active Audition and Face Recognition-
  • ヒューマノイド オ タイショウ ニ シタ シチョウカク トウゴウ ニ ヨル ジツジカン ジンブツ ツイセキ アクティブオーディション ト カオ ニンシキ ノ トウゴウ
  • —Integration of Active Audition and Face Recognition—
  • ―アクティブオーディションと顔認識の統合―

この論文をさがす

抄録

This paper describes a real-time human tracking system by audio-visual integrtation for the humanoid SIG. An essential idea for real-time and robust tracking is hierarchical integration of multi-modal information. The system creates three kinds of streams - auditory, visual and associated streams. An auditory stream with sound source direction is formed as temporal series of events from audition module which localizes multiple sound sources and cancels motor noise from a pair of microphones. A visual stream with a face ID and its 3D-position is formed as temporal series of events from vision module by combining face detection, face identification and face localization by stereo vision. Auditory and visual streams are associated into an associated stream, a higher level representation according to their proximity. Because the associated stream disambiguates parcially missing information in auditory or visual streams, “focus-of-attention” control of SIG works well enough to robust human tracking. These processes are executed in real-time with the delay of 200 msec using off-the-shelf PCs distributed via TCP/IP. As a result, robust human tracking is attained even when the person is visually occluded and simultaneous speeches occur.

収録刊行物

被引用文献 (6)*注記

もっと見る

参考文献 (11)*注記

もっと見る

詳細情報 詳細情報について

問題の指摘

ページトップへ