頭蓋内脳波を用いたアバターコミュニケーションシステムの開発

DOI
  • 吉田 翔平
    大阪大学大学院 医学系研究科 脳機能診断再建学共同研究講座
  • 藏冨 壮留
    大阪大学大学院 医学系研究科 脳機能診断再建学共同研究講座
  • 田口 美紗
    大阪大学大学院 医学系研究科 脳機能診断再建学共同研究講座
  • 李 晃伸
    名古屋工業大学大学院 工学研究科
  • 長井 隆行
    大阪大学大学院 基礎工学研究科
  • 平田 雅之
    大阪大学大学院 医学系研究科 脳機能診断再建学共同研究講座

抄録

<p>目的:筋萎縮性側索硬化症など、障害によりコミュニケーションが困難となる疾患がある。考えただけでアバターによりコミュニケーションを行うことができれば、こうした患者の自立支援や介護負担軽減に貢献できる。ブレインマシンインターフェース(BMI)は考えたことを直接機器制御に変換するため、随意性に優れている。しかし、BMIによりアバターを代理としてコミュニケーションを行う場合、現状では時間がかかることや、表情表出はできないなど、課題も多い。これを解決するため、BMIによる随意制御をアバターによる自律制御で補うことにより、思い通りのコミュニケーションの実現を目指している。今回、自然言語処理モデルBERTを用いて文章に内在する感情を推定し、アバターが表情豊かに会話するシステムを開発、評価した。方法:東北大学 幹らが開発した日本語版BERTモデルを、大阪大学梶原らが作成した日本語感情データセットでファインチューニングすることで日本語に特化した感情分類モデルを新たに開発した。これを、Microsoftが開発した100言語対応の汎用型文章分類モデルmDeBERTa-v3 base modelと、比較評価した。結果:開発したモデルは正解率75%の結果を示し、既存のモデルよりも高い分類精度と感情選択性を発揮した。結論:本モデルを用いることで、文章に内在する感情を読み取り、アバターで表情豊かにコミュニケーションする機能代替技術の実現が期待できる。</p>

収録刊行物

  • 生体医工学

    生体医工学 Annual61 (Abstract), 232_1-232_1, 2023

    公益社団法人 日本生体医工学会

詳細情報 詳細情報について

  • CRID
    1390580295544005760
  • DOI
    10.11239/jsmbe.annual61.232_1
  • ISSN
    18814379
    1347443X
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ