LINEメタバースにおけるメッセージの感情推定手法の提案

これまで筆者らは，既存のLINEグループをタブレットPC上のアバターとして表現することで，メタバースの世界として提示することを提案してきた．本研究では，このLINEメタバース上で利用者がより円滑なコミュニケーションを図れるように，送信されたメッセージの内容から感情推定を行い，アバターの表情を変更する手法を提案する．現状でも，感情推定を目的とした多くの既存研究や商用サービスが存在しているものの，広く外部システムから利用可能な形態になっていなかったり，機能が限定的であったりという課題がある．そこで本研究では，テキストメッセージの内容からOpenAI社のChat Completions APIを用いて感情推定を行い，その結果に応じてアバターの表情を変化させる手法を考察した．また，メッセージ送信者が任意で感情を表す絵文字を付加することで，その感情を正解ラベルとした追加学習データを蓄積してFine-tuningを実施し，継続的に感情推定の性能を高められる仕組みとした．被験者でLINEメタバースグループを作成し，2カ月にわたる追加学習データの蓄積とFine-tuningを繰り返すことで感情推定の性能の変化を測定し，この提案手法の評価を行った結果，正解率およびマクロ平均再現率ともに85%前後で感情推定を行えることが確かめられた．

The authors have previously proposed presenting existing LINE groups as avatars on tablet PCs as a metaverse world. In this study, we propose a method to change the facial expressions of avatars based on emotion estimation from the contents of sent messages, in order to enable users to communicate more smoothly in the LINE metaverse. Although there are currently many existing studies and commercial services aimed at emotion estimation, they are not widely available from external systems or have limited functionality. Therefore, in this study, we examined a method to estimate emotions from text messages using OpenAI's Chat Completions API and to change the avatar's facial expressions according to the results. In addition, by adding pictograms that express emotions at the message sender's option, the system is designed to accumulate additional training data with that emotion as the correct label and to perform fine-tuning to continuously improve the performance of emotion estimation. We evaluated the proposed method by creating a LINE metaverse group of subjects and measuring changes in the performance of emotion estimation by accumulating additional training data and repeating fine-tuning over a two-month period and confirmed that the proposed method can estimate emotions with an accuracy and a macro-average recall of around 85%.