Character-LLM の評価指標の検討

DOI

書誌事項

タイトル別名
  • Character Setting Extraction for Enhanced Character-LLM Evaluation

説明

<p>本研究では，キャラクターをロールプレイしているチャットボットを自動評価する手法を提案する．提案手法は，2つの手続きを通じて行われる．まず，ロールプレイするキャラクターの過去のセリフや発言からキャラクター設定を抽出する．その後，ロールプレイしているチャットボットに対して，抽出されたキャラクター設定を用いて自動評価を行う．本実験では，Aww, Incが開発したバーチャルヒューマンであるimmaのXのポストデータに対してキャラクター設定の抽出を実施した．その結果，54件のキャラクター設定を抽出することに成功し，そのうち44件は人手評価により妥当と評価された．さらに，キャラクター設定を用いた自動評価では，85.1ポイントの精度で適切に評価できることが明らかになった．</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390018971042535552
  • DOI
    10.11517/pjsai.jsai2024.0_4xin2109
  • ISSN
    27587347
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ