ChatGPT の日本語生成能力の評価

DOI Web Site 被引用文献1件 参考文献22件 オープンアクセス

書誌事項

タイトル別名
  • Evaluating ChatGPT’s Ability to Generate Japanese

説明

<p>本研究では，系列変換タスクにおいて ChatGPT の日本語生成能力を評価する．ChatGPT は対話形式で様々な自然言語処理タスクに対処可能な大規模言語モデルであり，その言語生成能力の高さは英語では様々なタスクにおいて定量的に評価されている．しかし，日本語における ChatGPT の性能はまだ充分に評価されていない．本論文では，代表的な系列変換タスクである機械翻訳・自動要約・テキスト平易化の各タスクにおいて，既存の教師あり手法と比較しつつ ChatGPT の日本語生成能力を評価した結果を報告する．実験の結果，ChatGPT はいずれのタスクにおいても自動評価では既存の教師ありモデルの性能を下回ったものの，人手評価では既存の教師ありモデルの性能を上回る傾向にあった．また，出力文を詳細に分析したところ，ChatGPT は全体に高品質な日本語文を出力しているが，各タスクの詳細な要請に一部応えられていないという課題が明らかになった．</p>

収録刊行物

  • 自然言語処理

    自然言語処理 31 (2), 349-373, 2024

    一般社団法人　言語処理学会

被引用文献 (1)*注記

もっと見る

参考文献 (22)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ