ChatGPTを用いたデータ拡張手法によるデータ不足時の大規模言語モデルの効率的評価

DOI

書誌事項

タイトル別名
  • Data Augmentation with ChatGPT for Efficient Evaluation of Large Language Models in Data-Scarce Environments

説明

<p>近年、GPT-3を始め、大規模言語モデル（LLM）の開発が急速に進展し、自然言語処理（NLP）の分野で重要な役割を果たしている。しかし、LLMは複雑な文書を出力することが多いため、効率的に評価するための統一的な基準がまだ確立されていない。また、学習済みの言語モデル（LM）を用いた評価方法はコストが低いため広く用いられているが、学習データが不足すると精度が十分に得られない問題がある。本研究では、データが不足している場合のLMの精度問題を解決するため、ChatGPTを用いたデータ拡張手法を提案する。日本語の質問応答（QA）タスクにおいて実験を行った結果、文書のみが存在する場合、提案手法により生成した質問と答えを学習データとして用いたLMは、ChatGPT3.5を上回り、ChatGPT4の92%の評価精度を達成することができた。</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390018971042194432
  • DOI
    10.11517/pjsai.jsai2024.0_2g5gs602
  • ISSN
    27587347
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ