大規模言語モデルのメタ認知

DOI

書誌事項

タイトル別名
  • Metacognition in Large Language Models
  • Does GPT-4 have the metacognition?
  • GPT-4はメタ認知を持つか？

説明

<p>大規模言語モデル(LLM)の1つであるChat Generative Pre-Trained Transformer (ChatGPT)は、その認知能力について分析・評価されている。例えば、ChatGPTは誤信念課題においてロバストな性能を示し、心の理論を持っていることが示唆された。しかし、GPT-4がメタ認知能力を有しているかどうか、つまり、GPT-4が自分自身のパフォーマンスをどれだけ正確に認識できるかを評価し、明らかにすることは重要であろう。ここでは、LLMの一般的なメタ認知能力について、ChatGPTと人間の確信度判断を分析することで調べた。人間は正解したときよりも不正解したときの方が確信度が低い傾向があった。しかし、GPT-4は正解できなかった問題でも高い確信度を示した。これらの結果は、GPT-4が特定のメタ認知能力を欠いていることを示唆している。</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390581920995972224
  • DOI
    10.11517/pjsai.jsai2024.0_4xin232
  • ISSN
    27587347
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ