人工演繹推論コーパスによる学習は言語モデルをどのように強化するか？

DOI

書誌事項

タイトル別名
  • How do synthetic deduction corpora enhance language models?

抄録

<p>言語モデルは高い言語理解能力を持つ一方で，論理的な推論は苦手であることが分かってきている．この課題に対して近年，自動で生成した大量の演繹推論事例(演繹コーパス)の学習によって演繹推論能力を強化するアプローチが提案されており，一定の効果が確認されている．一方で，演繹コーパスでの学習が演繹推論能力のどのような側面の強化に寄与しているかについては，未だ明らかでない．「側面」とは例えば，多様な演繹規則の習得・ステップ数の多い演繹の実行，等である．この調査は演繹推論能力向上に向けた今後の方向性を定める上で不可欠である． そこで本研究は，この調査を行う．各側面を切り分けて分析するため，特定の側面のみを強調した調査用のアブレーション・コーパスを(全ての側面について)生成し，そのコーパスでの学習が言語モデルの演繹推論能力を向上させるかどうかを確認する．更に，これら調査結果を基に，各側面強化のための今後の方向性を議論する．最後に，後続研究のためコーパス・ソースコード・学習済みモデルを公開する．</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390015333244438528
  • DOI
    10.11517/pjsai.jsai2023.0_2e5gs605
  • ISSN
    27587347
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ