JGLUE: 日本語言語理解ベンチマーク

DOI DOI DOI Web Site Web Site ほか1件をすべて表示 一部だけ表示 被引用文献5件 参考文献19件 オープンアクセス

書誌事項

タイトル別名
  • JGLUE: Japanese General Language Understanding Evaluation
  • 「JGLUE: 日本語言語理解ベンチマーク」の経緯とその後

説明

<p>高性能な言語理解モデルを開発するためには，言語理解の能力を様々な観点から評価し分析するためのベンチマークが必要である．英語においては，GLUE (Wang et al. 2018) が先駆けとして構築されており，中国語版のCLUE (Xu et al. 2020) やフランス語版のFLUE (Le et al. 2020) など，各言語におけるベンチマーク構築も進んでいるが，日本語においては GLUE のようなベンチマークは存在せず，日本語自然言語処理において大きな問題となっている．本研究では，一般的な日本語言語理解能力を測ることを目的として，翻訳を介することなく，日本語で一から言語理解ベンチマーク JGLUE を構築する．JGLUE は文章分類，文ペア分類，QA の 3 種類のタスクから構成される．本ベンチマークによって日本語における言語理解研究が活性化することを期待する．</p>

収録刊行物

  • 自然言語処理

    自然言語処理 29 (2), 711-717, 2022

    一般社団法人　言語処理学会

被引用文献 (5)*注記

もっと見る

参考文献 (19)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ