5分で分かる !? 有名論文ナナメ読み：Tom B. Brown et al. : Language Models are Few-Shot Learners

DOI IPSJ Web Site

Bibliographic Information

Other Title
  • 5フン デ ワカル!? ユウメイ ロンブン ナナメ ヨミ Tom B. Brown et al. : Language Models are Few-Shot Learners

Search this article

Description

大規模なテキストデータを用いて訓練された巨大なニューラル言語モデルである事前学習済み言語モデルは自然言語処理に大きなインパクトを与えた．本稿ではT. B. BrownらによるLanguage Models are Few-Shot Learners（NeurIPS 2020）を取り上げる．最も巨大なモデルの1つであるGPT-3の構築を通し，事前学習済み言語モデルにまつわるさまざまな疑問を明らかにすることを目的として実施された網羅的な実験・分析について，また事前学習済み言語モデルがもたらした新たな社会的課題について解説する．

Journal

  • 情報処理

    情報処理 62 (8), 424-426, 2021-07-15

    dummy publisher

Keywords

Details 詳細情報について

Report a problem

Back to top