5分で分かる !? 有名論文ナナメ読み：Tom B. Brown et al. : Language Models are Few-Shot Learners

荒瀬 由紀

doi:10.20729/00211938

5分で分かる !? 有名論文ナナメ読み：Tom B. Brown et al. : Language Models are Few-Shot Learners

DOI 情報処理学会 Web Site

荒瀬由紀

書誌事項

タイトル別名

5フンデワカル!? ユウメイロンブンナナメヨミ Tom B. Brown et al. : Language Models are Few-Shot Learners

この論文をさがす

説明

大規模なテキストデータを用いて訓練された巨大なニューラル言語モデルである事前学習済み言語モデルは自然言語処理に大きなインパクトを与えた．本稿ではT. B. BrownらによるLanguage Models are Few-Shot Learners（NeurIPS 2020）を取り上げる．最も巨大なモデルの1つであるGPT-3の構築を通し，事前学習済み言語モデルにまつわるさまざまな疑問を明らかにすることを目的として実施された網羅的な実験・分析について，また事前学習済み言語モデルがもたらした新たな社会的課題について解説する．