ChatGPTはどのくらいプログラミングを理解しているか？

情報処理学会

書誌事項

タイトル別名
  • How Well does ChatGPT Understand Programming?

この論文をさがす

抄録

近年，大規模言語モデルの発展は目覚ましく，プログラミングを含むソフトウェア開発への応用の期待が高まっている．しかし，大規模言語モデルの原理とコード生成能力の関係には未知な部分も多い．本研究では，大規模言語モデルがプログラミングをどのくらい理解しているかを定量化するベンチマークの開発を提案する．ベンチマークの開発により，コード生成，コード移植，リファクタリング，コード修正など様々なコードタスクの得意・不得意の把握が可能になり，さらなる大規模言語モデルの開発や微調整に役立つことが期待される．本発表では，ベンチマークのタスクセットの設計，データセットの整備手順やZero-shotプロンプトの開発進捗を報告し，ChatGPTを用いたベースライン評価を報告する．

In recent years, large-scale language models have made remarkable progress, and there are growing expectations for their application to software development, including programming. However, there are many unknowns in the relationship between the principles of large-scale language models and their ability to generate code. In this study, we propose the development of a benchmark to quantify how well large-scale language models understand programming. The development of benchmarks will enable us to understand the strengths and weaknesses of various code tasks, such as code generation, code porting, refactoring, and code modification, and will be useful for further developing and fine-tuning large-scale language models. In this presentation, we will report on the design of the benchmark task set, the procedure for maintaining the dataset and the progress in developing the Zero-shot prompts, and report on the baseline evaluation using ChatGPT.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ