拡散モデルによるコード追加学習を加えた大規模言語モデル

情報処理学会

説明

近年，大規模言語モデルは機械翻訳や文書要約などの自然言語処理のみならず，コード生成などソフトウェア開発にも活用されている．また，ソフトウェア工学関連のタスクの品質を高めるため，コードを追加的に学習させる手法が提案されてきた．本研究の目的は，画像生成 AI 分野で広く採用されている拡散モデルのアイディアをコードの追加的な学習に適用し，大規模言語モデルのコード生成の向上を調査することである．我々は，マスクベースと文字ベースの２種類の拡散モデルをコード追加学習用に提案する．本論文では，CodeT5 モデルに提案した拡散モデルを適用した結果，自然言語からのコード生成，コード修正の品質への影響を報告する．

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ