金融ドメイン特化のための大規模言語モデルのインストラクションチューニング評価

DOI

書誌事項

タイトル別名
  • Evaluation of Instruction Tuning on Finance-Specific Large Language Models

説明

<p>特定のドメインに特化させた小型言語モデルは汎用的な大規模言語モデルの性能を超えることが報告され始めている．しかしながら，金融領域に特化したオープンソースの言語モデルは限定されており，本領域において十分な性能を持った言語モデルの評価は不十分である．そこで，本研究では，センチメント分析，識別，質問応答といった広範囲な金融領域のタスクを含むベンチマークセットを利用し，小型のチャットモデルを複数の条件でインストラクション・チューニングさせた場合の性能変化について評価を行った．損失関数の比較検証に加え，低ランク適応および量子化を用いてファインチューニング行い7Bモデルと13Bモデルを学習させた結果，継続事前学習や教師有りファインチューニングでは過学習が生じるにもかかわらず，各タスクの精度は向上し，インストラクションのテンプレートに影響を受けることが判明した．</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390018971042399744
  • DOI
    10.11517/pjsai.jsai2024.0_3xin253
  • ISSN
    27587347
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ