メンタルヘルス・マネジメント（R）検定試験に対するChatGPT（GPT-4）のパフォーマンス：要因計画法を用いた検討

DOI Web Site Web Site PubMed 参考文献3件
  • 渡辺 和広
    日本産業衛生学会 産業保健AI研究会 北里大学医学部公衆衛生学
  • 筒井 保博
    日本産業衛生学会 産業保健AI研究会 福岡産業保健総合支援センター
  • 筒井 隆夫
    日本産業衛生学会 産業保健AI研究会 黒崎播磨株式会社ヘルスケアプラザ
  • 山内 武紀
    日本産業衛生学会 産業保健AI研究会 昭和大学医学部衛生学公衆衛生学講座
  • 内田 満夫
    日本産業衛生学会 産業保健AI研究会 群馬大学数理データ科学教育研究センター
  • 八谷 百合子
    日本産業衛生学会 産業保健AI研究会 産業医科大学産業生態科学研究所作業関連疾患予防学
  • 金 一成
    日本産業衛生学会 産業保健AI研究会 トヨタ自動車株式会社安全健康推進部産業医学G
  • 飯田 真子
    東京大学大学院医学系研究科精神保健学分野
  • 今村 幸太郎
    東京大学大学院医学系研究科社会連携講座デジタルメンタルヘルス講座
  • 櫻谷 あすか
    東京大学大学院医学系研究科社会連携講座デジタルメンタルヘルス講座
  • 川上 憲人
    東京大学大学院医学系研究科社会連携講座デジタルメンタルヘルス講座

書誌事項

タイトル別名
  • Performance of generative pre-trained transformer-4 on the certification test for mental health management: A factorial design
  • メンタルヘルス・マネジメント検定試験に対するChatGPT(GPT-4)のパフォーマンス : 要因計画法を用いた検討
  • メンタル ヘルス ・ マネジメント ケンテイ シケン ニ タイスル ChatGPT(GPT-4)ノ パフォーマンス : ヨウイン ケイカクホウ オ モチイタ ケントウ

この論文をさがす

説明

<p>目的：本研究では，職場のメンタルヘルスに関する専門知識を問う試験問題として，大阪商工会議所・施行商工会議所が主催するメンタルヘルス・マネジメント（R）検定試験を採用し，GPT-4のパフォーマンスを検討することを目的とした．また，モデルに入力するプロンプトに工夫を加えることによって，試験に対するパフォーマンスが向上するかも検討した．方法：本研究は試験の難易度（コース），およびプロンプトの条件別にパフォーマンスを検討する，3×2の要因計画で行われた．メンタルヘルス・マネジメント（R）検定試験（I種～III種）の選択問題を，試験のコース別に過去4回分（200問），計600問用意した．また，I種試験においてのみ課される論述問題も過去4回分用意した．試験の合格基準は，II種・III種試験については「100点中70点以上」，I種試験については「選択問題100点・論述問題 50点のうち，得点の合計が105点以上．ただし，論述問題の得点が25点以上」であった．条件として，問題をそのままプロンプトとして使用する単純プロンプト条件と，これまでに大規模言語モデルのパフォーマンスを向上させることが確認されている方法でプロンプトを作成した調整プロンプト条件の2条件を設定した．モデルはGPT-4（gpt-4-0613）を採用し，実装にはOpen AI APIを使用した．結果：単純プロンプト条件における平均得点はIII種で74.5点，II種で71.5点，I種で64.0点であった．調整プロンプト条件においては単純プロンプト条件よりもわずかに正答率が高かったが，その効果は有意ではなかった（オッズ比1.03, 95％信頼区間, 0.65–1.62, p = .908）．単純プロンプト条件においては選択肢をひとつに絞れなかったことで誤答した問題があったが，調整プロンプト条件においては観察されなかった．論述問題（50点満点）の単純プロンプト条件における平均得点は22.5点であった．結論：GPT-4は職場のメンタルヘルスに対する一般的な知識体系を有しており，II種・III種試験において合格基準を上回った．より高度な知識，あるいは専門的知識を正確に記述する能力が求められるI種試験においては合格基準を下回った．この水準でGPT-4を活用する際には，外部の情報を組み合わせる必要がある．プロンプトの工夫は，パフォーマンスを有意に向上させなかったが，意図しない出力の制限や，出力形式の整理に対しては有効である可能性がある．UMIN試験登録：UMIN-CTR ID = UMIN000053582</p>

収録刊行物

  • 産業衛生学雑誌

    産業衛生学雑誌 66 (6), 303-313, 2024-11-20

    公益社団法人 日本産業衛生学会

参考文献 (3)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ