生成AIに難しさ等を指示するための予測正答者数分布で設問の性質を表現できる設問難度推定法

情報処理学会

説明

指定された指示文に従って設問等を生成できる生成AI が大きな注目を集めている．生成AI に難しさなどを指定して設問を生成する事を考えると，特定の分野によらない難しさの尺度の指定方法があれば便利である．分野非依存の尺度としては，項目反応理論の困難度や識別力といった尺度があるが，指示する側の人間の側が項目反応理論などの統計尺度に詳しい必要がある．本研究では，より人間にも生成AI にも理解しやすい尺度として，正答者数の分布を用いる手法を提案する．具体的には，「ある100 人の受験者集団では，次の設問は予測正答者数分布の平均がa 人，標準偏差b と予想されています．予測正答者数分布の平均がc 人の全く新しい設問を生成してください」といった指示を行うことで，指示する側の人間が統計尺度に詳しくなくとも，生成AI に，目的とする設問の性質を伝えられるようにする．本研究では，試験結果データと設問文を訓練データとして，設問文を考慮しながらマスク言語モデルを用いてテストデータ中の正答者数分布を推定する手法を提案する．この分布を，ポアソン二項分布として動的計画法を用いて推定する．英語の語彙試験データを用いた実験により，提案手法で，予測正答者数分布の平均・標準偏差を用いて，設問をChatGPT に指示し，提案手法で，意図する設問の生成が行われることを定性的に示す．

収録刊行物

詳細情報 詳細情報について

問題の指摘

ページトップへ