評定者内の評定のばらつきが信頼性に及ぼす影響

機関リポジトリ HANDLE Web Site

書誌事項

タイトル別名
  • ヒョウテイシャナイ ノ ヒョウテイ ノ バラツキ ガ シンライセイ ニ オヨボス エイキョウ
  • An Effect of Dispersion of Rating in Each Rater on Reliability

この論文をさがす

抄録

application/pdf

本稿の目的は、評定者内の評定のばらつきが信頼性にどのような影響を及ぼすのかについて調べることであった。次の5つの評定者集団が設定されシミュレーションが行われた。(1)全ての評定者における評定者内の評定のばらつきが大きい群(AH群)、(2)評定のばらつきが大きい評定者を集めた群(GH群)、(3)ローデータ群(R群)、(4)評定のばらつきが小さい評定者を集めた群(GL群)、及び(5)全ての評定者における評定者内の評定のばらつきが小さい群(GL群)であった。信頼性の指標としては一般化可能性係数が使用された。その結果、評定者内の評定のばらつきは、信頼性に影響を及ぼすことが示され、AH群において最も信頼性が高く、AL群において最も信頼性が低かった。このことから、評定において信頼性を高めるためには、評定のばらつきが大きい評定者を評定者集団に多く含めることが効果的であることが示唆された。

The purpose of this study was to investigate an effect of dispersion of rating in each rater on reliability. Five groups were set for simulation as follows: (1) Group whose dispersions of rating in all raters were constantly high (AH group), (2) Group whose dispersions of rating were relatively high (GH group), (3) Raw data group(R group), (4) Group whose dispersions of rating in each rater were relatively low (GL group), and (5) Group whose dispersions of rating in all rater were constantly low (AL group). Generalizability coefficient (Brennan, 2001) was used as an index of reliability. The results showed that the dispersion of rating in each rater affected reliability significantly, and showed that reliability was the highest in AH group and the lowest in AL group. Therefore, it was proposed that raters whose ratings were widely dispersed could be used to obtain high reliability in assessments.

紀要類

論文

268491 bytes

収録刊行物

  • 教育情報学研究

    教育情報学研究 (4), 1-4, 2006-03

    東北大学大学院教育情報学研究部

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ