In-house Placement Test Development and its Analysis Applying Multivariate Generalizability Theory

機関リポジトリ Web Site

この論文をさがす

説明

The previous studies suggested that commercially produced proficiency and placement tests had to be scrutinized when administered within an institution as placement tests. An in-house placement test was analyzed using multivariate generalizability theory (G theory) to investigate the sources of variance, the degree of relatedness between examinees' test scores in the grammar, vocabulary, and reading sections, and the optimal number of items for these sections.

Three hundred seventy four Japanese first year students took a 40-item grammar, 40-item vocabulary, and 10-item reading test. The multivariate generalizability study indicated that more than 70% of the total variance resulted from the interactions effect for the sections. The three sets of the test scores were highly or moderately correlated and had a reasonable magnitude of relatedness.

The multivariate D studies (D study) showed that the test, made up with 30-item grammar, 30-item vocabulary, and 30-item reading test would be optimal. In conclusion, using G theory to analyze an in-house placement test might be beneficial in fine-tuning the test, and developing a placement test makes it possible to ensure that the program's goals and needs are met.

既存研究によると業者によって開発された試験をプレイスメントテストとして用いる場合、そのテストがカリキュラムおよびに受験者に適しているかを調査する必要があるとある。本学内開発プレイスメントテストは多変量一般化可能性理論を用い分析された。まず、一般化可能性研究では、受験者、項目、交互作用の分散を推定するためおよびに文法、語彙、読解セクションの関係性を検証するために行われた。

決定研究では、もっとも適した各セクションの項目数が検討された。374名の大学一年生が40項目、40項目、10項目からなる文法、語彙、読解セクションのプレイスメントテストを受験した。一般化可能性研究の結果によると70%の分散は交互作用によるものだとのことがわかった。また、三セクションの相関は若干高いという結果になった。決定研究の結果では各セクションが30項目ずつにするのが妥当だとの結果となった。この研究が示唆することは多変量一般化可能性理論はテスト開発または改訂に用いるのに非常に有益であるということである。

また、学内でプレイスメントテストを作成することは手間がかかるが受験者やカリキュラムの目標に合致したものを作成することができるという点で優れているといえよう。

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ