検索実験における評価指標としての平均精度の性質

情報処理学会 Web Site 被引用文献5件 参考文献11件

書誌事項

タイトル別名
  • ケンサク ジッケン ニ オケル ヒョウカ シヒョウ ト シテ ノ ヘイキン セイド ノ セイシツ
  • Property of Average Precision as Performance Measure for Retrieval Experiment"

この論文をさがす

説明

最近の情報検索の実験においては各手法やシステムの検索性能の評価指標として平均精度，あるいは平均精度の平均が利用されている．しかし，評価指標としての平均精度の統計学的な性質についてはあまり知られてはいない．本研究の目的は，平均精度を数学的に定義して，その基本的な性質を整理するとともに，検索実験における検索課題が無限母集団からの無作為標本であると仮定した場合に，2 つの手法間の性能を平均精度を用いて検定する際の諸問題について議論することにある．特に検定の問題に関しては，第1 に，適合判定の変動が平均精度を用いた手法間の差の検定に与える影響を調べる．これは統計学分野で開発された測定誤差モデルを導入することによって行う．第2 に，近年のテストコレクションの一般的な作成方法であるpooling に起因する適合文書の未発見が性能比較に与える影響を議論する．これらの分析における具体例として，NTCIR-1 の結果の一部を利用して，数値的な計算を試みる．

Average precision is often used for evaluating methods or models at retrieval experiments. However,statistical properties of average precision or mean average precision have not yet been known suffciently.The purpose of this paper is (1)to de fine mathematically average precision and to analyze its properties from the mathematical formula,and (2)to discuss some issues on statistical test for determining a difference of retrieval performance between two systems by using mean average precision as an evaluation measure.o do this,first, a mathematical model of measurement error developed in statistical science is introduced for estimating the degree to which the variation of relevance judgments change the result of statistical test by average precision.Second,we examine the effect of discovering relevant documents that were not found due to adopting pooling method for developing test collection. A part of results at NTCIR-1 Workshop is used for showing some examples in a real setting.

収録刊行物

被引用文献 (5)*注記

もっと見る

参考文献 (11)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ