検索実験における評価指標としての平均精度の性質

• Item type: Trans(1)
• 公開日: 2002-03-15
• タイトル: 検索実験における評価指標としての平均精度の性質
• タイトル / 言語: en
• タイトル: Property of Average Precision as Performance Measure for Retrieval Experiment"
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 研究論文
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 駿河台大学文化情報学部／国立情報学研究所
• 著者所属(英): en
• 著者所属(英): Faculty of Cultural Information Resources, Surugadai University/National Institute of Informatics
• 著者名: 岸田, 和明
• 著者名(英): Kazuaki, Kishida
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 最近の情報検索の実験においては各手法やシステムの検索性能の評価指標として平均精度，あるいは平均精度の平均が利用されている．しかし，評価指標としての平均精度の統計学的な性質についてはあまり知られてはいない．本研究の目的は，平均精度を数学的に定義して，その基本的な性質を整理するとともに，検索実験における検索課題が無限母集団からの無作為標本であると仮定した場合に，2 つの手法間の性能を平均精度を用いて検定する際の諸問題について議論することにある．特に検定の問題に関しては，第1 に，適合判定の変動が平均精度を用いた手法間の差の検定に与える影響を調べる．これは統計学分野で開発された測定誤差モデルを導入することによって行う．第2 に，近年のテストコレクションの一般的な作成方法であるpooling に起因する適合文書の未発見が性能比較に与える影響を議論する．これらの分析における具体例として，NTCIR-1 の結果の一部を利用して，数値的な計算を試みる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Average precision is often used for evaluating methods or models at retrieval experiments. However,statistical properties of average precision or mean average precision have not yet been known suffciently.The purpose of this paper is (1)to de fine mathematically average precision and to analyze its properties from the mathematical formula,and (2)to discuss some issues on statistical test for determining a difference of retrieval performance between two systems by using mean average precision as an evaluation measure.o do this,first, a mathematical model of measurement error developed in statistical science is introduced for estimating the degree to which the variation of relevance judgments change the result of statistical test by average precision.Second,we examine the effect of discovering relevant documents that were not found due to adopting pooling method for developing test collection. A part of results at NTCIR-1 Workshop is used for showing some examples in a real setting.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464847
• 書誌情報: 情報処理学会論文誌データベース（TOD）; 巻 43, 号 SIG02(TOD13), p. 11-26, 発行日 2002-03-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7799
• 出版者 / 言語: ja
• 出版者: 情報処理学会