大規模テストコレクション構築のためのプーリングについて：NTCIR - 1の予備テストの分析

• Item type: SIG Technical Reports(1)
• 公開日: 1999-05-17
• タイトル: 大規模テストコレクション構築のためのプーリングについて：NTCIR - 1の予備テストの分析
• タイトル / 言語: en
• タイトル: Pooling for a Large Scale Test Collection : Analysis of the Search Results for the Pre - test of the NTCIR - 1 Workshop
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 学術情報センター
• 著者所属: 学術情報センター
• 著者所属: 学術情報センター
• 著者所属: 学術情報センター
• 著者所属(英): en
• 著者所属(英): National Center for Science Information Systems
• 著者所属(英): en
• 著者所属(英): National Center for Science Information Systems
• 著者所属(英): en
• 著者所属(英): National Center for Science Information Systems
• 著者所属(英): en
• 著者所属(英): National Center for Science Information Systems
• 著者名: 栗山, 和子; 神門, 典子; 野末, 俊比古; 大山敬三
• 著者名(英): Kazuko, Kuriyama; Noriko, Kando; Toshihiko, Nozue; Keizo, Oyama
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究の目的は、(1)大規模テストコレクションを構築する手法としてのプーリングの有効性を検証し、(2)プーリング件数が検索システムの評価に関連があるかどうか調べ、(3)正解判定の際の判定のゆれがシステムの評価に関係してくるかどうかを明らかにすることである。(1)，(2)のために、NTCIR-1の訓練用正解セットを使用した予備テストで提出された結果を用いてプーリング実験を行なった。また、プーリング法の改良であるMove?to?Front法の簡略なヴァリエーションを提案し、平均精度が上位である提出結果からの文書をプーリング法によるプールに追加する実験も同時に行なった。その結果、プーリング法の有効性、すなわち、作成された正解リストの網羅性、および、プーリングによって作成された正解文書リストの公平性が確かめられた。(3)のために、NTCIR-1の訓練用セットを構築する際に行なった、異なる判定者による3種類の正解判定結果（判定者A，Bそれぞれによる判定，両者の協議による最終判定）を用いて評価実験を行なった。結果として、30件の検索課題を用いて検索結果を評価したとき、検索精度の平均は異なる正解判定リスト間においてほとんど差がなくなり、他数の検索課題を用いて評価を行なえば、判定者間の判定のゆれは評価においては問題ではないということがわかった。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The purposes of this study are; (1) to verify the effectiveness of the pooling method to construct a large scale test collection, (2) to examine whether the number of documents in a pool affects the evaluation of retrieval results, and (3) to verify the reliability of a test collection through investigating the effect of variations in relevance assessments have on the evaluation of search effectiveness since individual relevance assessments are known to be vary widely. For (1) and (2), we carried out an experiment using the training qrel's (queries and their relevance assessments) and the submitted search results for the pre-test of the NTCIR-1 workshop. The result of it is that we verified the efficiency and effectiveness of the pooling, the exhaustiveness of the relevance assessments, the reliability of the evaluation using the test collection based on the pooling method, and the effectiveness of the modified Move-to-Front pooling method. For (3) we compared search effectiveness of retrieval strategies using the three different sets of relevance assessments judged by the assessor A, B and the final judgment based on the negotiation between A and B. As a result, we found very high similarity among the rankings of retrieval systems produced using different set of relevance assessments when a sufficient number of search topics were used in the evaluation.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10112482
• 書誌情報: 情報処理学会研究報告データベースシステム（DBS）; 巻 1999, 号 39(1999-DBS-118), p. 25-32, 発行日 1999-05-17
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会