2024-03-29T06:54:51Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:001764682023-04-27T10:00:04Z01164:04179:08454:09014
評価実験の設計と論文での結果報告:きちんとやっていますか?Designing Experiments and Reporting Results: Are You Doing It Correctly?jpn招待講演http://id.nii.ac.jp/1001/00176434/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=176468&item_no=1&attribute_id=1&file_no=1Copyright (c) 2016 by the Information Processing Society of Japan早稲田大学酒井, 哲也本講演では,まず古典的統計学に基づく検定手法,特に t 検定と分散分析について復習し,次に統計的検定に関する誤解や限界,および実験結果の適切な報告の仕方について論じる.さらに,情報検索 ・ 情報アクセス研究における事例を示しながら,研究者がシステム評価のために新たなテストコレクションを構築する際,および従来研究の結果をもとに新たな実験を行う際の一般的なサンプルサイズ設計方法を紹介する.自然言語処理研究におけるサンプルに基づく評価においても,これらの手法の導入により適切な検出力をもつ実験が適切な形で報告されるようになれば,個々の研究成果が有機的につながり真の知見が蓄積されるようになると考える.In this talk, I will first review classical statistical significance tests, t tests and Analysis of Variance (ANOVA) tests in particular, and then discuss common misunderstandings and limitations of significance tests, as well as how researchers should report on experimental results. Moreover, while providing actual examples from information retrieval and access research, I will describe known methods for determining the sample size for constructing a new test collection for system evaluation, and for conducting a new experiment based on results from previous work. I argue that, if sample-based evaluations in natural language processing research take up these practices in order to conduct experiments with appropriate levels of statistical power and to report results appropriately, individual research outomes could be integrated effectively for accumulating true knowledge.AN10115061研究報告自然言語処理(NL)2016-NL-22918112016-12-142188-87792016-12-13