WEKO3
アイテム
評価実験の設計と論文での結果報告:きちんとやっていますか?
https://ipsj.ixsq.nii.ac.jp/records/176468
https://ipsj.ixsq.nii.ac.jp/records/176468e515b12f-6e09-4340-abcb-bfaf1a8afb79
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL16229018.pdf (102.5 kB)
|
Copyright (c) 2016 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2016-12-14 | |||||||
| タイトル | ||||||||
| タイトル | 評価実験の設計と論文での結果報告:きちんとやっていますか? | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | Designing Experiments and Reporting Results: Are You Doing It Correctly? | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| キーワード | ||||||||
| 主題Scheme | Other | |||||||
| 主題 | 招待講演 | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 早稲田大学 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Waseda University | ||||||||
| 著者名 |
酒井, 哲也
× 酒井, 哲也
|
|||||||
| 著者名(英) |
Tetsuya, Sakai
× Tetsuya, Sakai
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 本講演では，まず古典的統計学に基づく検定手法，特に t 検定と分散分析について復習し，次に統計的検定に関する誤解や限界，および実験結果の適切な報告の仕方について論じる．さらに，情報検索 ・ 情報アクセス研究における事例を示しながら，研究者がシステム評価のために新たなテストコレクションを構築する際，および従来研究の結果をもとに新たな実験を行う際の一般的なサンプルサイズ設計方法を紹介する．自然言語処理研究におけるサンプルに基づく評価においても，これらの手法の導入により適切な検出力をもつ実験が適切な形で報告されるようになれば，個々の研究成果が有機的につながり真の知見が蓄積されるようになると考える． | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | In this talk, I will first review classical statistical significance tests, t tests and Analysis of Variance （ANOVA) tests in particular, and then discuss common misunderstandings and limitations of significance tests, as well as how researchers should report on experimental results. Moreover, while providing actual examples from information retrieval and access research, I will describe known methods for determining the sample size for constructing a new test collection for system evaluation, and for conducting a new experiment based on results from previous work. I argue that, if sample-based evaluations in natural language processing research take up these practices in order to conduct experiments with appropriate levels of statistical power and to report results appropriately, individual research outomes could be integrated effectively for accumulating true knowledge. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10115061 | |||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2016-NL-229, 号 18, p. 1-1, 発行日 2016-12-14 |
|||||||
| ISSN | ||||||||
| 収録物識別子タイプ | ISSN | |||||||
| 収録物識別子 | 2188-8779 | |||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
