@techreport{oai:ipsj.ixsq.nii.ac.jp:00048016,
 author = {國分智晴 and 酒井, 哲也 and 齋藤, 佳美 and 筒井, 秀樹 and 真鍋, 俊彦 and 藤井, 寛子 and 小山, 誠 and Tomoharu, KOKUBU and Tetsuya, SAKAI and Yoshimi, SAITO and Hideki, TSUTSUI and Toshihiko, MANABE and Hiroko, FUJII and Makoto, KOYAMA},
 issue = {73(2005-NL-168)},
 month = {Jul},
 note = {近年、質問応答システムに関する研究が盛んに行われているが、システムの回答精度と、どれぐらいのユーザが満足するかとの関係が明確になっていなかった。そこで、質問応答の利用シーンとしてデスクトップ型およびモバイル型の2種類を想定し、シーン別に正解順位に対する満足の度合いを評価するアンケートを行った。この結果、回答候補を一括提示するデスクトップ型におけるユーザ満足率は質問応答の一般的な評価尺度である逆数順位と似た曲線となるが、回答候補をひとつずつ提示するモバイル型におけるそれは順位とほぼ比例することが分かった。このため、ユーザ満足率の観点からシステムの目標精度を設定するには、平均逆数順位ではなく正解順位の分布を決定することが望ましいことを示す。, Although research in effective Question Answering (QA) has become active in recent years,it was not clear how system accuracy affects user satisfaction in practice. We therefore devised two practical scenarios in which QA may be useful (namely,desktop and mobile) and conducted a questionnaire survey for each scenario. The objective was to clarify the relationship between the rank of a correct answer and the proportion of satisfied users.Results show that,while the graph of the proportion of satisfied users resembles that of Reciprocal Rank for the desktop case,it is almost proportional to the mobile case. Thus,from the viewpoint of user satisfaction,one should set a goal in terms of the distribution of the correct answers instead of a single Mean Reciprocal Rank value.},
 title = {質問応答システムの正解順位とユーザ満足率の関係について},
 year = {2005}
}