WEKO3
アイテム
質問応答システムの正解順位とユーザ満足率の関係について
https://ipsj.ixsq.nii.ac.jp/records/48016
https://ipsj.ixsq.nii.ac.jp/records/4801630180c64-4382-4029-ae51-089290855f3b
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL05168008.pdf (1.5 MB)
|
Copyright (c) 2005 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2005-07-22 | |||||||
| タイトル | ||||||||
| タイトル | 質問応答システムの正解順位とユーザ満足率の関係について | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | The Relationship between Answer Ranking and User Satisfaction in a Question Answering System | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属 | ||||||||
| （株）東芝研究開発センター | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| R&D Center Toshiba Corporation | ||||||||
| 著者名 |
國分智晴
酒井, 哲也
齋藤, 佳美
筒井, 秀樹
真鍋, 俊彦
藤井, 寛子
小山, 誠
× 國分智晴 酒井, 哲也 齋藤, 佳美 筒井, 秀樹 真鍋, 俊彦 藤井, 寛子 小山, 誠
|
|||||||
| 著者名(英) |
Tomoharu, KOKUBU
Tetsuya, SAKAI
Yoshimi, SAITO
Hideki, TSUTSUI
Toshihiko, MANABE
Hiroko, FUJII
Makoto, KOYAMA
× Tomoharu, KOKUBU Tetsuya, SAKAI Yoshimi, SAITO Hideki, TSUTSUI Toshihiko, MANABE Hiroko, FUJII Makoto, KOYAMA
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 近年、質問応答システムに関する研究が盛んに行われているが、システムの回答精度と、どれぐらいのユーザが満足するかとの関係が明確になっていなかった。そこで、質問応答の利用シーンとしてデスクトップ型およびモバイル型の2種類を想定し、シーン別に正解順位に対する満足の度合いを評価するアンケートを行った。この結果、回答候補を一括提示するデスクトップ型におけるユーザ満足率は質問応答の一般的な評価尺度である逆数順位と似た曲線となるが、回答候補をひとつずつ提示するモバイル型におけるそれは順位とほぼ比例することが分かった。このため、ユーザ満足率の観点からシステムの目標精度を設定するには、平均逆数順位ではなく正解順位の分布を決定することが望ましいことを示す。 | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | Although research in effective Question Answering (QA) has become active in recent years,it was not clear how system accuracy affects user satisfaction in practice. We therefore devised two practical scenarios in which QA may be useful (namely,desktop and mobile) and conducted a questionnaire survey for each scenario. The objective was to clarify the relationship between the rank of a correct answer and the proportion of satisfied users.Results show that,while the graph of the proportion of satisfied users resembles that of Reciprocal Rank for the desktop case,it is almost proportional to the mobile case. Thus,from the viewpoint of user satisfaction,one should set a goal in terms of the distribution of the correct answers instead of a single Mean Reciprocal Rank value. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10115061 | |||||||
| 書誌情報 |
情報処理学会研究報告自然言語処理（NL） 巻 2005, 号 73(2005-NL-168), p. 47-54, 発行日 2005-07-22 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
