| Item type |
SIG Technical Reports(1) |
| 公開日 |
2015-07-08 |
| タイトル |
|
|
タイトル |
大学入試の世界史論述問題における質問応答システムの自動評価に関する一考察 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
A Study in Automatic Evaluation of QA Systems for Essay Questions of World History in University Entrance Exams |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
知識獲得・応用 |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
横浜国立大学／国立情報学研究所 |
| 著者所属 |
|
|
|
国立情報学研究所 |
| 著者所属 |
|
|
|
国立情報学研究所 |
| 著者所属 |
|
|
|
横浜国立大学 |
| 著者所属 |
|
|
|
静岡大学 |
| 著者所属 |
|
|
|
カーネギーメロン大学／国立情報学研究所 |
| 著者所属 |
|
|
|
横浜国立大学 |
| 著者所属 |
|
|
|
国立情報学研究所 |
| 著者所属(英) |
|
|
|
en |
|
|
Yokohama National University / National Institute of Informatics |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Informatics |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Informatics |
| 著者所属(英) |
|
|
|
en |
|
|
Yokohama National University |
| 著者所属(英) |
|
|
|
en |
|
|
Shizuoka University |
| 著者所属(英) |
|
|
|
en |
|
|
Carnegie Mellon University / National Institute of Informatics |
| 著者所属(英) |
|
|
|
en |
|
|
Yokohama National University |
| 著者所属(英) |
|
|
|
en |
|
|
National Institute of Informatics |
| 著者名 |
阪本, 浩太郎
石下, 円香
藤田, 彬
渋木, 英潔
狩野, 芳伸
三田村, 照子
森, 辰則
神門, 典子
|
| 著者名(英) |
Kotaro, Sakamoto
Madoka, Ishioroshi
Akira, Fujita
Hideyuki, Shibuki
Yoshinobu, Kano
Teruko, Mitamura
Tatsunori, Mori
Noriko, Kando
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
NTCIR12 QA Lab-2 タスクでは現実世界における質問応答システムの実現を目指して世界史の大学入試問題を解くことを目的としている．QA Lab-2 で扱う大学入試の二次試験には，論述問題が存在し，非常にチャレンジングな課題となっている．本論文では，大学入試の論述問題を解く質問応答の評価手法について検討する．論述問題の模範解答を参照要約と捉え，参照要約を用いた ROUGE やピラミッド方式による評価手法を適用するにあたり，参照要約の数による評価値の安定性と参照要約との一致率を計算する単位について考察する． |
| 論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
NTCIR12 QALab-2's goal is to investigate the real-world complex Question Answering (QA) technologies using Japanese university entrance exams .In the task, essay question is a big chanllenge.This paper discusses the evaluation method of the QA system for the essay questions. By referring to the gold standards, we apply the evaluation method such as ROUGE and Pyramid method using reference summaries to evaluate the system summary. Then, we investigate the stableness of evalueation score based on the number of the reference summaries and the unit of calculating the accordance rate with the reference summaries. |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10115061 |
| 書誌情報 |
研究報告自然言語処理（NL）
巻 2015-NL-222,
号 13,
p. 1-5,
発行日 2015-07-08
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8779 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-NL15222013.pdf (605.1 kB)
