情報アクセス対話に向けた質問応答技術の評価 ふたたび -- NTCIR-5 QAC3での試み --

• Item type: SIG Technical Reports(1)
• 公開日: 2006-03-27
• タイトル: 情報アクセス対話に向けた質問応答技術の評価 ふたたび -- NTCIR-5 QAC3での試み --
• タイトル / 言語: en
• タイトル: A Second Evaluation of Question Answering Technologies for Informatin Access Dialogues -- A Report of NTCIR-5 QAC3 --
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 立命館大学
• 著者所属: 三重大学
• 著者所属: 国立情報学研究所
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Ritsumeikan University
• 著者所属(英): en
• 著者所属(英): Mie University
• 著者所属(英): en
• 著者所属(英): National Institute of Informatics
• 著者名: 加藤恒昭; 福本, 淳一; 桝井, 文人; 神門, 典子
• 著者名(英): Tsuneaki, Kato; Jun'ichi, Fukumoto; Fumito, Masui; Noriko, Kando
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: NTCIR-5 QAC3 (Question Answering Challenge 3)で実施された情報アクセス対話に向けた質問応答技術の評価について，そのタスクであるIAD (Information Access Dialogue)タスクとそこによせられた技術を述べる．IADタスクは，利用者がレポート執筆を目的として対話的に質問応答システムを利用する状況を想定したもので，そこで必要となる対話文脈を考慮した適切な質問の解釈，つまり照応解消や省略処理等のいわゆる文脈処理を評価の対象に含めている．IADタスクによる評価はQAC2のsubtask 3としての実施に次いで２度目となるが，今回は質問範囲，正解範囲の精緻化を行うとともに，その評価を自然なものとするための多段階評価の採用や正解セットという概念の導入等，様々な工夫を行っている．また，今回の実施におけるテストセット構築ではWoZ方式という新しい試みを行った．その実施結果からは，新しい試みやこのタスクに関する着実な技術進歩が伺われる．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper describes the evaluation task of question answering technologies for handling information access dialogues and a workshop using it conducted in NTCIR-5 QAC3 (Question Answering Challenge 3). This task assumes interactive use of QA systems and evaluates, among other things, the abilities needed under such circumstances, i.e. proper interpretation of questions under a given dialogue context; in other words, context processing abilities such as anaphora resolution and ellipses handling (we refer to the task as the IAD task, where IAD stands for Information Access Dialogue, and to the whole workshop as QAC3). The IAD task in QAC3 is based on QAC2 subtask 3 with several improvements, including elaboration of the scope of questions and answers and introduction of multi-grade evaluation and the concept of a correct answer set. In addition, a new WoZ method was devised and applied in the test set construction. New trials and advances in existing methods were observed from the submission results to the workshop.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 情報処理学会研究報告自然言語処理（NL）; 巻 2006, 号 36(2006-NL-172), p. 55-62, 発行日 2006-03-27
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会