NTCIR-12 QA Lab-2におけるQAシステムの課題―センター試験の結果を中心として

• Item type: SIG Technical Reports(1)
• 公開日: 2016-07-22
• タイトル: NTCIR-12 QA Lab-2におけるQAシステムの課題―センター試験の結果を中心として
• タイトル / 言語: en
• タイトル: Issues of QA Systems in the NTCIR-12 QA Lab-2 task―With a Central Focus on the Results of the Center Tests
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 言語分析・言い換え
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 横浜国立大学
• 著者所属: 国立情報学研究所
• 著者所属: 横浜国立大学／国立情報学研究所
• 著者所属: 国立情報学研究所
• 著者所属: 静岡大学
• 著者所属: カーネギーメロン大学
• 著者所属: 横浜国立大学
• 著者所属: 国立情報学研究所／総合研究大学院大学
• 著者所属(英): en
• 著者所属(英): Yokohama National University
• 著者所属(英): en
• 著者所属(英): NII
• 著者所属(英): en
• 著者所属(英): Yokohama National University / NII
• 著者所属(英): en
• 著者所属(英): NII
• 著者所属(英): en
• 著者所属(英): Shizuoka University
• 著者所属(英): en
• 著者所属(英): Carnegie Mellon University
• 著者所属(英): en
• 著者所属(英): Yokohama National University
• 著者所属(英): en
• 著者所属(英): NII / SOKENDAI
• 著者名: 渋木, 英潔; 石下, 円香; 阪本, 浩太郎; 藤田, 彬; 狩野, 芳伸; 三田村, 照子; 森, 辰則; 神門, 典子
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では NTCIR ワークショップの QA Lab タスクに参加したシステムの結果を元にした誤り分析を行う．参加システムの 30%以下しか正答できなかった問題を難問と定義し，難問となる質問形式はどのような傾向がみられるのか調査する．また，赤本を用いて人間にとっての難易度と関係があるのか比較する．さらに，誤文と判断するための手がかりの場所と誤文と判断される原因の 2 通りの観点から正誤判断問題の誤りを類型化し，難問にどのように出現するのか調査する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Using the Center Test results in the NTCIR QA Lab tasks, error analysis is described in this paper. We defined “difficulty” of questions as the number of systems that could answer correctly. We reported what question formats frequently appeared in the difficult questions and whether the difficulty was related to human beings in comparison with Akahon. For difficult true-or-false questions, we also classified the falsehoods in terms of clue description places and cause types, and reported the occurrence.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2016-NL-227, 号 13, p. 1-7, 発行日 2016-07-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会