人工知能を利用した短答式記述採点支援システムの開発

• Item type: SIG Technical Reports(1)
• 公開日: 2016-12-14
• タイトル: 人工知能を利用した短答式記述採点支援システムの開発
• タイトル / 言語: en
• タイトル: Al-based Japanese Short-answer Scoring and Support System
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 言語処理応用
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 大学入試センター研究開発部
• 著者所属: 大学入試センター研究開発部付
• 著者所属: 学研ホールデイングス学研教育総合研究所
• 著者所属(英): en
• 著者所属(英): Research Division, The Center for University Entrance Examinations
• 著者所属(英): en
• 著者所属(英): c/o Research Division, The Center for University Entrance Examinations
• 著者所属(英): en
• 著者所属(英): Gakken Research Institute for Learning and Education
• 著者名: 石岡, 恒憲; 亀田, 雅之; 劉, 東岳
• 著者名(英): Tsunenori, Ishioka; Masayuki, Kameda; Dongyue, Louis Liu\n
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: センター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを目指して，その試作および実装をした．自然言語におけるテキスト間の同義や含意，推論を公的な試験に採用するほどの精度はこの数年では不可能であるという判断のもとに，採点は設問ごとに作題者が用意した 「採点基準」 に従いシステムがある程度の精度をもった採点計算 （自動採点） を基本とし，その結果を人間が確認 ・ 修正できるものとする．システムは 「 (予め用意された） 模範解答」 と 「 (被験者の実際の） 記述解答」 との （ある程度の） 意味的同一性や含意性を判定するほか，プロンプトと呼ばれる素材文と解答文との意味的近似性なども考慮する．また採点結果は多値分類であることから，自然言語処理でしばしば用いられているサポートベクターマシンではなく，多くの予測変数において有効に機能するランダムフォレストによる機械学習分類を使う．試作システムは Linux 上での Web システムとして動作する．大学入試の模試として実施された社会科の記述式問題 8 題に対して，3 － 6 点の配点の場合にシステムの提示する自動採点と人間の採点を比較すると，高度な意味的判断の要さない大半の設問においては，おおよそ 7 割から 9 割が 1 点差に収まっている．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We have developed an automated Japanese short-answer scoring and support machine for new National Center Test written exams. Our approach is based on the fact that recognizing textual entailment and/or synonymy has been almost impossible for scoring systems for several years. The system generates automated scores on the basis of evaluation criteria or rubrics, and human raters revise the scores. The system determines semantic similarity between the model answers and the actual written answers as well as a certain degree of semantic identity and implication. Owing to the need for the scoring results to be classified at multiple levels, we use random forests to effectively utilize many predictors rather than use support vector machines. An experimental prototype operates as a web system on a Linux computer. We compared human scores with the automated scores for the case in which 3-6 allotment points were placed in 8 categories of the social studies test as a trial examination. The differences between the scores were within one point for 70-90 percent of the data when high semantic judgment was not needed.
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2016-NL-229, 号 16, p. 1-6, 発行日 2016-12-14
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会