研究利用可能な小論文データに基づく参照文書を利用した小論文採点手法の開発

• Item type: Journal(1)
• 公開日: 2021-09-15
• タイトル: 研究利用可能な小論文データに基づく参照文書を利用した小論文採点手法の開発
• タイトル / 言語: en
• タイトル: Development of Essay Scoring Methods Based on Reference Texts with Construction of Research-Available Japanese Essay Data
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [一般論文] 小論文自動採点，採点済み答案の構築，LDA，分散表現ベクトル，BERT
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00212764
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 岡山大学学術研究院自然科学学域
• 著者所属: 岡山大学学術研究院自然科学学域／現在，住友電工情報システム株式会社
• 著者所属: 岡山大学学術研究院自然科学学域／現在，株式会社NTTデータMSE
• 著者所属: 岡山大学学術研究院社会文化科学学域
• 著者所属: 岡山大学学術研究院教育学学域
• 著者所属: 岡山大学全学教育・学生支援機構
• 著者所属: 岡山大学学術研究院自然科学学域
• 著者所属: 岡山大学学術研究院自然科学学域
• 著者所属(英): en
• 著者所属(英): Graduate School of Natural Science and Technology, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate School of Natural Science and Technology, Okayama University / Presently with Sumitomo Electric Information Systems Co. Ltd.
• 著者所属(英): en
• 著者所属(英): Graduate School of Natural Science and Technology, Okayama University / Presently with NTT Data MSE Corporation
• 著者所属(英): en
• 著者所属(英): Graduate School of Humatities and Social Sciences, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate School of Education, Okayama University
• 著者所属(英): en
• 著者所属(英): Institute for Education and Student Services, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate School of Natural Science and Technology, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate School of Natural Science and Technology, Okayama University
• 著者名: 竹内, 孔一; 大野, 雅幸; 泉仁, 宏太; 田口, 雅弘; 稲田, 佳彦; 飯塚, 誠也; 阿保, 達彦; 上田, 均
• 著者名(英): Koichi, Takeuchi; Masayuki, Ohno; Kouta, Motojin; Masahiro, Taguchi; Yoshihiko, Inada; Masaya, Iizuka; Tatsuhiko, Abo; Hitoshi, Ueda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，小論文の自動採点手法が英語圏において多数研究されている．この要因として研究利用可能な大規模な採点済み小論文データセットが公開されていることがあげられる．一方で，日本語では母語話者が記述した研究で広く利用されている採点済み小論文データは現段階では見受けられない．そこで，本論文ではまず模擬試験を実施し，他機関でも研究利用可能な小論文データを構築する．ルーブリックを利用して2名で採点することで揺れの少ない採点済み答案データを構築する．また，小論文自動採点の先行研究において，多数の採点済み答案を必要とする手法が提案されているが，たとえば試験問題など小論文課題が新規である場合，多数の答案に対して事前採点することは容易ではないと考えられる．そこで，本論文では小論文自動採点手法の枠組として，小論文課題に沿った参考文書または1件の模範答案のみを参照文書として利用可能な場合の採点手法について論じる．アプローチとして参照文書と小論文との類似度を利用した採点手法を複数提案し，実験的に人手による評価値と相関が高い手法を明らかにする．類似度計算法として，形態素の頻度，Wikipediaを利用したidf値，LSI，LDA，分散表現ベクトル，BERTを用いた文書ベクトルを利用する．評価実験の結果，形態素の頻度とidf値を利用した手法が他の手法に比べて人手による評価値と複数の課題で相関が高く有効な手法であることを明らかにする．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, many automated essay scoring methods have been developed for English essays. One of the reasons for supporting the active studies is the existence of common scored essay datasets in English that are available for research purpose. On the other hand, in Japanese, scored essay data written by Japanese native speakers is not found at this moment. Thus, we collect essays in Japanese by conducting practice tests of writing essays with permission of examinees in order that the collected essays can be available for other research institutions. Manual grading scores are elaborated by two graders using rubrics to produce reliable scores. In previous studies of automatic essay scoring, pre-scored essays are required, it must be, however, difficult to prepare a lot of pre-scored essays for automated essay scoring if the essay task is to write for a new theme in an examination. Thus, we discuss the automatic essay scoring methods that take only reference texts or a model answer of the essay task without pre-scored essays. We take an approach to automated essay scoring based on the similarity between the reference text and the essay, and then experimentally find the best method among the prepared several similarity evaluation methods that are frequency of morphemes, idf values calculated on Wikipedia, LSI, LDA, word-embedding vectors, and document vectors produced by BERT. Experimental results show that the method using the frequency of morphemes with idf values gives a highest correlation with the human annotated scores in several essay tasks.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 62, 号 9, p. 1586-1604, 発行日 2021-09-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764