問われている知識に着目した項目間類似度算出手法の日本史分野への適用と評価

• Item type: SIG Technical Reports(1)
• 公開日: 2022-03-05
• タイトル: 問われている知識に着目した項目間類似度算出手法の日本史分野への適用と評価
• タイトル / 言語: en
• タイトル: Application and Evaluation of a Test Item Similarity Calculation Method Based on Questioned Knowledge in Japanese History
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: Classi株式会社
• 著者所属: Classi株式会社
• 著者所属: 岩手県立大学
• 著者所属(英): en
• 著者所属(英): Classi Corp.
• 著者所属(英): en
• 著者所属(英): Classi Corp.
• 著者所属(英): en
• 著者所属(英): Iwate Prefectural University
• 著者名: 高木, 輝彦; 伊藤, 徹郎; 高木, 正則
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 我々はこれまで，e テスティングにおける類似項目の自動検索を目的として，項目間類似度の算出手法を提案し，情報分野の項目を対象として評価を行ってきた．類似度データや類似項目を用いることで，(1) 類似項目の自動検索，(2) 自動的なアイテム・バンクの構築，(3) 項目間構造の可視化，(4) 同一知識を問う項目の反復学習，(5) 項目作成時の選択肢候補の提示，などの支援が期待できる．これまでの提案手法は，ベクトル空間モデルを軸に，項目内で出現する「単語」をベクトルの要素とする手法と，それらの単語の共起性から推定される「トピック」をベクトルの要素とする手法の 2 つに分類される．これらの提案手法では，項目内で問われている知識に着目し，それらの知識の出現箇所（問題文，正答，誤答）を自動決定する処理を取り入れている．また，その処理の有効性が示されている．本稿では，先行研究で提案した類似度算出手法の日本史の項目への適用可能性を評価するために，学校教育の ICT 活用を支援するサービス「Classi」で出題されている日本史の項目を対象とし，類似項目の検索実験を行った．その結果，知識の出現箇所を自動決定する処理がない場合よりもある場合の方が再現率，適合率，F 尺度が高かった．さらに，先行研究で対象とした情報分野の項目よりも日本史の項目の方が再現率，適合率，F 尺度が高く，提案手法が日本史項目にも適用可能であることが示唆された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We have proposed methods for retrieving similar items automatically in e-testing by calculating their similarity and conducted experimental evaluations in the information field. Similarity data or similar items can be applied to (1) automatically retrieving similar items, (2) automatically constructing item banks, (3) visualization of structures between items, (4) adaptive testing, and (5) supporting item creation. Our methods were based on a vector space model and were classified into two approaches. In one, each test item was represented by a vector using extracted terms from these test items; in the other, each test item was represented by a vector using topics probabilistically estimated by the co-occurrence relation between terms. We focused on the knowledge questioned in test items, and identified the part where the knowledge occurred (e.g., question, correct choice, wrong choice). Moreover, the method's effectiveness was demonstrated. Here, to evaluate the feasibility of applying our proposed methods to Japanese history, we targeted items about Japanese history tested by “Classi” and conducted experiments on similar item retrieval. The results showed accuracy improvements in recall, precision, and f-measure due to identifying the part. The experimental results also showed greater accuracy improvements in Japanese history than in the information field.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096193
• 書誌情報: 研究報告コンピュータと教育（CE）; 巻 2022-CE-164, 号 28, p. 1-7, 発行日 2022-03-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8930
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会