2024-03-28T18:28:05Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:001850262023-04-27T10:00:04Z01164:04179:09105:09320
文法誤り訂正の文単位評価におけるリファレンスレス手法の評価性能jpn教育・応用http://id.nii.ac.jp/1001/00184938/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=185026&item_no=1&attribute_id=1&file_no=1Copyright (c) 2017 by the Information Processing Society of Japan東北大学/理化学研究所理化学研究所東北大学東北大学/理化学研究所浅野, 広樹水本, 智也松林, 優一郎乾, 健太郎文法誤り訂正の自動評価はリファレンスを使わないリファレンスレス評価手法が浅野らによって提案され,リファレンスレス手法の評価性能は従来のリファレンスベース手法を上回ったとされている.その評価性能は,あるテスト文書に対する複数の訂正システムの出力全体に対する自動評価スコアと人手評価スコアの相関によって評価された.しかし,文書全体に対するスコアの相関が高いからといって,文単位での評価も適切であるとは限らない.文単位評価が適切にできれば,訂正システムの誤り分析を効率的に行うことができる.そこで本研究では,文法誤り訂正の自動評価の文単位での評価性能を調査した.その結果,リファレンスレス手法の評価性能が文単位でも従来のリファレンスを用いる手法を上回った.このことは,リファレンスレス手法は複数の訂正候補からよい訂正を選べることを意味するため,訂正システムに応用できる可能性がある.実際に,複数の訂正システムの出力をリファレンスレス評価手法で評価し最もよい訂正を選択することによって訂正性能が向上することを確かめた.AN10115061研究報告自然言語処理(NL)2017-NL-2343182017-12-132188-87792017-12-12