文法誤り訂正におけるメタ評価の再考

• Item type: SIG Technical Reports(1)
• 公開日: 2023-11-25
• タイトル: 文法誤り訂正におけるメタ評価の再考
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 新たなタスク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京都立大学
• 著者所属: 株式会社サイバーエージェント／東京都立大学
• 著者所属: 一橋大学
• 著者名: 小林, 正宗; 三田, 雅人; 小町, 守
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 評価尺度は文法誤り訂正の自動評価における基盤であり，評価尺度の評価（メタ評価）は主に人手評価との相関に基づいて行われる．しかし，文法誤り訂正における従来のメタ評価は，評価尺度とデータセットの評価粒度の不一致によるバイアスや，現在の主流から乖離のある古典的システムに基づいた設定などのいくつかの問題に直面している．これらの問題は，評価尺度に対する誤った解釈をもたらすだけでなく，結果として文法誤り訂正技術の発展を妨げる恐れがある．これらの問題に対処するために，本研究ではより信頼性のある文法誤り訂正のメタ評価のための新たなデータセットSentence-based and Edit-based human Evaluation DAtaset for GEC (SEEDA) を提案する．SEEDA は 2 つの異なる評価粒度（編集ベース，文ベース）に沿った人手評価が付いた訂正文から構成されており，大規模言語モデルを含む 12 の最先端システムと2種類の人手の訂正文を含んでいる．相関分析の結果，文レベルのメタ評価で粒度を揃えることで相関が改善することが分かり，既存の研究では編集ベースの評価尺度が過小評価されてきた可能性を示唆している．さらに，ほとんどの評価尺度の相関は比較対象を古典的なシステムからニューラルシステムに変更すると低下することから，従来の評価尺度は編集の多い流暢な訂正文の評価には不向きであることがわかった．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2023-NL-258, 号 23, p. 1-12, 発行日 2023-11-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会