中世・近世日本語資料の現代語機械翻訳における自動評価指標の検証

• Item type: Symposium(1)
• 公開日: 2025-12-06
• タイトル / 言語: ja
• タイトル: 中世・近世日本語資料の現代語機械翻訳における自動評価指標の検証
• タイトル / 言語: en
• タイトル: Metrics Meta-Evaluation for Historical-to-Contemporary Machine Translation of Medieval and Early Modern Japanese Texts
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 歴史的日本語資料;機械翻訳;評価指標;大規模言語モデル
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 情報通信研究機構
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 国立歴史民俗博物館
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): National Museum of Japanese History
• 著者名: 東山,翔平; 大内,啓樹; 橋本,雄太
• 著者名(英): Shohei Higashiyama; Hiroki Ouchi; Yuta Hashimoto
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近代以前の日本の歴史資料は大量に存在するものの，資料に書かれた内容を読み解くには「ことばの壁」が問題となる．本研究では，古典語テキストの読解支援を可能にする技術として，古典日本語から現代日本語への機械翻訳に取り組む．モデル学習や評価のための言語資源の不足が大きな課題となり，本言語対での機械翻訳研究は進んでいない．そこで，評価資源の拡充・検証を目的として，(1)中世・近世資料からなる評価用対訳データセットの構築，(2)人手評価結果との統計的比較による文字列および深層学習ベース自動評価指標の有効性の検証，(3)商用・オープンLLMの翻訳精度自動評価を行った．本言語対における自動評価指標の有用性を確認するとともに，最先端商用LLMとオープンLLMの翻訳精度に明確な差があることを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Despite the abundance of premodern Japanese texts, understanding their content remains difficult due to linguistic barriers. This study investigates machine translation from Historical to Contemporary Japanese to assist human comprehension. To address the major challenge posed by the scarcity of language resources for this language pair, we (1) constructed a parallel evaluation dataset from medieval and early modern materials, (2) examined the validity of automatic evaluation metrics through comparison with human judgments, and (3) automatically assessed the translation quality of commercial and open LLMs. The results demonstrate the usefulness of automatic metrics and reveal a clear performance gap between commercial and open LLMs.
• 書誌情報: じんもんこん2025論文集; 巻 2025, p. 315-322, ページ数 8, 発行日 2025-12-06
• 出版者 / 言語: ja
• 出版者: 情報処理学会