WEKO3
アイテム
大規模言語モデルを利用した古文書資料の現代語訳の品質評価
https://ipsj.ixsq.nii.ac.jp/records/2001890
https://ipsj.ixsq.nii.ac.jp/records/2001890a5c2a96a-f946-4ee0-96a0-287e9b73cdc1
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CH25138003.pdf (362.4 KB)
2027年5月10日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, CH:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-05-10 | |||||||||
| タイトル | ||||||||||
| 言語 | ja | |||||||||
| タイトル | 大規模言語モデルを利用した古文書資料の現代語訳の品質評価 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Evaluating the Quality of Modern Japanese Translations of Historical Documents Using Large Language Models | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 人間文化研究機構国立歴史民俗博物館 | ||||||||||
| 著者所属 | ||||||||||
| 株式会社NXワンビシアーカイブズ | ||||||||||
| 著者名 |
橋本,雄太
× 橋本,雄太
× 太田,那優
|
|||||||||
| 著者名(英) |
Yuta Hashimoto
× Yuta Hashimoto
× Nayu Oota
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | この数年の間に，AI文字認識やクラウドソーシング翻刻の進展により，大量の日本語の古文書資料がデジタルテキスト化された．一方で，江戸時代以前の文献資料に利用されている語句や語法は現代人にとって分かりにくく，多くの人々にとって理解の妨げになっている．そこで大規模言語モデルを利用した現代語訳の自動生成の可能性が模索されているが，その品質についてこれまで定量的な評価がなされてこなかった．本研究では，ChatGPT4o，Gemini 1.5，Claude 3.5 Sonnet，DeepSeek R1を利用して中世・近世の古文書史料数十点を現代語訳し，その品質を定量的に比較するとともに，もっとも高い性能を示したClaudeを対象に誤訳やハルシネーションの傾向を調べた． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | In recent years, advances in AI-based character recognition and crowdsourced transcription have enabled the digitization of large volumes of historical Japanese documents. However, the vocabulary and grammatical constructions found in premodern Japanese texts―particularly those from the Edo period and earlier―often pose challenges for contemporary readers. While the potential of large language models (LLMs) for generating modern Japanese translations of such texts is being explored, their output quality has not yet been quantitatively evaluated. In this study, we translated several dozen medieval and early modern Japanese manuscripts into contemporary Japanese using ChatGPT-4o, Gemini 1.5, Claude 3.5 Sonnet, and DeepSeek R1. We then conducted a quantitative comparison of translation quality and examined tendencies for mistranslation and hallucination in Claude, which exhibited the highest overall performance. | |||||||||
| 言語 | en | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN1010060X | |||||||||
| 書誌情報 |
研究報告人文科学とコンピュータ（CH） 巻 2025-CH-138, 号 3, p. 1-7, 発行日 2025-05-10 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8957 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
