WEKO3
アイテム
ニューステキストと掲載日を用いたLLMの歴史知識評価ベンチマークの提案と分析
https://ipsj.ixsq.nii.ac.jp/records/2004360
https://ipsj.ixsq.nii.ac.jp/records/2004360f4dc4747-dabb-4b29-8bea-08187736788e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL25265007.pdf (1.9 MB)
2027年9月14日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-09-14 | |||||||||||
| タイトル | ||||||||||||
| 言語 | ja | |||||||||||
| タイトル | ニューステキストと掲載日を用いたLLMの歴史知識評価ベンチマークの提案と分析 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 社会的応用 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 朝日新聞社メディア研究開発センター | ||||||||||||
| 著者所属 | ||||||||||||
| 北陸先端科学技術大学院大学先端科学技術研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 筑波大学ビジネスサイエンス系 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Media R&D Center, The Asahi Shimbun Company | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Advanced Science and Technology, Japan Advanced Institute of Science and Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Institute of Business Sciences, University of Tsukuba | ||||||||||||
| 著者名 |
新妻,巧朗
× 新妻,巧朗
× 中分,遥
× 吉田,光男
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 大規模言語モデル（LLM）の知識評価は活発に進む一方，高品質ベンチマークの構築には人手のコストが大きく，合成データ生成に依拠した拡張はハルシネーション由来の信頼性に課題が残る．本研究は，既存のニュースコーパスに付随する掲載日メタデータを正解信号として用い，見出しとリード3文から掲載日（YYYY-MM-DD）を予測させるタスクを提示する．データリークと分布偏りを抑制した日英2言語・約1.2万件（JNC，CORNELL NEWSROOM／CC-NEWS）で評価した．実験の結果，Llama3.3（70B）およびその日本語特化派生モデルが全期間で一貫して高性能であり，対照的に比較対象で唯一のReasoningモデル（120B）はRA／MAEで70B級汎用モデルに劣後した．また，複数モデルで誤予測が将来年に外挿される時間的事前分布の偏りが観測され，知識カットオフを公表しているモデルでは誤差がカットオフ付近に集中する傾向が確認できた．日本語に比べて英語データの結果が平均的に高精度であり，学習コーパスの網羅度合いの差が影響している可能性も示唆された．以上より，本手法は追加アノテーションを要せずにLLMの時間的知識と年代整合を再現性高く計量でき，モデルの時間的バイアスの診断およびRAGを含めたLLMの歴史知識評価への指針を与える． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10115061 | |||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2025-NL-265, 号 7, p. 1-9, 発行日 2025-09-14 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
