WEKO3
アイテム
大規模言語モデルが有する事実知識の多角的な評価
https://ipsj.ixsq.nii.ac.jp/records/235104
https://ipsj.ixsq.nii.ac.jp/records/235104b4c5fdc8-c1e4-434a-a1b3-2420e921cae3
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL24260013.pdf (398.5 kB)
2026年6月21日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-06-21 | |||||||||
| タイトル | ||||||||||
| タイトル | 大規模言語モデルが有する事実知識の多角的な評価 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | LLM分析 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 東京大学大学院情報理工学系研究科 | ||||||||||
| 著者所属 | ||||||||||
| 東京大学生産技術研究所 | ||||||||||
| 著者名 |
趙, 信
× 趙, 信
× 吉永, 直樹
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 大規模言語モデル（LLM）は膨大なテキストから学習され，実世界の知識を内包する一方で，幻覚など知識の運用に問題があることが知られている．そのため，LLM の知識評価を行うことが重要であるが，LAMA probe など既存の言語モデルの知識評価手法は，マスク言語モデルを想定しており，因果言語モデルである LLM の知識評価にそのままでは適用できない．本論文では，多様なプロンプトを用いた知識評価フレームワーク BELIEF を拡張し，in-context learning（ICL）で LLM が有する知識を多角的に評価した．具体的には，マスクを予測するタスクにおいて zero-shot および few-shot の ICL で精度・一貫性・信頼性の観点で LLM の知識評価を行う．実験では，Llama-3 70B を含む複数の LLM の知識評価を行い，BERT と比べてより多くの知識を内包することを示すとともに，事前学習における事実知識の獲得に重要な要素を明らかにする． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10115061 | |||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2024-NL-260, 号 13, p. 1-11, 発行日 2024-06-21 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8779 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
