WEKO3
アイテム
実在しないエンティティや出来事に関する合成文書を用いたRAGベンチマークの構築
https://ipsj.ixsq.nii.ac.jp/records/2001007
https://ipsj.ixsq.nii.ac.jp/records/2001007f185c0c5-0cb0-406c-adb3-5b46bc79a255
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL25263029.pdf (1.3 MB)
2027年3月1日からダウンロード可能です。
|
Copyright (c) 2025 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-03-01 | |||||||||||||||||
| タイトル | ||||||||||||||||||
| 言語 | ja | |||||||||||||||||
| タイトル | 実在しないエンティティや出来事に関する合成文書を用いたRAGベンチマークの構築 | |||||||||||||||||
| 言語 | ||||||||||||||||||
| 言語 | jpn | |||||||||||||||||
| キーワード | ||||||||||||||||||
| 主題Scheme | Other | |||||||||||||||||
| 主題 | LLM評価 | |||||||||||||||||
| 資源タイプ | ||||||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||||||
| 資源タイプ | technical report | |||||||||||||||||
| 著者所属 | ||||||||||||||||||
| SB Intuitions株式会社／早稲田大学 | ||||||||||||||||||
| 著者所属 | ||||||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||||||
| 著者所属 | ||||||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||||||
| 著者所属 | ||||||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||||||
| 著者所属 | ||||||||||||||||||
| SB Intuitions株式会社 | ||||||||||||||||||
| 著者所属 | ||||||||||||||||||
| 早稲田大学 | ||||||||||||||||||
| 著者名 |
李,聖哲
× 李,聖哲
× 大萩,雅也
× 塚越,駿
× 福地,成彦
× 柴田,知秀
× 河原,大輔
|
|||||||||||||||||
| 論文抄録 | ||||||||||||||||||
| 内容記述タイプ | Other | |||||||||||||||||
| 内容記述 | 検索拡張生成(Retrieval-Augmented Generation, RAG)とは，外部文書集合から検索により取得した関連文書に基づき大規模言語モデル(LLM)に回答を生成させる手法である．既存のRAG評価ベンチマークでは，Wikipediaや新聞記事などの公開データを外部文書集合として使用する事例が多く見られるが，これらはLLMの事前学習コーパスに既に含まれている可能性が高く，関連文書に基づく回答生成能力を正確に評価できない可能性がある．本研究では，実在しないエンティティや出来事に関する文書をLLMに合成させ，その合成文書集合を検索対象としたRAGベンチマークを構築する．このような合成文書はLLMの学習データに含まれていないため，関連文書に基づく回答生成能力をより正確に評価できる．ベンチマークは合成文書に加えて質問と正解から構成し，これらはLLMと人手を併用することにより作成する．構築したベンチマークで既存のLLMのRAG性能評価を行い，分析を行った． | |||||||||||||||||
| 書誌レコードID | ||||||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||||||
| 収録物識別子 | AN10115061 | |||||||||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2025-NL-263, 号 29, p. 1-11, 発行日 2025-03-01 |
|||||||||||||||||
| ISSN | ||||||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||||||||
| Notice | ||||||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||||||
| 出版者 | ||||||||||||||||||
| 言語 | ja | |||||||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||||||
