@techreport{oai:ipsj.ixsq.nii.ac.jp:02001007,
 author = {李,聖哲 and 大萩,雅也 and 塚越,駿 and 福地,成彦 and 柴田,知秀 and 河原,大輔},
 issue = {29},
 month = {Mar},
 note = {検索拡張生成(Retrieval-Augmented Generation, RAG)とは，外部文書集合から検索により取得した関連文書に基づき大規模言語モデル(LLM)に回答を生成させる手法である．既存のRAG評価ベンチマークでは，Wikipediaや新聞記事などの公開データを外部文書集合として使用する事例が多く見られるが，これらはLLMの事前学習コーパスに既に含まれている可能性が高く，関連文書に基づく回答生成能力を正確に評価できない可能性がある．本研究では，実在しないエンティティや出来事に関する文書をLLMに合成させ，その合成文書集合を検索対象としたRAGベンチマークを構築する．このような合成文書はLLMの学習データに含まれていないため，関連文書に基づく回答生成能力をより正確に評価できる．ベンチマークは合成文書に加えて質問と正解から構成し，これらはLLMと人手を併用することにより作成する．構築したベンチマークで既存のLLMのRAG性能評価を行い，分析を行った．},
 title = {実在しないエンティティや出来事に関する合成文書を用いたRAGベンチマークの構築},
 year = {2025}
}