投票型RAGにおける信頼度推定に基づくフィルタリングと複数モデルによる解答候補統合

• Item type: SIG Technical Reports(1)
• 公開日: 2026-06-21
• タイトル / 言語: ja
• タイトル: 投票型RAGにおける信頼度推定に基づくフィルタリングと複数モデルによる解答候補統合
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 検索・質問応答
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 一橋大学ソーシャル・データサイエンス学部
• 著者所属: 株式会社デンソーアイティーラボラトリ／一橋大学大学院ソーシャル・データサイエンス研究科
• 著者所属: 一橋大学大学院ソーシャル・データサイエンス研究科
• 著者所属: 一橋大学大学院ソーシャル・データサイエンス研究科
• 著者名: 早田,大紀; 太刀岡,勇気; 小町,守; 欅,惇志
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大規模言語モデル(Large Language Models; LLMs)は高い生成能力を持つ一方で，質問応答タスクにおいて内部知識や推論のみに基づいて解答を生成すると，事実に整合しない誤答を出力することがあり，この問題に対処する枠組みとして検索拡張生成(Retrieval-Augmented Generation; RAG)が用いられる．本研究では，RAGの中でも，複数の参照文書から解答候補を生成し，それらを投票により集約して最終解答を決定する投票型RAGを対象とする．投票型RAGでは，参照文書ごとに得られる解答候補の品質が一様ではなく，誤答候補が混在し得るため，候補を一律に投票へ用いると集約結果へ悪影響を与える可能性がある．そこで本研究では，生成時に得られる信頼度特徴量を用いて各解答候補が正解である確率を推定し，不正解と予測される候補を投票前に除外するフィルタリングを検証する．AI王2.0を用いた評価実験では，三つのLLMに対してそれぞれフィルタリングを適用し，いずれのモデルでも正答率が向上することを確認した．さらに，複数LLMから得られる解答候補を統合することで，性能がさらに改善した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2026-NL-268, 号 9, p. 1-15, 発行日 2026-06-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会