WEKO3
アイテム
ICT相談対応におけるRAGシステムのRerank件数に関する評価
https://ipsj.ixsq.nii.ac.jp/records/2012259
https://ipsj.ixsq.nii.ac.jp/records/20122593d66afa8-1677-4098-b71a-8386ac08678e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-CDS26047015.pdf (1.0 MB)
2028年9月22日からダウンロード可能です。
|
Copyright (c) 2026 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, CDS:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-09-22 | |||||||||||
| タイトル | ||||||||||||
| 言語 | ja | |||||||||||
| タイトル | ICT相談対応におけるRAGシステムのRerank件数に関する評価 | |||||||||||
| タイトル | ||||||||||||
| 言語 | en | |||||||||||
| タイトル | Evaluating Reranking Depth and Retrieval Models for RAG-based ICT Support Using LLMs | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | システム構築とネットワーク品質 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 三重大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 三重大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 三重大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Mie University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Mie University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Mie University | ||||||||||||
| 著者名 |
西海,航
× 西海,航
× 奥原,俊
× 森本,尚之
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 大学におけるICT相談支援では，多様かつ曖昧な問い合わせに対して，組織固有の文書を参照した正確な応答が求められる．この課題に対し，外部文書検索を組み合わせたRAG（Retrieval-Augmented Generation）が有効とされているが，入力文書数や順位付けの等の検索設計が応答品質に与える影響は十分に検証されていない．本研究では，ICT相談支援を対象としたRAGシステムにおいて，検索手法およびRerank段階の入力文書数（Rerank@k）が検索性能に与える影響を定量的に評価する．BM25，Embedding検索，およびハイブリッド検索を比較し，Cross-Encoder型Rerankerを用いた際の検索性能評価を行った．実験の結果，Rerank@kを増加させることが必ずしも性能向上につながらず，少数の高関連文書を用いる設計が有効である可能性が示された．一方で，本研究の評価データは表記揺れが少ない特性を持つため，結果の一般化には注意が必要である．以上より，本研究は，ICT相談支援におけるRAG検索システム設計に対して，Rerank段階の入力文書数に関する実践的な知見を示す． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AA12628327 | |||||||||||
| 書誌情報 |
研究報告コンシューマ・デバイス＆システム（CDS） 巻 2026-CDS-47, 号 15, p. 1-7, 発行日 2026-09-22 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8604 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
