モデルマージによるドメイン特化検索モデルの構築

• Item type: Trans(1)
• 公開日: 2026-04-21
• タイトル / 言語: ja
• タイトル: モデルマージによるドメイン特化検索モデルの構築
• タイトル / 言語: en
• タイトル: Constructing Domain-Specific Retrieval Models via Model Merging
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [推薦論文] モデルマージ，アドホック検索，LLM
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/0002009104
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 兵庫県立大学情報科学研究科
• 著者所属: 兵庫県立大学情報科学研究科
• 著者所属: 兵庫県立大学情報科学研究科
• 著者所属: LINEヤフー株式会社
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science, University of Hyogo
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science, University of Hyogo
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science, University of Hyogo
• 著者所属(英): en
• 著者所属(英): LY Corporation
• 著者名: 佐々木,泰河; 山本,岳洋; 大島,裕明; 藤田,澄男
• 著者名(英): Taiga Sasaki; Takehiro Yamamoto; Hiroaki Ohshima; Sumio Fujita
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，アドホック検索タスクにおけるモデルマージの効果を検証する．モデルマージは，複数のモデルの異なる特性を組み合わせて新たなモデルを構築する技術である．我々は，モデルマージをドメイン特化アドホック検索タスクに適用することで，検索モデルの性能を向上させられると考えた．この仮説を検証するため，検索モデルとドメイン特化（非検索）モデルの重みを線形補間により統合し，マージモデルを構築した．この手法の主な利点は，対象とするドメインのドメイン特化モデルがあれば，マージ元のモデルに対して追加の勾配更新やファインチューニングを行う必要がない点にある．我々は，医療ドメインと日本語ドメインにおいて，それぞれ2種類の実験を行った．1つ目の実験では，マージモデルとマージ元検索モデルを比較し，2つ目の実験では，十分なデータがある場合と限られたデータしか利用できない場合の両設定において，LoRAファインチューニングモデルとの比較を行った．実験結果から，4つ中3つのテストコレクションでマージモデルがマージ元検索モデルよりも高い検索性能を示し，4つ中3つのテストコレクションでマージモデルがLoRAファインチューニングモデルよりも高い検索性能を示した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, we evaluate the effect of model merging in ad-hoc retrieval tasks. Model merging is a technique that combines the diverse characteristics of multiple models to create a new model. We hypothesized that applying model merging to domain-specific ad-hoc retrieval tasks could improve retrieval effectiveness. To verify this hypothesis, we merged the weights of a source retrieval model and a domain-specific (non-retrieval) model using a linear interpolation approach to construct a merged model. A key advantage of our approach is that it requires no additional fine-tuning of the models. We conducted two experiments each in the medical and Japanese domains. The first compared the merged model with the source retrieval model, and the second compared it with a LoRA fine-tuned model under both full and limited data settings for model construction. The experimental results showed that the merged model outperformed the source retrieval models in three out of four test collections, and also outperformed the LoRA fine-tuned models in three out of four test collections.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464847
• 書誌情報: 情報処理学会論文誌データベース（TOD）; 巻 19, 号 2, p. 1-12, 発行日 2026-04-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7799
• 出版者 / 言語: ja
• 出版者: 情報処理学会