モデルマージによる複数ドメインに対応した単一密検索モデルの構築

• Item type: SIG Technical Reports(1)
• 公開日: 2025-09-09
• タイトル / 言語: ja
• タイトル: モデルマージによる複数ドメインに対応した単一密検索モデルの構築
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: IFAT
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 兵庫県立大学大学院情報科学研究科
• 著者所属: 兵庫県立大学大学院情報科学研究科
• 著者所属: 兵庫県立大学大学院情報科学研究科
• 著者所属: LINEヤフー株式会社
• 著者名: 佐々木,泰河; 山本,岳洋; 大島,裕明; 藤田,澄男
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究の目的は，複数ドメインの文書検索に高い性能を示す単一の密検索モデルの構築である．このようなモデルの構築方法として，各ドメインのデータを結合したデータを用いてモデルをファインチューニングする方法があげられる．しかし，この方法では，新たなドメインを追加するたびに全ドメインを含むデータでモデルを再学習しなおす必要があり，計算コストが高いという課題がある．そこで本研究では，各ドメインで個別にファインチューニングされたモデルをモデルマージにより統合することで，再学習することなく単一のモデルを構築することを提案する．モデルマージは，複数のモデルの強みを統合し，計算コストを抑えつつ多様な能力を備えた新たなモデルを構築する手法である．提案手法の有効性を検証するために，対応すべきドメインが段階的に増加していくシナリオを想定した実験を行った．具体的には，ベースモデルを5つのテストコレクションに特化して個別にファインチューニングしたモデルを構築し，マージに含める特化モデルの数を2から5に増やしながら，各テストコレクションでの検索性能を評価した．その結果，マージに含める特化モデルを増やすことで，ベースモデルを上回る性能を発揮するテストコレクションが段階的に増えていくことが確認された．また，対象ドメインのデータを結合してファインチューニングしたモデルと比較しても，マージモデルは学習データ分布の偏りによる特定ドメインへの過学習やタスク競合を抑制できる点において優れていることが示唆された．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10114171
• 書誌情報: 研究報告情報基礎とアクセス技術（IFAT）; 巻 2025-IFAT-160, 号 62, p. 1-6, 発行日 2025-09-09
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8884
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会