WEKO3
アイテム
予測分布の偏りに着目したCLIPのモダリティギャップ分析
https://ipsj.ixsq.nii.ac.jp/records/2010092
https://ipsj.ixsq.nii.ac.jp/records/2010092d6c24a75-0bce-444b-bb0f-aa4eacebd594
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL26268005.pdf (5.8 MB)
2028年6月21日からダウンロード可能です。
|
Copyright (c) 2026 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2026-06-21 | |||||||||||||
| タイトル | ||||||||||||||
| 言語 | ja | |||||||||||||
| タイトル | 予測分布の偏りに着目したCLIPのモダリティギャップ分析 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | マルチモーダル | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||||
| 資源タイプ | technical report | |||||||||||||
| 著者所属 | ||||||||||||||
| 一橋大学大学院ソーシャル・データサイエンス研究科 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 一橋大学大学院ソーシャル・データサイエンス研究科 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 一橋大学大学院ソーシャル・データサイエンス研究科 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 一橋大学大学院ソーシャル・データサイエンス研究科 | ||||||||||||||
| 著者名 |
佐藤,祥太
× 佐藤,祥太
× 木山,朔
× 平澤,寅庄
× 小町,守
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | CLIPにおける画像埋め込みとテキスト埋め込みの間のモダリティギャップを縮小することは，クロスモーダルなアライメントおよび下流タスク性能の向上につながると期待されている．しかし，画像埋め込みとテキスト埋め込みの間のモダリティギャップが小さくなったとしても，必ずしも一貫したタスク性能の向上が得られるわけではない．本研究では，この期待と実態の不一致について，zero-shot画像分類を題材にして分析する．zero-shot画像分類の正解率は，画像埋め込みとテキスト埋め込みのアライメントだけでなく，クラスごとの決定境界にも依存する．解析的に扱いやすいLinear補正を対象として，モダリティギャップの縮小がクラス間の相対的な決定マージンを変化させ，少数のクラスへ予測を集中させうることを示す．本研究では，このような出力空間において性能低下と関連して現れる予測集中の現象をPrediction-Level Hubnessと呼ぶ．さらに，複数のデータセットにわたる実験により，Linear補正だけでなく学習ベースの補正手法においても，モダリティギャップの縮小によるタスク性能の低下がPrediction-Level Hubnessの増大と一貫して関連していることを示す．これにより，モダリティギャップの縮小がCLIPのzero-shot分類性能を一貫して改善しない理由を，下流タスクの決定マージンの観点から体系的に説明する．本研究の結果は，モダリティギャップの縮小をアライメントの観点のみで評価するのではなく，下流タスクにおける予測構造への影響も含めて評価する必要があることを示唆している． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN10115061 | |||||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2026-NL-268, 号 5, p. 1-21, 発行日 2026-06-21 |
|||||||||||||
| ISSN | ||||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||||
| Notice | ||||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
