@techreport{oai:ipsj.ixsq.nii.ac.jp:02010092,
 author = {佐藤,祥太 and 木山,朔 and 平澤,寅庄 and 小町,守},
 issue = {5},
 month = {Jun},
 note = {CLIPにおける画像埋め込みとテキスト埋め込みの間のモダリティギャップを縮小することは，クロスモーダルなアライメントおよび下流タスク性能の向上につながると期待されている．しかし，画像埋め込みとテキスト埋め込みの間のモダリティギャップが小さくなったとしても，必ずしも一貫したタスク性能の向上が得られるわけではない．本研究では，この期待と実態の不一致について，zero-shot画像分類を題材にして分析する．zero-shot画像分類の正解率は，画像埋め込みとテキスト埋め込みのアライメントだけでなく，クラスごとの決定境界にも依存する．解析的に扱いやすいLinear補正を対象として，モダリティギャップの縮小がクラス間の相対的な決定マージンを変化させ，少数のクラスへ予測を集中させうることを示す．本研究では，このような出力空間において性能低下と関連して現れる予測集中の現象をPrediction-Level Hubnessと呼ぶ．さらに，複数のデータセットにわたる実験により，Linear補正だけでなく学習ベースの補正手法においても，モダリティギャップの縮小によるタスク性能の低下がPrediction-Level Hubnessの増大と一貫して関連していることを示す．これにより，モダリティギャップの縮小がCLIPのzero-shot分類性能を一貫して改善しない理由を，下流タスクの決定マージンの観点から体系的に説明する．本研究の結果は，モダリティギャップの縮小をアライメントの観点のみで評価するのではなく，下流タスクにおける予測構造への影響も含めて評価する必要があることを示唆している．},
 title = {予測分布の偏りに着目したCLIPのモダリティギャップ分析},
 year = {2026}
}