2026-03-14T23:31:47Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00241648 2025-01-19T07:35:31Z 1164:5159:11541:11870

大規模視覚言語モデルによる芸術作品の多言語説明生成 尾崎, 慎太郎 林, 和樹 坂井, 優介 上垣外, 英剛 林, 克彦 渡辺, 太郎 特別セッション：分野横断 英語を対象とした大規模視覚言語モデル (Large-scale Vision Language Models，LVLMs) の性能向上に伴い，多言語をも対象とした発展が期待されている．しかし，LVLMs を構成する視覚エンコーダの事前学習や，大規模言語モデル (Large Language Models，LLMs) と視覚エンコーダの統合学習は，主に英語の学習データを用いて行われており，英語以外の言語で説明を生成する際に，LVLMs が潜在能力を十分に発揮できているかどうかは不明である．また，機械翻訳を利用してデータセットを作成する多言語 QA ベンチマークには，文化的な違いや偏りを的確に捉えられておらず，評価タスクとして利用するには課題が残る．これらの課題を解決するために，本研究では機械翻訳に頼らない多言語の拡張データセットを作成した．そして，意味合いや国特有の言い回しを考慮したこのデータセットを用いて，LVLMs の生成説明能力を評価した．さらに本研究では，資源が豊富な英語での指示学習が他の言語での性能を向上させるかどうかを検証した．その結果，LVLMs は英語以外の言語では，英語に比べて性能が低下することがわかった．さらに，LVLMs は英語のデータから学習した知識を効果的に利用する上での課題が存在することを確認した． technical report 情報処理学会 2024-12-05 application/pdf 研究報告音声言語情報処理（SLP） 28 2024-SLP-154 1 18 2188-8663 AN10442647 https://ipsj.ixsq.nii.ac.jp/record/241648/files/IPSJ-SLP24154028.pdf jpn