WEKO3
アイテム
Scalar Mixing Weightsを用いた生成タスクにおける視覚と言語の情報を事前学習したモデルの分析
https://ipsj.ixsq.nii.ac.jp/records/232872
https://ipsj.ixsq.nii.ac.jp/records/232872c37df884-796d-4e1b-a3fb-4e2f7216bc64
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL24259009.pdf (1.2 MB)
2026年3月3日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, NL:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-03-03 | |||||||||||
| タイトル | ||||||||||||
| タイトル | Scalar Mixing Weightsを用いた生成タスクにおける視覚と言語の情報を事前学習したモデルの分析 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | マルチモーダル | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 奈良先端科学技術大学院大学 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Nara Institute of Science and Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Nara Institute of Science and Technology | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Nara Institute of Science and Technology | ||||||||||||
| 著者名 |
白井, 尚登
× 白井, 尚登
× 上垣外, 英剛
× 渡辺, 太郎
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 視覚と言語の情報を大規模に学習した Vision and Language (V&L) モデルが次々に提案され，マルチモーダルタスクで成功を収めている．一方，言語モデルを拡張した V&L モデルは画像情報も追加学習することで本来の言語情報を忘却する可能性がある．そのため，本研究では事前学習済みの言語モデルと V&L モデルを対象に生成タスクの精度比較を行い，言語情報の忘却の有無を調査した．また，画像情報の追加学習によって事前学習時にエンコーダで獲得した言語情報に注目し，どの層の言語情報が生成タスクに寄与するかを定量化した．その結果，画像情報も学習することは文章生成の精度の低下に繋がる傾向が明らかとなった．そして，V&L モデルは言語モデルからの重みの引き継ぎによって生成タスクを処理する層の類似性が確認された．さらに，エンコーダの全層の情報を均等に利用しながら処理することが示唆された． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10115061 | |||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2024-NL-259, 号 9, p. 1-8, 発行日 2024-03-03 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
