WEKO3
アイテム
スキップレイヤー法を用いたBERTの分析
https://ipsj.ixsq.nii.ac.jp/records/220239
https://ipsj.ixsq.nii.ac.jp/records/220239756ef7a4-861d-437b-a0ac-949b6093c916
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL22253009.pdf (2.3 MB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-09-22 | |||||||||||
| タイトル | ||||||||||||
| タイトル | スキップレイヤー法を用いたBERTの分析 | |||||||||||
| タイトル | ||||||||||||
| 言語 | en | |||||||||||
| タイトル | Analysis of BERT Using Skipping Layers Method | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 深層学習の性能調査 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 東京都立大学システムデザイン研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京都立大学システムデザイン研究科 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京都立大学システムデザイン研究科 | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Systems Design, Tokyo Metropolitan University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Systems Design, Tokyo Metropolitan University | ||||||||||||
| 著者所属(英) | ||||||||||||
| en | ||||||||||||
| Graduate School of Systems Design, Tokyo Metropolitan University | ||||||||||||
| 著者名 |
喜友名, 朝視顕
× 喜友名, 朝視顕
× 岡, 照晃
× 小町, 守
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 本研究では，連続する一部の層を恒等関数に置き換えることをスキップレイヤー法と呼ぶ．BERT に対しスキップレイヤー法を適用すると，正解ラベルごとに異なるパターンがみられることがわかった．これは，BERT 上で重要な層が正解ラベルごとに異なることを示唆している．そこで，BERT への理解をさらに深めるために，正解ラベルとパターンの関係を分析する． | |||||||||||
| 論文抄録(英) | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | In this study, we call replacing some successive layers with identity functions skipping layers method. When we applied the skipping layers method to BERT, we found that there is a pattern for each label. This finding suggests that the informative layers of BERT are different for each label. To further understand BERT, we analyze the relationship between ground truths and patterns. | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10115061 | |||||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2022-NL-253, 号 9, p. 1-6, 発行日 2022-09-22 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8779 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
