WEKO3
アイテム
学習済みパラメータの分析に基づくモデル圧縮と転移学習への応用
https://ipsj.ixsq.nii.ac.jp/records/229889
https://ipsj.ixsq.nii.ac.jp/records/2298896028ced0-2286-4861-a6a5-eb70c1afcba0
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z85-7P-08.pdf (517.4 kB)
|
Copyright (c) 2023 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-02-16 | |||||||||
| タイトル | ||||||||||
| タイトル | 学習済みパラメータの分析に基づくモデル圧縮と転移学習への応用 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 人工知能と認知科学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 法大 | ||||||||||
| 著者所属 | ||||||||||
| 法大 | ||||||||||
| 著者名 |
廣瀬, 理陽
× 廣瀬, 理陽
× 藤田, 悟
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 深層学習では一般に，学習パラメータが膨大である巨大なモデルほど高い性能を示すが，大きなメモリサイズを必要とする難点がある．これを解決するため提案された知識蒸留は，巨大モデルの出力を小さいモデルに学習させることで，モデルの圧縮を実現した．しかしこの手法では，巨大モデルが学習したパラメータを継承することはなく，初期化されたパラメータからの学習により，多くの学習時間を要する．本論文では，巨大モデルが学習したパラメータはパラメータ空間内に偏在することに注目し，それらが形成するクラスタに基づいてパラメータを集約することで，モデルを圧縮する手法を提案する．また，本手法による転移学習への有用性も検証する． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第85回全国大会講演論文集 巻 2023, 号 1, p. 179-180, 発行日 2023-02-16 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
