@inproceedings{oai:ipsj.ixsq.nii.ac.jp:00229889,
 author = {廣瀬, 理陽 and 藤田, 悟},
 book = {第85回全国大会講演論文集},
 issue = {1},
 month = {Feb},
 note = {深層学習では一般に，学習パラメータが膨大である巨大なモデルほど高い性能を示すが，大きなメモリサイズを必要とする難点がある．これを解決するため提案された知識蒸留は，巨大モデルの出力を小さいモデルに学習させることで，モデルの圧縮を実現した．しかしこの手法では，巨大モデルが学習したパラメータを継承することはなく，初期化されたパラメータからの学習により，多くの学習時間を要する．本論文では，巨大モデルが学習したパラメータはパラメータ空間内に偏在することに注目し，それらが形成するクラスタに基づいてパラメータを集約することで，モデルを圧縮する手法を提案する．また，本手法による転移学習への有用性も検証する．},
 pages = {179--180},
 publisher = {情報処理学会},
 title = {学習済みパラメータの分析に基づくモデル圧縮と転移学習への応用},
 volume = {2023},
 year = {2023}
}