WEKO3
アイテム
学習初期に学習率の分散を考慮した学習率の範囲を動的に制御するAdam
https://ipsj.ixsq.nii.ac.jp/records/214697
https://ipsj.ixsq.nii.ac.jp/records/214697bdd16728-699a-42b8-b208-f7a25b5ec088
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z83-2J-03.pdf (268.9 kB)
|
Copyright (c) 2021 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-03-04 | |||||||||
| タイトル | ||||||||||
| タイトル | 学習初期に学習率の分散を考慮した学習率の範囲を動的に制御するAdam | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ソフトウェア科学・工学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 千葉工大 | ||||||||||
| 著者所属 | ||||||||||
| 千葉工大 | ||||||||||
| 著者名 |
行木, 大輝
× 行木, 大輝
× 山口, 智
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | ニューラルネットワークの最適化アルゴリズムには「速度」と「安定性」が常に求められている。Adamはそれらを満たす手法として考えられていたが、大規模な問題ではSGDに比べて汎化性能が悪くなることや、学習初期に極端な学習率を選択してしまうなど「安定性」に課題が確認されている。近年ではこれらの問題を解決するために学習中にAdamからSGDに切り替えるAdaboundや、学習初期での学習率の分散を考慮し、小さな学習率でパラメータを更新するWarmUpを取り入れたRAdamが提案されている。本研究ではAdaboundに対して学習初期にWarmUpを適用することでより効率的な学習を行う手法を提案する。 | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第83回全国大会講演論文集 巻 2021, 号 1, p. 175-176, 発行日 2021-03-04 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
