WEKO3
アイテム
深層学習における2次最適化の汎化性能の検証
https://ipsj.ixsq.nii.ac.jp/records/221088
https://ipsj.ixsq.nii.ac.jp/records/22108822dd2247-9443-48fd-8259-0b7bc29d51df
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z84-2V-06.pdf (613.4 kB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-02-17 | |||||||||
| タイトル | ||||||||||
| タイトル | 深層学習における2次最適化の汎化性能の検証 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 人工知能と認知科学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者名 |
石井, 央
× 石井, 央
× 横田, 理央
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 深層ニューラルネットワークの最適化には通常1次の最適化手法である確率的勾配降下法（SGD）が用いられるが，自然勾配法のような2次の最適化手法が収束性を大幅に向上できるケースも報告されている．これまで，深層学習に2次最適化が用いられてこなかった理由としては，その計算コストが膨大であることと過学習しやすいことが挙げられる．大沢らは分散並列環境下ではFisher行列の計算を分散させることで計算コストを大幅に低減できることをしめしたが，過学習の問題に関しては限定的なデータセットとモデルでしか改善できていない．本研究では，2次最適化のより広範なデータセットとモデルに適用した場合の汎化性能について検証する． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第84回全国大会講演論文集 巻 2022, 号 1, p. 699-700, 発行日 2022-02-17 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
