WEKO3
アイテム
Fisher情報行列の解析に基づく大規模深層学習のための二次最適化手法
https://ipsj.ixsq.nii.ac.jp/records/196749
https://ipsj.ixsq.nii.ac.jp/records/196749cc57a453-340d-45da-afd5-aa1dd490dd78
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z81-2D-01.pdf (261.6 kB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-02-28 | |||||||||||||
| タイトル | ||||||||||||||
| タイトル | Fisher情報行列の解析に基づく大規模深層学習のための二次最適化手法 | |||||||||||||
| 言語 | ||||||||||||||
| 言語 | jpn | |||||||||||||
| キーワード | ||||||||||||||
| 主題Scheme | Other | |||||||||||||
| 主題 | 人工知能と認知科学 | |||||||||||||
| 資源タイプ | ||||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||||
| 資源タイプ | conference paper | |||||||||||||
| 著者所属 | ||||||||||||||
| 東工大 | ||||||||||||||
| 著者所属 | ||||||||||||||
| 東工大 | ||||||||||||||
| 著者所属 | ||||||||||||||
| シンガポール科学技術研究庁 | ||||||||||||||
| 著者所属 | ||||||||||||||
| シンガポール科学技術研究庁 | ||||||||||||||
| 著者名 |
大沢, 和樹
× 大沢, 和樹
× 横田, 理央
× Chuan-Sheng, Foo
× Vijay, Chandrasekhar
|
|||||||||||||
| 論文抄録 | ||||||||||||||
| 内容記述タイプ | Other | |||||||||||||
| 内容記述 | 画像データセットImageNetを始めとする巨大データセットを用いる大規模深層学習においては，膨大な学習時間が最適なパラメータ探索の障害となっている．学習時間の短縮を目的とした既存研究では，コスト関数の最小化に単純な一次最適化手法が用いられ，計算機の性能に頼った高速化手法が提案されてきた．一方で，自然勾配法は深層学習における効率的な二次最適化手法として知られているが，パラメータ数に依存するFisher情報行列の計算がボトルネックとなり，応用は限られていた．本研究では，これまで明らかにされてこなかった大規模深層学習におけるFisher情報行列の解析に基づき，より効率的な二次最適化手法を提案する． | |||||||||||||
| 書誌レコードID | ||||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||||
| 収録物識別子 | AN00349328 | |||||||||||||
| 書誌情報 |
第81回全国大会講演論文集 巻 2019, 号 1, p. 45-46, 発行日 2019-02-28 |
|||||||||||||
| 出版者 | ||||||||||||||
| 言語 | ja | |||||||||||||
| 出版者 | 情報処理学会 | |||||||||||||
