WEKO3
アイテム
自然勾配法におけるDampingによるFisher情報行列の正定値への影響と鞍点回避
https://ipsj.ixsq.nii.ac.jp/records/220936
https://ipsj.ixsq.nii.ac.jp/records/220936d638f4a0-fce0-45a0-a930-b74f30391226
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z84-1S-03.pdf (484.8 kB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-02-17 | |||||||||||
| タイトル | ||||||||||||
| タイトル | 自然勾配法におけるDampingによるFisher情報行列の正定値への影響と鞍点回避 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | 人工知能と認知科学 | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||
| 資源タイプ | conference paper | |||||||||||
| 著者所属 | ||||||||||||
| 東理大 | ||||||||||||
| 著者所属 | ||||||||||||
| モントリオール大 | ||||||||||||
| 著者所属 | ||||||||||||
| 芝浦工大 | ||||||||||||
| 著者名 |
藤森, 岳
× 藤森, 岳
× 長沼, 大樹
× 長瀬, 准平
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | 近年の深層学習の最適化手法において、収束性の観点から二次最適化手法が見直されている。特に自然勾配法は計算コストの低い近似手法であるK-FACの提案により注目を集めている。これらの手法ではフィッシャー情報行列Fの逆行列を求める必要があるが、深層学習の設定ではFが退化する問題がある。そこで、Fの正定値性を保つため一般にDampingと呼ばれるヒューリスティックな調整手法が用いられている。本研究ではDampingが学習に与える影響を調査した。結果として、Damping係数の大きさにより学習前半と後半の振る舞いが異なること、特に、係数が大きい場合は学習初期の鞍点回避効果があることが示された。 | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN00349328 | |||||||||||
| 書誌情報 |
第84回全国大会講演論文集 巻 2022, 号 1, p. 383-384, 発行日 2022-02-17 |
|||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
