WEKO3
アイテム
深層学習における勾配の前処理法に関する検討
https://ipsj.ixsq.nii.ac.jp/records/230086
https://ipsj.ixsq.nii.ac.jp/records/230086958a0f9d-0353-44f7-b644-08c738ca0a4e
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z85-1U-07.pdf (1.2 MB)
|
Copyright (c) 2023 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-02-16 | |||||||||
| タイトル | ||||||||||
| タイトル | 深層学習における勾配の前処理法に関する検討 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 人工知能と認知科学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者名 |
石川, 智貴
× 石川, 智貴
× 横田, 理央
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 2次の情報行列を用いて最適化を行う2次最適化は，深層学習の最適化を高速化することが報告されている．しかし2次最適化はメモリ消費量や計算量が多いことから研究例が少ない．また様々な2次最適化手法が提案されているが，それらを横断的に比較検討する研究はほとんどなされていない．そこでMLP，CNN，Vision Transformerなどのモデルを用いて2次最適化の手法ごとの特性の違いを調査した．とりわけ本研究では深層学習の最適化の研究においてあまり考慮されていなかったメモリ消費量や計算量にも着目して比較検討を行った．これにより2次最適化の研究において，タスクに応じた最適な設定を選択できるようになった． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第85回全国大会講演論文集 巻 2023, 号 1, p. 591-592, 発行日 2023-02-16 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
