WEKO3
アイテム
Vision Transformerにおけるバッチサイズの汎化性能への影響
https://ipsj.ixsq.nii.ac.jp/records/220868
https://ipsj.ixsq.nii.ac.jp/records/2208680ab16296-47bb-4693-9a6e-b91fc070de13
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z84-5Q-06.pdf (317.1 kB)
|
Copyright (c) 2022 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2022-02-17 | |||||||||
| タイトル | ||||||||||
| タイトル | Vision Transformerにおけるバッチサイズの汎化性能への影響 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 人工知能と認知科学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者所属 | ||||||||||
| 東工大 | ||||||||||
| 著者名 |
中村, 秋海
× 中村, 秋海
× 横田, 理央
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 画像認識の分野では，近年データセットやモデルが巨大化しているため訓練にかかる時間も増大している．データ並列学習では，訓練データをプロセスに分散し，その勾配をプロセス間で通信することで学習を高速化できる．ただし，プロセス数に比例して全体のバッチサイズが上昇するという問題がある．これまでに，CNNでバッチサイズの増大と汎化性能に関する研究はなされているが、Vision Transformer （ViT）におけるバッチサイズの増大の影響を調べた例は少ない．そこで，本研究ではViTにおけるバッチサイズの汎化性能への影響を広範なハイパーパラメータにおいて調査した． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第84回全国大会講演論文集 巻 2022, 号 1, p. 243-244, 発行日 2022-02-17 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
