WEKO3
アイテム
ベイズ深層学習のドロップアウトパターン事前決定による推論高速化手法の検討
https://ipsj.ixsq.nii.ac.jp/records/231102
https://ipsj.ixsq.nii.ac.jp/records/231102db0920a1-4c57-4368-ae15-a65529d572a1
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-HPC23192024.pdf (990.1 kB)
|
Copyright (c) 2023 by the Institute of Electronics, Information and Communication Engineers This SIG report is only available to those in membership of the SIG.
|
|
| HPC:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-11-28 | |||||||||||
| タイトル | ||||||||||||
| タイトル | ベイズ深層学習のドロップアウトパターン事前決定による推論高速化手法の検討 | |||||||||||
| 言語 | ||||||||||||
| 言語 | jpn | |||||||||||
| キーワード | ||||||||||||
| 主題Scheme | Other | |||||||||||
| 主題 | AIとグラフ | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||||
| 資源タイプ | technical report | |||||||||||
| 著者所属 | ||||||||||||
| 東京大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京大学 | ||||||||||||
| 著者所属 | ||||||||||||
| 東京大学 | ||||||||||||
| 著者名 |
菅, 研吾
× 菅, 研吾
× 平山, 侑樹
× 金子, 竜也 高前田 伸也
|
|||||||||||
| 論文抄録 | ||||||||||||
| 内容記述タイプ | Other | |||||||||||
| 内容記述 | ベイズ深層学習 (BNN) は，ベイズ統計を利用する機械学習手法であり，予測の不確実性を捉えやすく，過学習を抑えるという利点がある．BNN を実現する方法として，推論時にドロップアウトを伴うフォワーディングを複数行い，得られた計算結果の平均と分散を出力とする手法が知られている．我々はハードウェア上でベイズ深層学習の推論を行うことを見据え，推論時のデータフローを最適化する手法を提案する．提案手法は，学習を行う前にドロップアウトパターンを事前決定し，これを学習と推論の両方に使用する．これにより推論時の乱数発生を不要にし，また低回数の順伝播で高精度な推論を可能にする．さらに，中間層の計算結果を効率的に使い回すため，順伝播のデータフローの構造を学習時に自動探索する．これにより計算回数をさらに削減し，推論プロセスの効率を向上させることを意図する．本稿では，提案手法の有用性を示すために，MNIST データセットを用いた実験を行った．その結果，既存手法と同程度の精度を保ちながら，途中計算に用いられる重みの要素数を平均で約 43% 削減できることが示された． | |||||||||||
| 書誌レコードID | ||||||||||||
| 収録物識別子タイプ | NCID | |||||||||||
| 収録物識別子 | AN10463942 | |||||||||||
| 書誌情報 |
研究報告ハイパフォーマンスコンピューティング（HPC） 巻 2023-HPC-192, 号 24, p. 1-6, 発行日 2023-11-28 |
|||||||||||
| ISSN | ||||||||||||
| 収録物識別子タイプ | ISSN | |||||||||||
| 収録物識別子 | 2188-8841 | |||||||||||
| Notice | ||||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||||
| 出版者 | ||||||||||||
| 言語 | ja | |||||||||||
| 出版者 | 情報処理学会 | |||||||||||
