多重量子化オプティマイザを用いたエッジAIオンライン学習アーキテクチャの提案

• Item type: SIG Technical Reports(1)
• 公開日: 2023-11-10
• タイトル: 多重量子化オプティマイザを用いたエッジAIオンライン学習アーキテクチャの提案
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: アーキテクチャ・CiM
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 北海道大学大学院情報科学研究院
• 著者所属: 北海道大学工学部
• 著者所属: 北海道大学大学院情報科学研究院
• 著者所属: 北海道大学大学院情報科学研究院
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): School of Engineering , Hokkaido University
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Technology, Hokkaido University
• 著者所属(英): en
• 著者所属(英): Faculty of Information Science and Technology, Hokkaido University
• 著者名: 明野, 樹紀; 山崎, 比伊呂; 浅井, 哲也; 安藤, 洸太
• 著者名(英): Itsuki, Akeno; Hiiro, Yamazaki; Tetsuya, Asai; Kota, Ando
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究ではニューラルネットワークによる学習のできるハードウェアのアーキテクチャを検討評価し，その FPGA 実装を行った．現在ニューラルネットワークを用いた AI は広く使われており，AI の学習計算をするための専用ハードウェアの開発が急がれている．そこでハードウェア指向のオプティマイザとして Holmes があり，これを用いると他のオプティマイザに比べて小さいメモリの割に早い収束をする学習ができることがわかっている．よって本論文では Holmes を搭載し，また並列化とパイプライン化によって大きなスループットが出せるハードウェアのアーキテクチャを提案した．また，そのアーキテクチャをもとにプロトタイプとして XOR，NOR の学習を行うハードウェアを FPGA に実装し，資源の評価を行った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We propose a processor architecture for neural network (NN) training in edge and prototype it on an FPGA (Field--Programmable Gate Array). Currently, neural networks are widely employed in artificial intelligence (AI), and there is a pressing need for the development of dedicated hardware for edge side AI training. To address this demand, the Holmes optimizer has been proposed and proved to have capability of faster convergence with a smaller memory footprint compared to other optimizers. Therefore, this paper presents a hardware architecture that incorporates Holmes and leverages parallelization and pipelining techniques to achieve significant throughput improvements. Furthermore, based on this architecture, we evalu- ated the hardware resource consumption of the proposed architecture by implementing it on an FPGA. This research focuses on proposing a hardware architecture suitable for neural network learning and its FPGA implementation. It contributes to the advancement of hardware for neural network-based AI learning, which is of paramount importance given the widespread usage of neural networks in AI applications.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11451459
• 書誌情報: 研究報告システムとLSIの設計技術（SLDM）; 巻 2023-SLDM-204, 号 12, p. 1-6, 発行日 2023-11-10
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8639
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会