最終層学習によるDPUの学習機能追加について

• Item type: SIG Technical Reports(1)
• 公開日: 2022-01-17
• タイトル: 最終層学習によるDPUの学習機能追加について
• タイトル / 言語: en
• タイトル: Addition of DPU Training Function by Tail Layer Training
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属: 東京工業大学工学院情報通信系
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Information and Communications Engineering, School of Engineering, Tokyo Institute of Technology
• 著者名: 高嶋, 優希; 神宮司, 明良; 中原, 啓貴
• 著者名(英): Yuki, Takashima; Akira, Jinguji; Hiroki, Nakahara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，深層学習への需要が高まっており，多くのハードウェア実装が提案されてきた．Xilinx 社の提供するプラットフォームである Deep learning Processor Unit（DPU）はその一つである．しかし，推論を高速で行える一方で学習できないという問題があった．本研究ではConvolutional Neural Network（CNN）の最終層を独立させる最終層学習を提案する．この手法は最終層以外を DPU を用いて演算を行い，最終層は CPU で計算する．すなわち，モデルの大半を DPU で処理可能なため高速な計算速度を維持しつつ，最終層のみを CPU で実行して重みの変更や追加といった学習を可能とする．CNN を用いた画像分類は出力のニューロン数とクラス数が一致している必要があり，クラス数を追加する再学習などで効果を発揮する．最終層学習を行う場合，既存のクラスと追加するクラスのドメインの類似性が重要であることが分かった．そのため多クラスなデータセットでの学習には向かない．しかし，cifar10 のようなクラス数が少なくドメインが独立しているデータセットであればモデル全体を 10 クラス分全ての学習データで学習した際と，モデル全体を 8 クラス分で学習したのち最終層のみ 2 クラス追加して学習した際で 3 ポイント程度の精度低下に抑えることができた．また DPU と CPU のハイブリッドシステムの処理速度低下はほとんどないことを明らかにした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The demand for deep learning has been increasing, and many hardware implementations have been proposed. The Deep learning Processor Unit (DPU) was provided by Xilinx. Althogh it can perform inference at high speed, it cannot perform training. We propose a tail layer training that makes the tail layer of a Convolutional Neural Network (CNN) independent. All layers except the tail layer are computed using a DPU, and the tail layer is computed by a CPU. Since the number of neurons and classes in the output must be the same for image classification, it is effective for retraining to add the number of classes. The tail layer training, found that the relationship between the existing classes and the classes to be added is important. Therefore, it is not suitable for training on large number of classes. However, with a dataset such as cifar10, it is able to reduce the loss of accuracy by about 3 points between training the entire model with all 10 classes and training only the tail layer with 2 add classes after training the entire model with 8 classes.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2022-ARC-247, 号 12, p. 1-6, 発行日 2022-01-17
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会