情報落ちを考盧した短ピット長フォーマットによるDCNNトレーニングの検討\n\n

• Item type: SIG Technical Reports(1)
• 公開日: 2017-10-31
• タイトル: 情報落ちを考盧した短ピット長フォーマットによるDCNNトレーニングの検討\n\n
• タイトル / 言語: en
• タイトル: DCNN Training with Short Bit Length Format Considering Loss of Trailing Digits
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 産業技術総合研究所ナノエレクトロニクス研究部門
• 著者所属: 産業技術総合研究所ナノエレクトロニクス研究部門
• 著者所属: 産業技術総合研究所情報技術部門
• 著者所属(英): en
• 著者所属(英): Nanoelectronics Research Institute and National Institute of AIST
• 著者所属(英): en
• 著者所属(英): Nanoelectronics Research Institute and National Institute of AIST
• 著者所属(英): en
• 著者所属(英): Information Technology Research Institute, National Institute of AIST,
• 著者名: 大内, 真一; 更田, 裕司; 高野, 了成
• 著者名(英): Shin-ichi, O'uchi; Hiroshi, Fuketa; Ryousei, Takano
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 16 ビットよりも更に短いビット長のフォーマットによる深層畳み込みニューラルネットワークのトレーニングを実現するために，本論文では計算における情報落ちに関して検討する．検討の結果として，8 ビットフォーマットによるトレーニング方法を提案する．提案方式は，16 ビット積和算ユニットに対して，約 1/2 のハードウェア削減効果を持ちつつも，AlexNet のトレーニングにおいて 16 ビット浮動小数点フォーマットを上回る推論精度改善が期待される．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Loss of trailing digits in training deep convolutional neural network (DCNN) is considered to implement training with a format shorter than 16-bit floating format. As a result, we propose an 8-bit training method. The method improves inference accuracy compared to 16-bit floating format in training AlexNet. Simultaneously, the hardware size is reduced by half compared to the 16-bit hardware.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10096105
• 書誌情報: 研究報告システム・アーキテクチャ（ARC）; 巻 2017-ARC-228, 号 2, p. 1-6, 発行日 2017-10-31
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8574
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会