重み推定によるメモリスタニューラルネットワークの信頼性向上の試み

• Item type: SIG Technical Reports(1)
• 公開日: 2018-11-28
• タイトル: 重み推定によるメモリスタニューラルネットワークの信頼性向上の試み
• タイトル / 言語: en
• タイトル: An Approach for Reliability Improvement of Memristor-based Neural Network through Weight Prediction
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 高信頼化・セーフテスト
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学先端科学技術研究科
• 著者所属: 奈良先端科学技術大学院大学先端科学技術研究科
• 著者所属: 奈良先端科学技術大学院大学先端科学技術研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science, Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science, Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science, Nara Institute of Science and Technology
• 著者名: 石坂, 守; 新谷, 道広; 井上, 美智子
• 著者名(英): Mamoru, Ishizaka; Michihiro, Shintani; Michiko, Inoue
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 深層学習における重みを計算する積和演算は最も基本的な演算処理であり，ニューラルネットワーク全体の計算時間，消費電力に影響を与える．メモリスタは，この積和演算を容易に実現できる材料として注目を集めている．一方で，メモリスタの製造技術はまだ確立しておらず，その未成熟製造プロセスにより書き込み回数に強い制限が存在する．一般的にニューラルネットワークは，多量のデータを学習することで行われ，これはメモリスタヘの多量の書き込みを要する．メモリスタの書き込み制限は 1 × 10⁶ 回程度であることから，長期信頼性に課題を残す．本研究では，メモリスタニューラルネットワークの長寿命化を目的に，書き込み回数を削減する手法を提案する．具体的には，学習が収束に近づくと重みの変化が小さくなるという特徴を利用し，未収束時の重みから収束時の重みを圧縮センシングを利用し推定し，学習時の書き込み回数を削減する．シミュレーションにより提案手法を評価し，提案手法の効果と課題について示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: As matrix-vector product is the most essential operation in the weight calculation of deep learning, it has a great impact on calculation speed and power consumption of neural network circuits. Memristor is one of the most promising materials to perform efficient matrix-vector product. However, it has been pointed out that the memristors have severely low write endurance limitation due to its manufacturing immaturity. In general, the neural network circuit has numerous write operation during the training stage as huge training data is learned. As the write endurance of the memristors is approximately 1 x 10⁶, lifetime enhancement technique is needed to ensuring its reliable lifespan. In this work, in order to reduce the total number of the write operations for lifetime improvement, we experimentally study the weight estimation based on compressed sensing from small number of the write operations. Through simulation experiments, we show effectiveness and challenges of the proposed method.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12149313
• 書誌情報: 研究報告組込みシステム（EMB）; 巻 2018-EMB-49, 号 17, p. 1-6, 発行日 2018-11-28
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-868X
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会