ヘブ則に基づく動的重み調整手法を利用したスパイキングニューラルネットワークの低レイテンシ・低消費エネルギ推論

• Item type: Symposium(1)
• 公開日: 2023-08-23
• タイトル: ヘブ則に基づく動的重み調整手法を利用したスパイキングニューラルネットワークの低レイテンシ・低消費エネルギ推論
• タイトル / 言語: en
• タイトル: Low-Latency, Low-Power Inference of Spiking Neural Networks Using Dynamic Weight Adjustment Method based on Hebbian Rule
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 回路設計
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 京都大学大学院情報学研究科
• 著者所属: 京都大学大学院情報学研究科
• 著者所属: 京都大学大学院情報学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者名: 羽原, 丈博; 佐藤, 高史; 粟野, 皓光
• 著者名(英): Takehiro, Habara; Takashi, Sato; Hiromitsu, Awano
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: スパイキングニューラルネットワーク（SNN）は非同期かつスパースな処理によって消費エネルギを大幅に削減できるとして注目されている．また近年では人工ニューラルネットワーク（ANN）の学習結果を SNN へと変換する技術が開発され，ImageNet 等の複雑なデータセットにおいても ANN と遜色無い性能が達成されつつある．しかし，ANN の連続的な活性化値をスパイクという離散的な情報で表現しようとすると，過剰もしくは過小なニューロン発火に伴う情報伝達ロスが発生してしまう．そこで本研究では，過剰もしくは過少な発火を抑えるべく，推論時に発火タイミングによって重みを更新するヘブ則を利用したファインチューニングを提案する．具体的には，発火しやすいニューロンがより発火するように，逆に発火しにくいニューロンはより発火しにくくなるようにニューロン間の重みを増減させる．3 層の畳み込み層と 1 層の全結合層から構成されるネットワークに提案手法を適用した結果，MNIST 画像分類タスクにおいて，レイテンシを 87.98%・消費エネルギを 88.02% 削減出来ることが明らかになった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Spiking Neural Networks (SNNs) have emerged as a promising research area due to their asynchronous and sparse processing, enabling significant reductions in energy consumption. In recent years, an innovative technology has been developed to convert the learned outcomes of Artificial Neural Networks (ANNs) into SNNs, demonstrating comparable performance to ANNs on complex datasets like ImageNet. However, the translation of continuous activation values from ANNs into discrete spike information can lead to information transmission losses, caused by excessive or insufficient neuron firing. To alleviate this problem, we propose a fine-tuning technique using Hebbian learning, which updates weights based on firing timings, to suppress excessive or insufficient firing during inference. Specifically, the weights between neurons are increased or decreased to make neurons more or less likely to fire, promoting easier firing for neurons that tend to fire and reducing firing for neurons that tend to fire less. Applying this approach to a network consisting of three convolutional layers and one fully connected layer, the results showed an 87.98% reduction in latency and an 88.02% reduction in energy consumption for the MNIST image classification task.
• 書誌情報: DAシンポジウム2023論文集; 巻 2023, p. 56-62, 発行日 2023-08-23
• 出版者 / 言語: ja
• 出版者: 情報処理学会