適応的閾値制御に基づくスパイキングニューラルネットワークの推論エネルギー削減

• Item type: Symposium(1)
• 公開日: 2022-08-24
• タイトル: 適応的閾値制御に基づくスパイキングニューラルネットワークの推論エネルギー削減
• タイトル / 言語: en
• タイトル: Inference Energy Reduction for Spiking Neural Networks Based on Adaptive Threshold Control
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_5794
• 資源タイプ: conference paper
• 著者所属: 京都大学大学院情報学研究科
• 著者所属: 京都大学大学院情報学研究科
• 著者所属: 京都大学大学院情報学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Kyoto University
• 著者名: 羽原, 丈博; 佐藤, 高史; 粟野, 皓光
• 著者名(英): Takehiro, Habara; Takashi, Sato; Hiromitsu, Awano
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 従来の SNN ではニューロン発火の起こりやすさを決める閾値を固定していたため，過剰もしくは過少なニューロン発火に伴う情報伝達劣化が発生していた．その結果として推論時間や消費エネルギーの増大を招いていた．そこで本論文では，過剰もしくは過少な発火を抑えるべく，推論時に動的・適応的に閾値を変化させる方法について述べる．閾値の変化方法として，指数関数的に閾値を増加もしくは減少させる指数増加・減少スケジューラと，閾値を振動させながら，その振幅を指数関数的に減衰させる指数的減衰余弦スケジューラ，発火率に応じて閾値を変化させる適応的閾値スケジューラの 4 つを取り上げ，各々の推論時間とエネルギー削減効果を検証した．その結果，同じ消費エネルギーで，全てのスケジューラにおいて既存手法と同等以上の精度を達成し，特に適応的閾値スケジューラを用いたものは 17.7% ほど精度の改善が達成できた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Conventional SNNs have fixed thresholds that determine the possibility of neuron firing, resulting in degradation of information transfer due to excessive or insufficient neuron firing. As a result, the inference time and energy consumption increased. This thesis proposes a method of dynamically changing the threshold during inference to suppress excessive or insufficient firing. To this end, four methods of changing the threshold are discussed: the exponential increase/decrease scheduler, which increases or decreases the threshold exponentially, the exponential decay cosine scheduler, which oscillates the threshold and decays its amplitude exponentially, and the adaptive threshold scheduler, which scales thresholds according to firing rate. The results showed that all schedulers achieved the same or better accuracy than the previous method at the same energy consumption, especially those using the adaptive threshold scheduler, which improved the accuracy by about 17.7 %.
• 書誌情報: DAシンポジウム2022論文集; 巻 2022, p. 188-194, 発行日 2022-08-24
• 出版者 / 言語: ja
• 出版者: 情報処理学会