ヘブ則に基づく動的重み調整手法を利用したスパイキングニューラルネットワークの低レイテンシ・低消費エネルギ推論

書誌事項

タイトル別名
  • Low-Latency, Low-Power Inference of Spiking Neural Networks Using Dynamic Weight Adjustment Method based on Hebbian Rule

抄録

スパイキングニューラルネットワーク(SNN)は非同期かつスパースな処理によって消費エネルギを大幅に削減できるとして注目されている.また近年では人工ニューラルネットワーク(ANN)の学習結果を SNN へと変換する技術が開発され,ImageNet 等の複雑なデータセットにおいても ANN と遜色無い性能が達成されつつある.しかし,ANN の連続的な活性化値をスパイクという離散的な情報で表現しようとすると,過剰もしくは過小なニューロン発火に伴う情報伝達ロスが発生してしまう.そこで本研究では,過剰もしくは過少な発火を抑えるべく,推論時に発火タイミングによって重みを更新するヘブ則を利用したファインチューニングを提案する.具体的には,発火しやすいニューロンがより発火するように,逆に発火しにくいニューロンはより発火しにくくなるようにニューロン間の重みを増減させる.3 層の畳み込み層と 1 層の全結合層から構成されるネットワークに提案手法を適用した結果,MNIST 画像分類タスクにおいて,レイテンシを 87.98%・消費エネルギを 88.02% 削減出来ることが明らかになった.

Spiking Neural Networks (SNNs) have emerged as a promising research area due to their asynchronous and sparse processing, enabling significant reductions in energy consumption. In recent years, an innovative technology has been developed to convert the learned outcomes of Artificial Neural Networks (ANNs) into SNNs, demonstrating comparable performance to ANNs on complex datasets like ImageNet. However, the translation of continuous activation values from ANNs into discrete spike information can lead to information transmission losses, caused by excessive or insufficient neuron firing. To alleviate this problem, we propose a fine-tuning technique using Hebbian learning, which updates weights based on firing timings, to suppress excessive or insufficient firing during inference. Specifically, the weights between neurons are increased or decreased to make neurons more or less likely to fire, promoting easier firing for neurons that tend to fire and reducing firing for neurons that tend to fire less. Applying this approach to a network consisting of three convolutional layers and one fully connected layer, the results showed an 87.98% reduction in latency and an 88.02% reduction in energy consumption for the MNIST image classification task.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ