ニューロモーフィックチップAkidaにおける低消費エネルギ推論のためのゼロアウェアなSNN学習法

スパイキングニューラルネットワーク（SNN）とそのハードウェアアクセラレータである Akida は，様々なセンサと接続しエッジデバイス上で高度な認知処理が可能だと注目されている．そのため推論性能を保ちながら消費エネルギを効率的に削減する必要がある．従来の SNN ではスパイクが入力されると逐次計算しており，SNN の消費エネルギはスパイク数に依存する．そのためスパイク数を削減することで，少ない消費エネルギで推論可能できた．しかし，Akida ではスパイクを時間方向に積分したスパイク数で計算するため，消費エネルギを削減するにはスパイク数だけでなく発火するニューロンの数も削減する必要がある．本研究では Akida で SNN を推論する際に，発火するニューロンを限定するための学習方法を提案する．具体的には，0 でない活性化値または重みの数に応じて，ネットワークにペナルティを与えるように学習させることで実現する．2 層の畳み込み層と 2 層の全結合層から構成されるネットワークに提案手法を適用し学習させた結果，MNIST 画像分類タスクにおいて，活性化値を 70.1%，重みを 14.2% よりスパースにすることが可能で，画像一枚あたり 12.2% の消費エネルギを削減できることが明らかになった．

Spiking Neural Networks (SNNs) and their hardware accelerator, Akida, have garnered attention for their ability to perform advanced cognitive processing on edge devices by connecting with various sensors. Therefore, it is necessary to reduce energy consumption while maintaining inference performance efficiently. Traditional SNNs perform sequential calculations whenever a spike is input, and their energy consumption depends on the number of spikes. By reducing the number of spikes, inference can be performed with lower energy consumption. However, in Akida, calculations are performed based on the number of spikes integrated over time, so it is necessary to reduce not only the number of spikes but also the number of neurons firing to save energy. This study proposes a learning method to limit the number of firing neurons when performing SNN inference on Akida. Specifically, this is achieved by penalizing the network based on the number of non-zero activations or weights during training. By applying the proposed method to a network consisting of two convolutional layers and two fully connected layers, it was found that in the MNIST image classification task, activations could be made 70.1% sparser and weights 14.2% sparser, resulting in a 12.2% reduction in energy consumption per image.