Compatibility of ReLU Functions and <i>k</i>-piecewise Linear Functions in Deep Neural Network Models

DOI IPSJ

Bibliographic Information

Other Title
  • 深層ニューラルネットモデルにおけるReLU関数と<i>k</i>区分線型関数の互換性について

Search this article

Description

本研究は，近年多様化している深層ニューラルネットモデルの活性化関数とその表現能力について，ReLU関数と区分線形関数に着目して数理的な解析を行ったものである．ReLU関数は活性化関数として広く用いられている有力な区分線形関数であり，ReLU関数を活性化関数として用いた深層ニューラルネットモデルはk個の区間に分割された区分線形関数を表現可能であることがAroraら(2018)によって示されている．一方で，k区分線形関数を活性化関数として用いた場合の表現能力，特に，Aroraらの結果の逆として，k区分線形関数を活性化関数として用いた深層ニューラルネットモデルはReLU関数を表現可能であるか，については明らかでない．また，ReLU関数を元に提案された関数や，より複雑な区分線形関数も活性化関数として検討されているが，これら活性化関数の体系的な理解は知られていない．このような背景に対して，本論文は，任意のk区分線形関数がReLU関数を表現可能であることを構成的に示すことで，両者の活性化関数としての対応関係を明らかにする．

This research is a mathematical analysis of activation functions and their representability in deep neural network models, focusing on ReLU functions and k-piecewise linear functions. ReLU function is a popular piecewise linear function widely used as an activation function, and it has been shown by Arora et al. that ReLU DNN can accurately represent a k-piecewise linear function. On the other hand, it is not known whether the deep neural network model using k-piecewise linear functions for activation functions can represent ReLU functions, in particular, the converse proposition of the result of Arora et al. Although functions proposed based on the ReLU function and more complex piecewise linear functions have also been considered for activation functions, there is no systematic understanding of these activation functions. This paper shows that deep neural network models using any k-piecewise linear function for activation functions can represent ReLU functions and ReLU deep neural network models. The proof is constructive, and as a result, it is understood the correspondence between both of their activation functions.

Journal

Related Projects

See more

Keywords

Details 詳細情報について

Report a problem

Back to top