注意機構を持った深層ニューラルネットワークの勾配探索

DOI

書誌事項

タイトル別名
  • Differentiable Search for Deep Neural Network with Attention

抄録

<p>ニューラルネットワーク（NN）のアーキテクチャ設計を手動で行うには専門的知識と多大な労力を要する．NNのアーキテクチャ設計を自動で行うニューラルアーキテクチャ探索（NAS）の分野の発達により，画像分類タスクにおいて高い性能を発揮するアーキテクチャを短時間で得られるようになってきている．画像分類タスクでは一般的に畳み込みニューラルネットワーク（CNN）が用いられるが，その主要な演算は畳み込みとプーリングである．従来のNAS手法はこれを考慮し，探索空間に畳み込みとプーリングのみを含めている．一方近年，NNのアーキテクチャに関する研究では，従来のCNNに新たに注意機構を挿入することで無用な特徴量を捨て，パラメータ数の増加量を抑えつつより高い性能を発揮している．そこで本研究では，従来のoperation（畳み込みやプーリング）に加えて注意機構が挿入されたCNNの探索手法を提案する．提案手法は勾配法探索を行うDARTSをベースとし，得られたCNNはCIFAR-10及びCIFAR-100を用いた実験において，DARTSで得られたものよりパラメータ数を抑えつつも性能が向上した．</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390848250119580800
  • NII論文ID
    130007857023
  • DOI
    10.11517/pjsai.jsai2020.0_2q1gs1005
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
    • CiNii Articles
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ