BERTにおけるWeightとActivationの3値化の検討
書誌事項
- タイトル別名
-
- Weight and Activation Ternarization in BERT
説明
<p>事前学習済み言語モデルであるBERTの軽量化・高速化に向けてfloat値を少ないbit数表現で近似する量子化技術が注目を集めている．従来技術ではモデルのweight パラメータを3値や2値にする研究が行われているが，一方でactivationの量子化は8bit化が主流であり，8bit未満での近似は精度維持が困難であることが経験的に知られている．本研究ではBERTの中間表現における外れ値が課題であると考察し，事前学習済みのBERTを基に各層のactivationの外れ値に対応可能な3値化手法を提案する．評価実験により，weightとactivationを3値化したモデルが言語モデリングおよびダウンストリームタスクにおいて従来手法で3値化した場合に比べて精度低下を抑えたことを示す．</p>
収録刊行物
-
- 人工知能学会全国大会論文集
-
人工知能学会全国大会論文集 JSAI2021 (0), 3J4GS6c01-3J4GS6c01, 2021
一般社団法人 人工知能学会
- Tweet
詳細情報 詳細情報について
-
- CRID
- 1390006895525108864
-
- NII論文ID
- 130008051823
-
- ISSN
- 27587347
-
- 本文言語コード
- ja
-
- データソース種別
-
- JaLC
- CiNii Articles
-
- 抄録ライセンスフラグ
- 使用不可
