正規分布に従う低次元特徴量とノイズ付与機構によるドメインシフト軽減のためのタスクヘッド

DOI 情報処理学会

書誌事項

タイトル別名
  • Task Head to Reduce Domain Shift with a Noise Imposition Mechanism and Low Dimensional Features Following a Normal Distribution

この論文をさがす

抄録

機械学習システムは訓練データとテストデータが同一の分布に従うものと仮定した状況下で動作する場合が多い．しかし，それらの分布は異なることが多く，ドメインシフトにより実用時に性能が低下してしまうという問題がある．本論文では，自然言語処理分野におけるドメインシフトの課題を解決するために，事前学習済み言語モデル（PLM）のFine-Tuningプロセスに着目した教師なしドメイン適応（UDA）に取り組んだ．本論文はPLMのFine-Tuningプロセスにおいて，正規分布に従う低次元の特徴量を獲得すると同時にノイズを付与するGaussian Layerを提案し，タスクヘッドに適用することでドメインシフトを軽減する．実験結果より，Gaussian Layerは特にソース・ターゲットドメイン距離が遠いより困難な設定で優位であることが確認された．また，分布整合分析より，Gaussian Layerは従来のUDA手法と比較してソース・ターゲットドメイン分布を整合することが確認でき，ドメイン不変な表現を獲得できることを示した．

In machine learning systems, it is often assumed that the train and test data follow the same distribution. However, they often follow different distributions, leading to a decrease in performance due to domain shift. In this paper, we study unsupervised domain adaptation (UDA) focusing on the fine-tuning process of pre-trained language models (PLM) to reduce domain shift in the natural language processing field. We propose Gaussian Layer which obtains low-dimensional features that follow a normal distribution and simultaneously adds noise, and apply it to the task head. From experimental results, we show that Gaussian Layer is superior to an existing UDA method in difficult settings where the distance between source and target domain is far apart. Additional analysis shows that Gaussian Layer can align source and target distributions better than an existing UDA method, indicating that it can obtain domain-invariant representations.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ