WEKO3
アイテム
正規分布に従う低次元特徴量とノイズ付与機構によるドメインシフト軽減のためのタスクヘッド
https://doi.org/10.20729/00231447
https://doi.org/10.20729/00231447443acb68-b77d-4fc5-96d4-c0bcd44df5d8
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-JNL6412015.pdf (1.7 MB)
2025年12月15日からダウンロード可能です。
|
Copyright (c) 2023 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, 論文誌:会員：¥0, DLIB:会員：¥0 | ||
| Item type | Journal(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-12-15 | |||||||||
| タイトル | ||||||||||
| タイトル | 正規分布に従う低次元特徴量とノイズ付与機構によるドメインシフト軽減のためのタスクヘッド | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Task Head to Reduce Domain Shift with a Noise Imposition Mechanism and Low Dimensional Features Following a Normal Distribution | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | [一般論文] ドメイン適応，ドメインシフト，マルチタスク学習，特徴抽出，自然言語処理 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_6501 | |||||||||
| 資源タイプ | journal article | |||||||||
| ID登録 | ||||||||||
| ID登録 | 10.20729/00231447 | |||||||||
| ID登録タイプ | JaLC | |||||||||
| 著者所属 | ||||||||||
| 横浜国立大学大学院理工学府 | ||||||||||
| 著者所属 | ||||||||||
| 横浜国立大学大学院工学研究院 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Yokohama National University | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Graduate School of Engineering Science, Yokohama National University | ||||||||||
| 著者名 |
藤井, 巧朗
× 藤井, 巧朗
× 濱上, 知樹
|
|||||||||
| 著者名(英) |
Takuro, Fujii
× Takuro, Fujii
× Tomoki, Hamagami
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 機械学習システムは訓練データとテストデータが同一の分布に従うものと仮定した状況下で動作する場合が多い．しかし，それらの分布は異なることが多く，ドメインシフトにより実用時に性能が低下してしまうという問題がある．本論文では，自然言語処理分野におけるドメインシフトの課題を解決するために，事前学習済み言語モデル（PLM）のFine-Tuningプロセスに着目した教師なしドメイン適応（UDA）に取り組んだ．本論文はPLMのFine-Tuningプロセスにおいて，正規分布に従う低次元の特徴量を獲得すると同時にノイズを付与するGaussian Layerを提案し，タスクヘッドに適用することでドメインシフトを軽減する．実験結果より，Gaussian Layerは特にソース・ターゲットドメイン距離が遠いより困難な設定で優位であることが確認された．また，分布整合分析より，Gaussian Layerは従来のUDA手法と比較してソース・ターゲットドメイン分布を整合することが確認でき，ドメイン不変な表現を獲得できることを示した． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | In machine learning systems, it is often assumed that the train and test data follow the same distribution. However, they often follow different distributions, leading to a decrease in performance due to domain shift. In this paper, we study unsupervised domain adaptation (UDA) focusing on the fine-tuning process of pre-trained language models (PLM) to reduce domain shift in the natural language processing field. We propose Gaussian Layer which obtains low-dimensional features that follow a normal distribution and simultaneously adds noise, and apply it to the task head. From experimental results, we show that Gaussian Layer is superior to an existing UDA method in difficult settings where the distance between source and target domain is far apart. Additional analysis shows that Gaussian Layer can align source and target distributions better than an existing UDA method, indicating that it can obtain domain-invariant representations. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00116647 | |||||||||
| 書誌情報 |
情報処理学会論文誌 巻 64, 号 12, p. 1668-1677, 発行日 2023-12-15 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 1882-7764 | |||||||||
| 公開者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
