Masked Language Modelingを用いたReplaced Token Detection型事前学習の汎化性の改善検討

• Item type: SIG Technical Reports(1)
• 公開日: 2021-09-21
• タイトル: Masked Language Modelingを用いたReplaced Token Detection型事前学習の汎化性の改善検討
• タイトル / 言語: en
• タイトル: A Study on Improvement of Generalizability of Replaced Token Detection Pre-Training Using Masked Language Modeling
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 富士通株式会社
• 著者所属: 富士通株式会社
• 著者所属: 富士通株式会社
• 著者所属: 富士通株式会社
• 著者所属(英): en
• 著者所属(英): Fujitsu Ltd.
• 著者所属(英): en
• 著者所属(英): Fujitsu Ltd.
• 著者所属(英): en
• 著者所属(英): Fujitsu Ltd.
• 著者所属(英): en
• 著者所属(英): Fujitsu Ltd.
• 著者名: 麻岡, 正洋; 坂井, 靖文; 笠置, 明彦; 田原, 司睦
• 著者名(英): Masahiro, Asaoka; Yasufumi, Sakai; Akihiko, Kasagi; Tsuguchika, Tabaru
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 小規模 Masked Language Modeling（MLM）の Generator による入力の類似文生成と，Replaced Token Detection（RTD）で Generator が書き換えた場所を推定する Discriminator を組み合わせた ELECTRA が，BERT などの既存事前学習手法に比べて同程度の精度を高速に学習できることが報告されている．しかし，我々は日本語ベンチマークにおいて ELECTRA の精度が頭打ちになるという事象を観測しており，この原因として，RTD が入力を書き換えたか書き換えていないかの二択問題という簡単な問題を解いており，汎化性が低くなるからではないかという仮説を立てた．そこで，我々は回答候補の多い MLM を RTD 学習に混ぜることで汎化性を高くすることを試みた．具体的には Generator が書き換えた文に再度マスクをして，Discriminator にマスクをした箇所は MLM として，マスクをしていない箇所は RTD として学習する方法を提案する．この方法によって，RTD の事前学習モデルの精度を向上できるかどうかを検証した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: ELECTRA is a learning method that combines similar sentence generation by generator based on masked language modeling (MLM) and replaced token detection (RTD) by discriminator. It has been reported that ELECTRA can learn the same level of accuracy faster than existing pre-training methods such as BERT. But we observed an event in which the accuracy of ELECTRA was not high in the Japanese benchmark. We hypothesized one cause for this; because RTD solves the simple twochoice problem of whether the input is rewritten or not, it reduces the generalizability of pre-training. Therefore, we tried to improve generalization by mixing MLM which has many choices with RTD. Specifically, we propose a pre-training method that masks generator's output again, makes discriminator learn the masked position as MLM and the unmasked position as RTD. We verified whether the accuracy of the pre-training model of RTD can be improved.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2021-NL-250, 号 6, p. 1-5, 発行日 2021-09-21
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会