@techreport{oai:ipsj.ixsq.nii.ac.jp:00213148,
 author = {麻岡, 正洋 and 坂井, 靖文 and 笠置, 明彦 and 田原, 司睦 and Masahiro, Asaoka and Yasufumi, Sakai and Akihiko, Kasagi and Tsuguchika, Tabaru},
 issue = {6},
 month = {Sep},
 note = {小規模 Masked Language Modeling（MLM）の Generator による入力の類似文生成と，Replaced Token Detection（RTD）で Generator が書き換えた場所を推定する Discriminator を組み合わせた ELECTRA が，BERT などの既存事前学習手法に比べて同程度の精度を高速に学習できることが報告されている．しかし，我々は日本語ベンチマークにおいて ELECTRA の精度が頭打ちになるという事象を観測しており，この原因として，RTD が入力を書き換えたか書き換えていないかの二択問題という簡単な問題を解いており，汎化性が低くなるからではないかという仮説を立てた．そこで，我々は回答候補の多い MLM を RTD 学習に混ぜることで汎化性を高くすることを試みた．具体的には Generator が書き換えた文に再度マスクをして，Discriminator にマスクをした箇所は MLM として，マスクをしていない箇所は RTD として学習する方法を提案する．この方法によって，RTD の事前学習モデルの精度を向上できるかどうかを検証した．, ELECTRA is a learning method that combines similar sentence generation by generator based on masked language modeling (MLM) and replaced token detection (RTD) by discriminator. It has been reported that ELECTRA can learn the same level of accuracy faster than existing pre-training methods such as BERT. But we observed an event in which the accuracy of ELECTRA was not high in the Japanese benchmark. We hypothesized one cause for this; because RTD solves the simple twochoice problem of whether the input is rewritten or not, it reduces the generalizability of pre-training. Therefore, we tried to improve generalization by mixing MLM which has many choices with RTD. Specifically, we propose a pre-training method that masks generator's output again, makes discriminator learn the masked position as MLM and the unmasked position as RTD. We verified whether the accuracy of the pre-training model of RTD can be improved.},
 title = {Masked Language Modelingを用いたReplaced Token Detection型事前学習の汎化性の改善検討},
 year = {2021}
}