@techreport{oai:ipsj.ixsq.nii.ac.jp:00214121,
 author = {有田, 智也 and 松井, くにお},
 issue = {27},
 month = {Nov},
 note = {自然言語処理では簡単な Data Augmentation の手法として，文中の名詞や動詞を類義語で置き換える方法が用いられることがある．類義語取得の方法としては BERT などの事前学習モデルでの学習時に利用されている，Masked Language Model を利用する手法がある．しかし Masked Language Model により予測される語は類義語ではなく，文脈的な自然な語が予測されるため，類義語置換の方法として適切でない．そのため本研究では BERT に入力文を Mask せずに入力し，類義語を予測する手法を提案する．実験では国会予算委員会での議員の発言に，要約として適当な発言か適切な発言でないかの 2 つのラベルを付与したデータに対して，WordNet，fastText，BERT，ELECTRA で Augmentation を行い，ラベルの予測精度を比較した．実験の結果 WordNet で Augmentation した場合，最も正解率が高かった．また BERT に Mask せずに文章を入力し類義語を予測した場合，Mask した場合に比べて 2.3% 正解率が向上した．},
 title = {BERTのMaskしないMasked Language ModelによるData Augmentation},
 year = {2021}
}