WEKO3
アイテム
BERTのMaskしないMasked Language ModelによるData Augmentation
https://ipsj.ixsq.nii.ac.jp/records/214121
https://ipsj.ixsq.nii.ac.jp/records/2141218687a40d-0da0-4735-b405-5a0f838a7793
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SLP21139027.pdf (1.0 MB)
|
Copyright (c) 2021 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2021-11-24 | |||||||||
| タイトル | ||||||||||
| タイトル | BERTのMaskしないMasked Language ModelによるData Augmentation | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | データ拡張・ラベリング | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 金沢工業大学 | ||||||||||
| 著者所属 | ||||||||||
| 金沢工業大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Kanazawa Institute of Technology | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Kanazawa Institute of Technology | ||||||||||
| 著者名 |
有田, 智也
× 有田, 智也
× 松井, くにお
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 自然言語処理では簡単な Data Augmentation の手法として，文中の名詞や動詞を類義語で置き換える方法が用いられることがある．類義語取得の方法としては BERT などの事前学習モデルでの学習時に利用されている，Masked Language Model を利用する手法がある．しかし Masked Language Model により予測される語は類義語ではなく，文脈的な自然な語が予測されるため，類義語置換の方法として適切でない．そのため本研究では BERT に入力文を Mask せずに入力し，類義語を予測する手法を提案する．実験では国会予算委員会での議員の発言に，要約として適当な発言か適切な発言でないかの 2 つのラベルを付与したデータに対して，WordNet，fastText，BERT，ELECTRA で Augmentation を行い，ラベルの予測精度を比較した．実験の結果 WordNet で Augmentation した場合，最も正解率が高かった．また BERT に Mask せずに文章を入力し類義語を予測した場合，Mask した場合に比べて 2.3% 正解率が向上した． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10442647 | |||||||||
| 書誌情報 |
研究報告音声言語情報処理（SLP） 巻 2021-SLP-139, 号 27, p. 1-4, 発行日 2021-11-24 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8663 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
