Item type |
SIG Technical Reports(1) |
公開日 |
2021-06-25 |
タイトル |
|
|
タイトル |
BERTを用いた固有表現抽出におけるバッチ能動学習 |
タイトル |
|
|
言語 |
en |
|
タイトル |
Batch Active Learning for BERT-based Named Entity Recognition |
言語 |
|
|
言語 |
jpn |
資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
著者所属 |
|
|
|
Sansan株式会社 |
著者所属 |
|
|
|
Sansan株式会社 |
著者所属(英) |
|
|
|
en |
|
|
Sansan, Inc. |
著者所属(英) |
|
|
|
en |
|
|
Sansan, Inc. |
著者名 |
橋本, 航
髙橋, 寛治
|
著者名(英) |
Wataru, Hashimoto
Kanji, Takahashi
|
論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
固有表現抽出のような自然言語処理タスクにおいて,人手における学習データの作成にはコストがかかる.そのため,効率的なアノテーションのために能動学習の枠組みが有効である.バッチ能動学習は能動学習において一度に複数のデータをサンプリングする問題であり,アノテータへのアクセス回数を減らしたい場合や大規模な深層学習モデルのように一度の学習に時間がかかる場合に特に有効である.一方,バッチ能動学習の枠組みにおいて既存の能動学習手法を適用すると,バッチ内のサンプルの多様性が小さいため効率的に性能向上できないことが知られている.本研究では大規模な事前学習モデルである BERT を用いた固有表現抽出において,モデルへの有用性とデータの多様性を考慮したバッチ能動学習手法を検討した.比較実験の結果,複数のデータセットにおいてランダムなデータ選択よりも効率的に性能向上できることを示した. |
論文抄録(英) |
|
|
内容記述タイプ |
Other |
|
内容記述 |
Human annotation takes high costs in natural language processing tasks such as named entity recognition. Batch active learning is the problem of sampling multiple data in one active learning cycle, and it is especially effective when one wants to reduce the number of accesses to the annotator or when the training takes a long time at a time, such as for deep learning models. On the other hand, applying existing active learning methods for batch active learning cannot improve the performance efficiently due to the lack of diversity of samples in a batch. In this study, we investigate a batch active learning method considering the informativeness for the model and the diversity of the data for named entity recognition using BERT. The results of comparative experiments show that the batch active learning algorithm for named entity recognition improve performance more efficiently than random data selection on multiple datasets. |
書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AA11135936 |
書誌情報 |
研究報告知能システム(ICS)
巻 2021-ICS-203,
号 5,
p. 1-6,
発行日 2021-06-25
|
ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-885X |
Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |