| Item type |
SIG Technical Reports(1) |
| 公開日 |
2021-11-24 |
| タイトル |
|
|
タイトル |
簡易小型化BERTを利用した日本語構文解析 |
| タイトル |
|
|
言語 |
en |
|
タイトル |
Japanese parsing using simplified miniaturized BERT |
| 言語 |
|
|
言語 |
jpn |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
深層学習モデル |
| 資源タイプ |
|
|
資源タイプ識別子 |
http://purl.org/coar/resource_type/c_18gh |
|
資源タイプ |
technical report |
| 著者所属 |
|
|
|
茨城大学大学院理工学研究科情報工学専攻 |
| 著者所属 |
|
|
|
茨城大学大学院理工学研究科情報工学専攻 |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者所属(英) |
|
|
|
en |
|
|
Ibaraki University |
| 著者名 |
河野, 慎司
新納, 浩幸
|
| 著者名(英) |
Shinji, Kono
Hiroyuki, Shinnou
|
| 論文抄録 |
|
|
内容記述タイプ |
Other |
|
内容記述 |
BERT は fine-tuning することで様々な NLP タスクに対して高精度を出せる事前学習済みモデルであるが，fine-tuning には多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．本論文では日本語構文解析に対して，BERT の一部の層を削除した簡易小型化 BERT の利用を提案する．実験では，京都大学ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の BERT とそこから構築した簡易小型化 BERT の解析精度と処理時間を比較した．提案する簡易小型化 BERT では，京大版の BERT からの精度劣化をウェブコーパスで 0.2%，テキストコーパスで 0.79% に押さえながら，学習時間は 82%，推論時間はウェブコーパスで 66%，テキストコーパスで 84% まで削減することができた． |
| 書誌レコードID |
|
|
収録物識別子タイプ |
NCID |
|
収録物識別子 |
AN10442647 |
| 書誌情報 |
研究報告音声言語情報処理（SLP）
巻 2021-SLP-139,
号 20,
p. 1-5,
発行日 2021-11-24
|
| ISSN |
|
|
収録物識別子タイプ |
ISSN |
|
収録物識別子 |
2188-8663 |
| Notice |
|
|
|
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. |
| 出版者 |
|
|
言語 |
ja |
|
出版者 |
情報処理学会 |
IPSJ-SLP21139020.pdf (941.2 kB)
