@techreport{oai:ipsj.ixsq.nii.ac.jp:00214114,
 author = {河野, 慎司 and 新納, 浩幸 and Shinji, Kono and Hiroyuki, Shinnou},
 issue = {20},
 month = {Nov},
 note = {BERT は fine-tuning することで様々な NLP タスクに対して高精度を出せる事前学習済みモデルであるが，fine-tuning には多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．本論文では日本語構文解析に対して，BERT の一部の層を削除した簡易小型化 BERT の利用を提案する．実験では，京都大学ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の BERT とそこから構築した簡易小型化 BERT の解析精度と処理時間を比較した．提案する簡易小型化 BERT では，京大版の BERT からの精度劣化をウェブコーパスで 0.2%，テキストコーパスで 0.79% に押さえながら，学習時間は 82%，推論時間はウェブコーパスで 66%，テキストコーパスで 84% まで削減することができた．},
 title = {簡易小型化BERTを利用した日本語構文解析},
 year = {2021}
}