2026-06-13T19:04:27Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00214083 2025-01-19T16:54:31Z 1164:4179:10535:10759

簡易小型化BERTを利用した日本語構文解析 Japanese parsing using simplified miniaturized BERT 河野, 慎司 新納, 浩幸 Shinji, Kono Hiroyuki, Shinnou 深層学習モデル BERT は fine-tuning することで様々な NLP タスクに対して高精度を出せる事前学習済みモデルであるが，fine-tuning には多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．本論文では日本語構文解析に対して，BERT の一部の層を削除した簡易小型化 BERT の利用を提案する．実験では，京都大学ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の BERT とそこから構築した簡易小型化 BERT の解析精度と処理時間を比較した．提案する簡易小型化 BERT では，京大版の BERT からの精度劣化をウェブコーパスで 0.2%，テキストコーパスで 0.79% に押さえながら，学習時間は 82%，推論時間はウェブコーパスで 66%，テキストコーパスで 84% まで削減することができた． 情報処理学会 2021-11-24 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/214083 2188-8779 AN10115061 研究報告自然言語処理（NL） 2021-NL-251 20 1 5 https://ipsj.ixsq.nii.ac.jp/record/214083/files/IPSJ-NL21251020.pdf application/pdf 941.2 kB 2023-11-24