WEKO3
アイテム
事前訓練済みBERTエンコーダーを再利用したニューラル機械翻訳
https://ipsj.ixsq.nii.ac.jp/records/198842
https://ipsj.ixsq.nii.ac.jp/records/1988423daf4d27-2dc2-4af2-875e-90f363fdcb0a
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL19241001.pdf (423.1 kB)
|
Copyright (c) 2019 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2019-08-22 | |||||||||
| タイトル | ||||||||||
| タイトル | 事前訓練済みBERTエンコーダーを再利用したニューラル機械翻訳 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Neural Machine Translation that Recycles Pre-trained BERT Encoder | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 国立研究開発法人情報通信研究機構 | ||||||||||
| 著者所属 | ||||||||||
| 国立研究開発法人情報通信研究機構 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| National Institute of Information and Communications Technology | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| National Institute of Information and Communications Technology | ||||||||||
| 著者名 |
今村, 賢治
× 今村, 賢治
× 隅田, 英一郎
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 本稿では，事前訓練済みの BERT （Bidirectional Encoder Representations from Transformer） モデルを Transformer ベースのニューラル機械翻訳 （NMT） に適用する．単言語のタスクと異なり，NMT の場合，BERT のモデルパラメータ （訓練済み） に比べ，デコーダー （未学習） のパラメータ数が多い．そこで，まず BERT エンコーダーのパラメータを固定して，未学習パラメータのみを訓練し，その後，全体を微調整する 2 段階最適化を行う．実験では，直接微調整したときには BLEU スコアが極めて低くなったのに対して，2 段階最適化では訓練が成功した．その結果，Transformer の基本モデルや，モデル構造が同じ事前訓練なしの Transformer に比べても BLEU スコアが向上することが確認された．また，少資源設定で，より効果が高いことが確認された． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10115061 | |||||||||
| 書誌情報 |
研究報告自然言語処理（NL） 巻 2019-NL-241, 号 1, p. 1-8, 発行日 2019-08-22 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8779 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
