ニューラル機械翻訳における埋め込み層の教師なし事前学習

• Item type: SIG Technical Reports(1)
• 公開日: 2017-10-17
• タイトル: ニューラル機械翻訳における埋め込み層の教師なし事前学習
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械翻訳(1)
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学生産技術研究所
• 著者所属: 東京大学生産技術研究所
• 著者名: 根石, 将人; 佐久間, 仁; 遠田, 哲史; 石渡, 祥之佑; 吉永, 直樹; 豊田, 正史
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 大規模なニューラルネットワークの最適化では，広大な探索範囲とその非凸性により，得られる局所最適解の質とその収束速度は各パラメタの初期値に強く依存する．本研究では，Encoder-Decoder モデルを利用した機械翻訳において，より良い局所最適解への収束と学習の高速化を目的とし，モデルの中で単語を単語埋め込みに変換する埋め込み層の低コストな事前学習方法を提案する．Encoder-Decoder モデルの事前学習の対象としては，埋め込み層以外にも隠れ層や出力層が考えられるが，埋め込み層には単純なニューラル言語モデルを用いて教師無しで高速に学習可能であるという利点が存在する．そこで本論文で提案する方法では，既存の言語モデルにより翻訳タスクの対訳コーパスのみで低コストに事前学習した単語埋め込みを用いて Encoder-Decoder モデルの埋め込み層の初期化を行う．実験では，ASPEC 英日翻訳タスクの評価データを用いて，事前学習する単語埋め込みの学習データの種類 （一般ドメイン，翻訳タスクの学習データ），学習手法 （CBOW，Skip-gram，SI-Skip-gram，GloVe），初期化する対象の埋め込み層 （Encoder，Decoder），初期化後の更新の有無などを変え，モデルの学習速度と翻訳性能の観点で初期化の効果を検証する．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2017-NL-233, 号 1, p. 1-8, 発行日 2017-10-17
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会