ニューラル機械翻訳に対する注意言語モデル

• Item type: SIG Technical Reports(1)
• 公開日: 2019-06-06
• タイトル: ニューラル機械翻訳に対する注意言語モデル
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 翻訳
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 首都大学東京大学院システムデザイン研究科
• 著者所属: 首都大学東京大学院システムデザイン研究科
• 著者名: 黒澤, 道希; 小町, 守
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械翻訳はニューラルネットワークの活用により，流暢性の高い出力を得られることが報告された．近年ではさらなる流暢性の向上が行われており，その一つに言語モデルを用いた研究がある．言語モデルを用いる先行研究においては，翻訳機構と言語モデル機構の 2 つを用意し双方の情報を用いており，予測を同尺度もしくは動的に重み付けして出力単語を予測するものや言語モデルの予測に翻訳機構の情報を与えるものがある．しかしながら，機械翻訳においては流暢性の向上だけではなく，妥当性を担保することも求められる．つまり翻訳機構の情報を活用し言語モデル機構の情報を補助的に用いるべきであるが，先行研究においては双方の情報を両方用いて出力単語を予測している．そこで本研究では翻訳機構 （TM） と言語モデル機構 （LM） の2つを用意するが，翻訳機構の予測の補助的要素として言語モデル機構の予測に対してアテンションを取ることにより，妥当性を保持した上で出力を流暢にするモデルを提案する．英日翻訳において言語モデル機構を用いた翻訳の先行研究と比較した結果，BLEU スコアと RIBES スコアが向上することを示した．この結果より，英日ニューラル機械翻訳に対しても言語モデル機構を追加することが有用であり，その中でもアテンションが効果的であることを示した．また，言語モデル機構の予測に対するアテンションと実際の出力を分析することにより，言語モデルが文法的性質を用いて予測を補助するために有用な情報である可能性が高いことを合わせて報告する．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2019-NL-240, 号 13, p. 1-6, 発行日 2019-06-06
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会