画像生成による疑似教師データを用いたマルチモーダル機械翻訳

• Item type: SIG Technical Reports(1)
• 公開日: 2020-11-25
• タイトル: 画像生成による疑似教師データを用いたマルチモーダル機械翻訳
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: マルチモーダル
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 愛媛大学
• 著者所属: 同志社大学
• 著者所属: 愛媛大学
• 著者名: 岩本, 裕司; 田村, 晃裕; 二宮, 崇
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，機械翻訳の際に，原言語文に加えて関連画像情報を利用することで，翻訳精度の向上を図るマルチモーダルニューラル機械翻訳（Multimodal Neural Machine translation ; MNMT）が注目されている．しかし，このような MNMT モデルの学習には，原言語文，目的言語文，関連画像で構成される 3 つ組データが必要となり，データ数不足が問題となっている．そこで，本研究では 3 つ組データを必要とせず，対訳テキストデータと画像キャプションデータを用いて MNMT モデルを学習する新たな手法を提案する．本手法の大まかな流れとしては，まず画像キャプションデータの各文を対訳テキストデータから訓練されたニューラル機械翻訳（Neural Machine translation ; NMT）モデルで翻訳し，擬似 3 つ組データを作成する．そして，作成した擬似 3 つ組データを用いて，対訳文ペアから画像を生成する text-to-image モデルと MNMT モデルを初期化する．その後，テキストから画像へ変換する text-to-image モデルと MNMT モデルを，逆翻訳形式のフレームワークで交互に繰り返し学習する．本研究の実験では，対訳テキストデータとして Multi30k データセットを，画像キャプションデータとして MSCOCOデータセットを使用した．結果として英独翻訳タスクの評価では，提案した MNMT モデルは画像入力なしの NMT モデルよりも優れており（+1.18 BLEU スコア），また，提案した反復逆翻訳学習方式は初期の MNMTモデルの性能を向上させる（+6.93 BLEU スコア）ことが示された．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2020-SLP-134, 号 6, p. 1-6, 発行日 2020-11-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会