知識蒸留モデルと合意をとる頑健な行列補完を用いた高速な確率的最小ベイズリスク復号

• Item type: SIG Technical Reports(1)
• 公開日: 2025-03-01
• タイトル / 言語: ja
• タイトル: 知識蒸留モデルと合意をとる頑健な行列補完を用いた高速な確率的最小ベイズリスク復号
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 数理モデルと評価基盤
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: NTTコミュニケーション科学基礎研究所
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属: 奈良先端科学技術大学院大学
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): NTT Communication Science Laboratories
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者所属(英): en
• 著者所属(英): Nara Institute of Science and Technology
• 著者名: 夏見,昂樹; 出口,祥之; 坂井,優介; 上垣外,英剛; 渡辺,太郎
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 機械翻訳タスクにおいて，最小ベイズリスク（minimum bayes risk; MBR）復号は出力候補間を評価指標を用いて評価し，この結果を復号に利用することで機械翻訳の品質向上を可能とする手法である．しかし，MBR復号は全候補文と機械翻訳モデルを用いて作成した擬似的な参照文である擬似参照文間に対して，評価指標によるスコアを算出する必要があり，候補文数と参照文数ともにNであるとするとO(N2)の計算コストを要する．さらに人手評価との相関が高い深層学習に基づく評価指標を用いた場合はより低速となる．MBR復号が低速である問題に対し，確率的最小ベイズリスク（Probabilistic MBR; PMBR）復号では，候補文と擬似参照文間の一部スコアから，交互最小二乗法（alternating least squares; ALS）アルゴリズムを用いた行列補完を行い，全候補・擬似参照文間のスコアを近似的に算出することで高速化した．しかし，PMBR復号においても，深層学習に基づく評価指標によるスコアの算出に大きな計算コストを要しており，高速化のボトルネックとなっている．本研究では，深層学習に基づく評価指標モデルとその評価指標モデルを高速にした知識蒸留モデルを活用し，元のモデルの高精度だが低速である特徴とその知識蒸留モデルの低精度だが高速の特徴を活用し，互いに合意をとるように行列補完を行うことで，高速かつ高品質な復号を実現する．WMT’23翻訳タスクの英→独の言語方向での翻訳実験を行ったところ，従来のMBR復号と同等性能を達成しつつ，高速な確率的最小ベイズリスク（PMBR）復号よりも約+25%の高速化を達成した．また，MBR復号の全候補文と全擬似参照文間のスコアに対して，提案手法とPMBR復号それぞれで近似度を測定した結果，提案手法はPMBR復号よりも高い精度で近似できることを確認した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2025-NL-263, 号 23, p. 1-6, 発行日 2025-03-01
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会