ログイン 新規登録
言語:

WEKO3

  • トップ
  • ランキング
To
lat lon distance
To

Field does not validate



インデックスリンク

インデックスツリー

メールアドレスを入力してください。

WEKO

One fine body…

WEKO

One fine body…

アイテム

  1. 研究報告
  2. 自然言語処理(NL)
  3. 2025
  4. 2025-NL-263

知識蒸留モデルと合意をとる頑健な行列補完を用いた高速な確率的最小ベイズリスク復号

https://ipsj.ixsq.nii.ac.jp/records/2001001
https://ipsj.ixsq.nii.ac.jp/records/2001001
ff83fe94-259d-47ad-ab78-80695c78dc5d
名前 / ファイル ライセンス アクション
IPSJ-NL25263023.pdf IPSJ-NL25263023.pdf (1004.4 KB)
 2027年3月1日からダウンロード可能です。
Copyright (c) 2025 by the Information Processing Society of Japan
非会員:¥660, IPSJ:学会員:¥330, NL:会員:¥0, DLIB:会員:¥0
Item type SIG Technical Reports(1)
公開日 2025-03-01
タイトル
言語 ja
タイトル 知識蒸留モデルと合意をとる頑健な行列補完を用いた高速な確率的最小ベイズリスク復号
言語
言語 jpn
キーワード
主題Scheme Other
主題 数理モデルと評価基盤
資源タイプ
資源タイプ識別子 http://purl.org/coar/resource_type/c_18gh
資源タイプ technical report
著者所属
奈良先端科学技術大学院大学
著者所属
NTTコミュニケーション科学基礎研究所
著者所属
奈良先端科学技術大学院大学
著者所属
奈良先端科学技術大学院大学
著者所属
奈良先端科学技術大学院大学
著者所属(英)
en
Nara Institute of Science and Technology
著者所属(英)
en
NTT Communication Science Laboratories
著者所属(英)
en
Nara Institute of Science and Technology
著者所属(英)
en
Nara Institute of Science and Technology
著者所属(英)
en
Nara Institute of Science and Technology
著者名 夏見,昂樹

× 夏見,昂樹

夏見,昂樹

Search repository
出口,祥之

× 出口,祥之

出口,祥之

Search repository
坂井,優介

× 坂井,優介

坂井,優介

Search repository
上垣外,英剛

× 上垣外,英剛

上垣外,英剛

Search repository
渡辺,太郎

× 渡辺,太郎

渡辺,太郎

Search repository
論文抄録
内容記述タイプ Other
内容記述 機械翻訳タスクにおいて,最小ベイズリスク(minimum bayes risk; MBR)復号は出力候補間を評価指標を用いて評価し,この結果を復号に利用することで機械翻訳の品質向上を可能とする手法である.しかし,MBR復号は全候補文と機械翻訳モデルを用いて作成した擬似的な参照文である擬似参照文間に対して,評価指標によるスコアを算出する必要があり,候補文数と参照文数ともにNであるとするとO(N2)の計算コストを要する.さらに人手評価との相関が高い深層学習に基づく評価指標を用いた場合はより低速となる.MBR復号が低速である問題に対し,確率的最小ベイズリスク(Probabilistic MBR; PMBR)復号では,候補文と擬似参照文間の一部スコアから,交互最小二乗法(alternating least squares; ALS)アルゴリズムを用いた行列補完を行い,全候補・擬似参照文間のスコアを近似的に算出することで高速化した.しかし,PMBR復号においても,深層学習に基づく評価指標によるスコアの算出に大きな計算コストを要しており,高速化のボトルネックとなっている.本研究では,深層学習に基づく評価指標モデルとその評価指標モデルを高速にした知識蒸留モデルを活用し,元のモデルの高精度だが低速である特徴とその知識蒸留モデルの低精度だが高速の特徴を活用し,互いに合意をとるように行列補完を行うことで,高速かつ高品質な復号を実現する.WMT’23翻訳タスクの英→独の言語方向での翻訳実験を行ったところ,従来のMBR復号と同等性能を達成しつつ,高速な確率的最小ベイズリスク(PMBR)復号よりも約+25%の高速化を達成した.また,MBR復号の全候補文と全擬似参照文間のスコアに対して,提案手法とPMBR復号それぞれで近似度を測定した結果,提案手法はPMBR復号よりも高い精度で近似できることを確認した.
書誌レコードID
収録物識別子タイプ NCID
収録物識別子 AN10115061
書誌情報 研究報告自然言語処理(NL)

巻 2025-NL-263, 号 23, p. 1-6, 発行日 2025-03-01
ISSN
収録物識別子タイプ ISSN
収録物識別子 2188-8779
Notice
SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
出版者
言語 ja
出版者 情報処理学会
戻る
0
views
See details
Views

Versions

Ver.1 2025-02-25 05:35:45.538820
Show All versions

Share

Mendeley Twitter Facebook Print Addthis

Cite as

エクスポート

OAI-PMH
  • OAI-PMH JPCOAR
  • OAI-PMH DublinCore
  • OAI-PMH DDI
Other Formats
  • JSON
  • BIBTEX

Confirm


Powered by WEKO3


Powered by WEKO3