WEKO3
アイテム
評価スコアとしての適切な類似度を得るためのベクトル変換モデルを用いた自動評価法
https://ipsj.ixsq.nii.ac.jp/records/241632
https://ipsj.ixsq.nii.ac.jp/records/241632348c51f6-57d5-46b6-8186-96eb78fc4d73
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-SLP24154012.pdf (539.6 kB)
2026年12月5日からダウンロード可能です。
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
|
| 非会員：¥660, IPSJ:学会員：¥330, SLP:会員：¥0, DLIB:会員：¥0 | ||
| Item type | SIG Technical Reports(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-12-05 | |||||||||
| タイトル | ||||||||||
| タイトル | 評価スコアとしての適切な類似度を得るためのベクトル変換モデルを用いた自動評価法 | |||||||||
| タイトル | ||||||||||
| 言語 | en | |||||||||
| タイトル | Automatic evaluation metric using vector transformation model to obtain suitable similarity as evaluation score | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | ポスターセッション | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||||
| 資源タイプ | technical report | |||||||||
| 著者所属 | ||||||||||
| 北海学園大学 | ||||||||||
| 著者所属 | ||||||||||
| 北海学園大学 | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Hokkai-Gakuen University | ||||||||||
| 著者所属(英) | ||||||||||
| en | ||||||||||
| Hokkai-Gakuen University | ||||||||||
| 著者名 |
藤﨑, 晴大
× 藤﨑, 晴大
× 越前谷, 博
|
|||||||||
| 著者名(英) |
Haruto, Fujisaki
× Haruto, Fujisaki
× Hiroshi, Echizen'ya
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | 本稿では機械翻訳のための参照訳を用いない新たな自動評価法を提案する．提案手法では，原文と変換された訳文の文ベクトル間のコサイン類似度を求めることで自動スコアを得る．その際，訳文の文ベクトルは原文の文ベクトルとのコサイン類似度が適切な自動スコアとなるようにベクトル変換モデルにより変換される．本稿ではベクトル変換モデルの構築について述べる．さらに，WMT22 の自動評価タスクデータを用いて行った性能評価実験の結果についても述べる．メタ評価の結果，DA スコアにおいて提案手法の相関係数が高い値を示し，有効性が確認された． | |||||||||
| 論文抄録(英) | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | In this paper, we propose a new reference-free automatic evaluation metric for machine translation. In the proposed method, the automatic score is based on the cosine similarity between the sentence vectors of the source and the transformed hypothesis. In that case, the sentence vector of the hypothesis is transformed by the vector transformation model. Moreover, the cosine similarity between the sentence vectors of the source and hypothesis corresponds to suitable automatic score. This paper describes the construction of a vector transformation model, and the results of evaluation experiments using WMT22 metrics task data. Through the meta-evaluation, the correlation coefficients of the proposed metrics are high. Therefore, we confirmed the effectiveness of the proposed metrics. | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN10442647 | |||||||||
| 書誌情報 |
研究報告音声言語情報処理（SLP） 巻 2024-SLP-154, 号 12, p. 1-6, 発行日 2024-12-05 |
|||||||||
| ISSN | ||||||||||
| 収録物識別子タイプ | ISSN | |||||||||
| 収録物識別子 | 2188-8663 | |||||||||
| Notice | ||||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
