2026-04-11T11:33:55Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00241632 2025-01-19T07:35:50Z 1164:5159:11541:11870

評価スコアとしての適切な類似度を得るためのベクトル変換モデルを用いた自動評価法 Automatic evaluation metric using vector transformation model to obtain suitable similarity as evaluation score 藤﨑, 晴大 越前谷, 博 Haruto, Fujisaki Hiroshi, Echizen'ya ポスターセッション 本稿では機械翻訳のための参照訳を用いない新たな自動評価法を提案する．提案手法では，原文と変換された訳文の文ベクトル間のコサイン類似度を求めることで自動スコアを得る．その際，訳文の文ベクトルは原文の文ベクトルとのコサイン類似度が適切な自動スコアとなるようにベクトル変換モデルにより変換される．本稿ではベクトル変換モデルの構築について述べる．さらに，WMT22 の自動評価タスクデータを用いて行った性能評価実験の結果についても述べる．メタ評価の結果，DA スコアにおいて提案手法の相関係数が高い値を示し，有効性が確認された． In this paper, we propose a new reference-free automatic evaluation metric for machine translation. In the proposed method, the automatic score is based on the cosine similarity between the sentence vectors of the source and the transformed hypothesis. In that case, the sentence vector of the hypothesis is transformed by the vector transformation model. Moreover, the cosine similarity between the sentence vectors of the source and hypothesis corresponds to suitable automatic score. This paper describes the construction of a vector transformation model, and the results of evaluation experiments using WMT22 metrics task data. Through the meta-evaluation, the correlation coefficients of the proposed metrics are high. Therefore, we confirmed the effectiveness of the proposed metrics. 情報処理学会 2024-12-05 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/241632 2188-8663 AN10442647 研究報告音声言語情報処理（SLP） 2024-SLP-154 12 1 6 https://ipsj.ixsq.nii.ac.jp/record/241632/files/IPSJ-SLP24154012.pdf application/pdf 539.6 kB 2026-12-05