尤度差に基づくn-gram言語モデル評価のための指標

• Item type: Journal(1)
• 公開日: 2002-07-15
• タイトル: 尤度差に基づくn-gram言語モデル評価のための指標
• タイトル / 言語: en
• タイトル: A Metric Based on Likelihood Difference for n-gram Language Model Evaluation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 特集：音声言語情報処理とその応用
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• その他タイトル / その他のタイトル: 音声認識用言語モデル
• 著者所属: 山形大学工学部／現在，東北大学大学院工学研究科
• 著者所属: 山形大学工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Yamagata University/Presently with Graduate School of Engineering, Tohoku University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Yamagata University
• 著者名: 伊藤, 彰則; 好田, 正紀
• 著者名(英): Akinori, Ito; Masaki, Kohda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: N-gramをはじめとする統計的言語モデルの評価尺度として，パープレキシティやクロスエントロピーがこれまで広く用いられてきた．しかし，ドメイン外テキストを併用する言語モデルや混合言語モデルなどの複雑な言語モデルに関しては，認識システムの単語正解精度とこれらの評価尺度との相関が悪いという結果が近年報告されている．本稿では，パープレキシティに代わりうる評価尺度LEAについて検討した結果を報告する．パープレキシティやクロスエントロピーが評価テキストの単語の出現確率のみを用いるのに対して，ここで提案する指標は，評価テキストに出現する単語の言語尤度と，その単語が出現した文脈における最大言語尤度との差に基づいている．この尤度差から各単語の認識確率を推定し，その平均を算出する．音声認識シミュレーション実験および実音声認識実験の結果と，ここで提案した指標との相関を調べてみたところ，クロスエントロピーに比べて高い相関を示すことが確認された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Perplexity and cross entropy have been widely used as an evaluation metric of stochastic language model.Recently,several papers reported that correlation between these metrics and word error rate was poor when complicated language models were used,such as mixture model.In this paper, a new metric called LEA for n-gram language model is proposed,that is intended to substitute perplexity.The major difference of the proposed metric from perplexity is that,while perplexity utilizes probabilities of word occurences in the evaluation text,the proposed metric accumulates differences of linguistic scores between a word in the evaluation text and the maximum score available in that context.The word recognition probability is estimated using the score difference.Then the average of the probabilities is calculated.Correlation between the proposed metric and word accuracy was investigated against two recognition results through a speech recognition simulator and a real speech recognizer.The result proved that the proposed metric had higher correlation with word accuracy than cross entropy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 43, 号 7, p. 2055-2064, 発行日 2002-07-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764