2024-03-29T10:42:47Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:000574992023-04-27T10:00:04Z01164:05159:05210:05212
文字正解精度と相関の高い補正パープレキシティの算出法A new method for computing perplexity which correlates with character accuracyjpnhttp://id.nii.ac.jp/1001/00057499/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=57499&item_no=1&attribute_id=1&file_no=1Copyright (c) 2000 by the Information Processing Society of Japan(株)東芝研究開発センター(株)東芝研究開発センター(株)東芝研究開発センター(株)東芝研究開発センター(株)東芝研究開発センター永江, 尚義松浦, 博田中, 信一正井, 康之山中, 紀子言語モデルの評価尺度として一般にパープレキシティが使用されている。また、未知語を考慮する場合には補正パープレキシティが使用されるが、未知語を扱う際に見出しの内容が考慮されていない。そのため、性能測定の単位として文字を使用した場合、認識性能とパープレキシティとの相関が弱くなる問題がある。提案する方法では、未知語の部分を文字単位に分割し、各文字間の出現確率の積を未知語に対する出現確率として使用することによって、未知語の見出しを考慮する。文字正解精度とパープレキシティとの相関を多項式回帰モデルを使って算出したところ、2次式モデルにおける決定係数の値が50.1%から71.1%に向上し、提案方法の有効性が示された。This paper describes a method for computing perplexity which correlates with character accuracy. The proposed method of computing perplexity splits an unknown word into a sequence of characters and substitutes the product of conditional probability-based characters for conditional probability of an unknown word. In the case that the relationship between character accuracy and perplexity is computed using polynomial regression models, the value of a coefficient of determination for a quadratic model improved from 50.1% to 71.1% by using the proposed methoed for computing perplexity.AN10442647情報処理学会研究報告音声言語情報処理(SLP)2000101(2000-SLP-033)43482000-10-272009-06-30