単語およびクラスn - gram作成のためのツールキット

• Item type: SIG Technical Reports(1)
• 公開日: 2000-12-21
• タイトル: 単語およびクラスn - gram作成のためのツールキット
• タイトル / 言語: en
• タイトル: Statistical Language Model Toolkit for Word and Class N - gram
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 山形大学工学部
• 著者所属: 山形大学工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Yamagata University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Yamagata University
• 著者名: 伊藤, 彰則; 好田, 正紀
• 著者名(英): Akinori, Ito; Masaki, Kohda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 単語n-gramとクラスn-gramが作成可能なツールキットを作成した．このツールキットは，CMU-Cambridge SLM Toolkitとコマンドレベルで互換性があり，ARPA言語モデルを作成することができる．また，n-gram出現回数の混合による言語モデルや，線形結合による言語モデルの組み合わせをサポートしている．言語モデルの組み合わせはAPIレベルでサポートされているので，本ツールキットのライブラリを利用すれば，組み合わせ言語モデルを使ったシステムを手軽に作ることができる．本ツールを使った実験として，毎日新聞6年分を用いた言語モデルの評価実験を行った．単語モデルと品詞モデルのさまざまな組み合わせを比較した結果，単語trigramに品詞trigramを組み合わせることで，パープレキシティが若干改善できることがわかった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper describes a statistical language model toolkit for word and class-based n-gram. This toolkit has command-level compatibility with CMU-Cambridge SLM Toolkit, and supports ARPA-style language model. Furthermore, the toolkit supports class n-gram and n-gram count mixture as well as combined language model using liner interpolation. As the Ianguage model combination is supported within the API level, the SLM library in this toolkit enables any tool to exploit the LM combination. To demonstrate the potential of the toolkit, several language models are created from six-year Mainichi Shimbun database. We evaluated verious combination of word n-gram and POS n-gram, and we found that the combination of word trigram and POS trigram reasonably improves the perplexity.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 情報処理学会研究報告音声言語情報処理（SLP）; 巻 2000, 号 119(2000-SLP-034), p. 185-190, 発行日 2000-12-21
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会