混合ディリクレ分布パラメータの階層ベイズモデルを用いたスムージング法

• Item type: SIG Technical Reports(1)
• 公開日: 2004-10-22
• タイトル: 混合ディリクレ分布パラメータの階層ベイズモデルを用いたスムージング法
• タイトル / 言語: en
• タイトル: A smoothing method for parameters of Dirichlet mixtures using hierarchical Bayesian models
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 筑波大学システム情報工学研究科
• 著者所属: 筑波大学情報学類
• 著者所属: 筑波大学システム情報工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Systems & Information Engineering, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): Collage of Information Sciences, University of Tsukuba
• 著者所属(英): en
• 著者所属(英): Graduate School of Systems & Information Engineering, University of Tsukuba
• 著者名: 貞光, 九月; 待鳥, 裕介; 山本, 幹雄
• 著者名(英): Kugatsu, Sadamitsu; Yuusuke, Machitori; Mikio, Yamamoto
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 文脈／文書中の話題を利用した適応的言語モデルを検討した。すでに提案している混合ディリクレ分布をユニグラムモデルの事前分布としたモデルは低い混合数(10?20)で最高性能となり、高い混合数では過適応してしまうため性能が悪化する。本稿では、高い混合数でも過適応をある程度抑えるスムージング法を提案し、性能向上を試みる。スムージング法は混合ディリクレ分布のパラメータの事前分布を仮定した階層ベイズモデルを利用した。評価実験によって500混合くらいまでは混合数に応じて性能が向上することを示す。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We have investigated an adaptive language model which is awareof topics of context or documents. In the previous paper,we showed the language model using Dirichlet mixture distribution as a prior of unigram models gained the lowest perplexity at the smallnumber of mixtures. However, the overfitting problem aggravated the perplexity of the models at the large number of mixtures.In this paper, we propose a smoothing method for Dirichlet mixture model to partially solve the overfitting problem.We assume a prior of parameters of Dirichlet mixture, that is, hierarchical Bayesian models, and describe an estimation method for the parameters and hyperparameters. Experimental results show the perplexity of the new model declease monotonically along with the number of mixture.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 情報処理学会研究報告音声言語情報処理（SLP）; 巻 2004, 号 103(2004-SLP-053), p. 1-6, 発行日 2004-10-22
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会