潜在トピックを考慮したBayes n-gram言語モデル

• Item type: SIG Technical Reports(1)
• 公開日: 2012-08-26
• タイトル: 潜在トピックを考慮したBayes n-gram言語モデル
• タイトル / 言語: en
• タイトル: Latent Topic Aware Bayesian n-gram Language Model
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 言語モデル・解析
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 統計数理研究所
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, University of Tokyo
• 著者所属(英): en
• 著者所属(英): The Institute of Statistical Mathematics
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, University of Tokyo
• 著者名: 能地, 宏; 持橋, 大地; 石塚, 満
• 著者名(英): Noji, Hiroshi; Mochihashi, Daichi; Ishizuka, Mitsuru
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 文書の潜在トピックを捉え，トピックに応じた適切なnグラムを用いて予測を行うBayes的なnグラム言語モデルを提案する．文章には，単語の出現が文書のトピックに依存して決まる内容語と，文法的な関係のみで決まる機能語が存在する．我々はこれらの単語の出現が，文脈によっておおまかに決まることに着目し，適切な箇所でのみトピックを考慮した予測を行うモデルとして，2種類のモデルを提案し，比較を行う．トピック別のnグラムモデルを，通常のGibbsサンプリングで学習したのではすぐに局所解に陥ってしまうことを実験的に示し，それを回避するための新しいBlocked Gibbsサンプリングを提案する．提案法は，パープレキシティの比較において，Unigram Rescalingと同等以上の性能を示しながら，予測時間の大幅な改善を行うことを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We study n-gram language models that can leverage latent topics of a given document, and predict words using n-gram models of these topics. Words in a sentence will appear because of short-range syntactic constraints or semantic dependencies of the document. We observe that whether next word given some context is function word or content word can roughly be predictable and propose two novel n-gram language models that predict words using topic-specific n-grams only when context has strong topicality. To avoid getting stucked in a local minima, novel Blocked Gibbs sampling based on a table in the internal Chinese Restaurant is proposed. We show that our models give superior or comparative performance than the traditional method, Unigram Rescaling in terms of test set perplexity, while drastically reduce the time for prediction.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2012-NL-208, 号 4, p. 1-11, 発行日 2012-08-26
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会