最大エントロピー法を用いた単語bigramの推定

• Item type: SIG Technical Reports(1)
• 公開日: 1996-11-18
• タイトル: 最大エントロピー法を用いた単語bigramの推定
• タイトル / 言語: en
• タイトル: A Maximum Entropy Model for Estimating Lexical Bigrams
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学大学院情報理工学研究科
• 著者所属: 東京工業大学大学院情報理工学研究科
• 著者所属: 東京工業大学大学院情報理工学研究科
• 著者所属: 東京工業大学大学院情報理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Engineering Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Engineering Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Engineering Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Engineering Tokyo Institute of Technology
• 著者名: 白井, 清昭; 乾, 健太郎; 徳永, 健伸; 田中, 穂積
• 著者名(英): Sirai, Kiyoaki; Inui, Kentaro; Tokunaga, Takenobu; Tanaka, Hozumi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 単語bigramを推定する際には，一般にデータがスパースであるので，何らかのスムージングが必要となる．本稿では，シソーラスを利用した単語の抽象化によるスムージングの手法を分類し，それらとスムージングの結果得られる単語bigramの品質との関係について考察した．そして，最大エントロピー法による確率モデルの推定方法が単語bigramの推定に有効であることに着目した．また，最大エントロピー法をそのまま単語bigramの推定に利用するには計算量が大きいという問題点を解決するために，これを高速化するいくつかの手法を提案した．推定した単語bigramを用いて複合名詞の解析実験を行い，提案した手法の有効性を確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: To estimate lexical bigram distribution, smoothing methods are generally applied to overcome concerns of data sparseness. First, we discuss the relation between smoothing methods using a thesaurus and the quality of lexical bigram distribution estimated by them. We conclude that maximum entropy methods are suitable for estimating lexical bigram distribution. As the computational cost associated with maximum entropy methods is too large for lexical bigram distribution estimation, we propose several methods to suppress the overhead. We conducted an experiment to analyze Japanese compound nouns, and the result indicated that our method is better than existing smoothing methods.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 情報処理学会研究報告自然言語処理（NL）; 巻 1996, 号 114(1996-NL-116), p. 21-28, 発行日 1996-11-18
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会