3種類の辞書による自動単語分割の精度向上

• Item type: SIG Technical Reports(1)
• 公開日: 2009-09-21
• タイトル: 3種類の辞書による自動単語分割の精度向上
• タイトル / 言語: en
• タイトル: Automatic Word Segmentation using Three Types of Dictionaries
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 単語・複合語
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都大学学術情報メディアセンター
• 著者所属: 京都大学学術情報メディアセンター
• 著者所属(英): en
• 著者所属(英): Academic Center for Computing and Media Studies, Kyoto University
• 著者所属(英): en
• 著者所属(英): Academic Center for Computing and Media Studies, Kyoto University
• 著者名: 森, 信介; 小田, 裕樹
• 著者名(英): Shinsuke, Mori; Hiroki, Oda
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では、日本語の文の自動単語分割をある分野に適用する現実的な状況において、精度向上を図るための新しい方法を提案する。提案手法の最大の特徴は、複合語を参照することが可能な点である。複合語とは、内部の単語境界情報がなく、その両端も自動分割器の学習コーパスの作成に用いられた単語分割基準と必ずしも合致しない文字列である。このような複合語は、自然言語処理をある分野に適用する多くの場合に、利用可能な数少ない言語資源である。提案する自動単語分割器は、複合語に加えて単語や単語列を参照することも可能である。これにより、少ない人的コストでさらなる精度向上を図ることが可能である。実験では、これらの辞書を参照する自動単語分割システムを最大エントロピー法を用いて構築し、それぞれの辞書を参照する場合の自動単語分割の精度を比較した。実験の結果、本論文で提案する自動単語分割器は、複合語や単語列を参照することにより、対象野においてより高い分割精度を実現することが確認された。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper we propose a new method for automatically segmenting a sentence in Japanese into a word sequence. The main advantage of our method is that the segmenter is, by using a maximum entropy framework, capable of referring to a list of compound words, i.e. word sequences without boundary information. This allows for a higher segmentation accuracy in many real situations where only some electronic dictionaries, whose entries are not consistent with the word segmentation standard, are available. Our method is also capable of exploiting a list of word sequences. It allows us to obtain a far greater accuracy gain with low manual annotation cost. We prepared segmented corpora, a compound word list, and a word sequence list. Then we conducted experiments to compare automatic word segmenters referring to various types of dictionaries. The results showed that the word segmenter we proposed is capable of exploiting a list of compound words and word sequences to yield a higher accuracy under realistic situations.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2009-NL-193, 号 14, p. 1-6, 発行日 2009-09-21
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会