くだけた表現を高精度に解析するための正規化ルール自動生成手法

• Item type: Trans(1)
• 公開日: 2010-09-28
• タイトル: くだけた表現を高精度に解析するための正規化ルール自動生成手法
• タイトル / 言語: en
• タイトル: Automatic Rule Generation Approach for Morphological Analysis of Peculiar Expressions on Blog Documents
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 研究論文
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: KDDI研究所
• 著者所属: KDDI研究所
• 著者所属: KDDI研究所
• 著者所属: KDDI研究所
• 著者所属(英): en
• 著者所属(英): KDDI R&D Laboratories, Inc.
• 著者所属(英): en
• 著者所属(英): KDDI R&D Laboratories, Inc.
• 著者所属(英): en
• 著者所属(英): KDDI R&D Laboratories, Inc.
• 著者所属(英): en
• 著者所属(英): KDDI R&D Laboratories, Inc.
• 著者名: 池田, 和史; 柳原, 正; 松本, 一則; 滝嶋, 康弘
• 著者名(英): Kazushi, Ikeda; Tadashi, Yanagihara; Kazunori, Matsumoto; Yasuhiro, Takishima
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: ブログ上の文書には口語的な表現や特有の表記などのくだけた表現が多数含まれるため，一般の形態素解析器を用いても十分な解析精度を得ることはできない．くだけた表現は人手により辞書登録されることが一般的であるが，人的コストの大きさや専門的な知識を必要とすることが課題である．本稿ではくだけた表現を正規な表現に修正することで高精度な形態素解析を実現する手法を提案する．提案手法ではくだけた表現の修正候補文字列をくだけた表現の少ない文書から自動的に検索し，修正ルールを生成する．生成した多数の修正ルールから文脈に適した修正ルールを選択的に適用するために，検索結果における修正候補文字列の出現頻度，修正前後の文字列間における編集距離，修正前後の文の形態素解析結果の比較，を用いて修正ルールをスコアリングする手法を合わせて提案する．提案手法と従来手法の性能比較評価実験を行い，各手法における未知語の出現率や単語区切りの正確さ，修正前後の文の意味変化を定量的に評価した．提案手法では従来手法と同程度の単語区切りの正確さを維持しながら，対象文章の未知語出現数を 36.1% 減少させることに成功した．これは従来手法における未知語減少数の 2.5 倍以上である．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we propose an algorithm for reducing the number of unknown words on blog documents by replacing peculiar expressions with formal expressions. Japanese blog documents contain many peculiar expressions regarded as unknown sequences by morphological analyzers. Reducing these unknown sequences improves the accuracy of morphological analysis for blog documents. Manual registration of peculiar expressions to the morphological dictionaries is a conventional solution, which is costly and requires specialized knowledge. In our algorithm, substitution candidates of peculiar expressions are automatically retrieved from formally written documents such as newspapers and stored as substitution rules. For the correct replacement, a substitution rule is selected based on three criteria; its appearance frequency in retrieval process, the edit distance between substituted sequences and the original text, and the estimated accuracy improvements of word segmentation after the substitution. Experimental results show our algorithm reduces the number of unknown words by 36.1%, maintaining the same segmentation accuracy as the conventional methods, which is 2.5 times the reduction rate of the conventional methods.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11464847
• 書誌情報: 情報処理学会論文誌データベース（TOD）; 巻 3, 号 3, p. 68-77, 発行日 2010-09-28
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7799
• 出版者 / 言語: ja
• 出版者: 情報処理学会