@article{oai:ipsj.ixsq.nii.ac.jp:00070540,
 author = {池田, 和史 and 柳原, 正 and 松本, 一則 and 滝嶋, 康弘 and Kazushi, Ikeda and Tadashi, Yanagihara and Kazunori, Matsumoto and Yasuhiro, Takishima},
 issue = {3},
 journal = {情報処理学会論文誌データベース（TOD）},
 month = {Sep},
 note = {ブログ上の文書には口語的な表現や特有の表記などのくだけた表現が多数含まれるため，一般の形態素解析器を用いても十分な解析精度を得ることはできない．くだけた表現は人手により辞書登録されることが一般的であるが，人的コストの大きさや専門的な知識を必要とすることが課題である．本稿ではくだけた表現を正規な表現に修正することで高精度な形態素解析を実現する手法を提案する．提案手法ではくだけた表現の修正候補文字列をくだけた表現の少ない文書から自動的に検索し，修正ルールを生成する．生成した多数の修正ルールから文脈に適した修正ルールを選択的に適用するために，検索結果における修正候補文字列の出現頻度，修正前後の文字列間における編集距離，修正前後の文の形態素解析結果の比較，を用いて修正ルールをスコアリングする手法を合わせて提案する．提案手法と従来手法の性能比較評価実験を行い，各手法における未知語の出現率や単語区切りの正確さ，修正前後の文の意味変化を定量的に評価した．提案手法では従来手法と同程度の単語区切りの正確さを維持しながら，対象文章の未知語出現数を 36.1% 減少させることに成功した．これは従来手法における未知語減少数の 2.5 倍以上である．, In this paper, we propose an algorithm for reducing the number of unknown words on blog documents by replacing peculiar expressions with formal expressions. Japanese blog documents contain many peculiar expressions regarded as unknown sequences by morphological analyzers. Reducing these unknown sequences improves the accuracy of morphological analysis for blog documents. Manual registration of peculiar expressions to the morphological dictionaries is a conventional solution, which is costly and requires specialized knowledge. In our algorithm, substitution candidates of peculiar expressions are automatically retrieved from formally written documents such as newspapers and stored as substitution rules. For the correct replacement, a substitution rule is selected based on three criteria; its appearance frequency in retrieval process, the edit distance between substituted sequences and the original text, and the estimated accuracy improvements of word segmentation after the substitution. Experimental results show our algorithm reduces the number of unknown words by 36.1%, maintaining the same segmentation accuracy as the conventional methods, which is 2.5 times the reduction rate of the conventional methods.},
 pages = {68--77},
 title = {くだけた表現を高精度に解析するための正規化ルール自動生成手法},
 volume = {3},
 year = {2010}
}