WEKO3
アイテム
人の発声単位を考慮した日本語言語モデルの検討 －日本語における単語とは
https://ipsj.ixsq.nii.ac.jp/records/49041
https://ipsj.ixsq.nii.ac.jp/records/4904134df5079-9d57-4161-99fb-6d112cb523ca
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-NL96116009.pdf (453.6 kB)
|
Copyright (c) 1996 by the Information Processing Society of Japan
|
|
| オープンアクセス | ||
| Item type | SIG Technical Reports(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 1996-11-18 | |||||||
| タイトル | ||||||||
| タイトル | 人の発声単位を考慮した日本語言語モデルの検討 －日本語における単語とは | |||||||
| タイトル | ||||||||
| 言語 | en | |||||||
| タイトル | A Japanese Language Model Based on Human Utterance Units - word in Japanese | |||||||
| 言語 | ||||||||
| 言語 | jpn | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_18gh | |||||||
| 資源タイプ | technical report | |||||||
| 著者所属 | ||||||||
| 日本アイ・ビー・エム東京基礎研究所 | ||||||||
| 著者所属 | ||||||||
| 日本アイ・ビー・エム東京基礎研究所 | ||||||||
| 著者所属 | ||||||||
| 日本アイ・ビー・エム東京基礎研究所 | ||||||||
| 著者所属 | ||||||||
| 日本アイ・ビー・エム東京基礎研究所 | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Research Laboratory, IBM Japan Ltd. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Research Laboratory, IBM Japan Ltd. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Research Laboratory, IBM Japan Ltd. | ||||||||
| 著者所属(英) | ||||||||
| en | ||||||||
| Tokyo Research Laboratory, IBM Japan Ltd. | ||||||||
| 著者名 |
伊東伸泰
× 伊東伸泰
|
|||||||
| 著者名(英) |
Nobuyasu, Itoh
× Nobuyasu, Itoh
|
|||||||
| 論文抄録 | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | 日本語では単語の境界があいまいで、文法的に定義された単位は必ずしも人が認知している単語単位と一致しない。本研究では人の発声単位を考慮した単語単位の構成方法とそれに基づいた日本語言語モデルを提案する。本手法では人が単語境界と考える点で分割した比較的少量のテキストデータと形態素解析による分割結果とを照合することにより、人が潜在意識としてもつ単語単位を形態素レベルのパラメータでモデル化した。そして多量のテキストを同モデルにしたがった疑似乱数で分割することにより、単語単位のセットと言語モデルの訓練用データを自動生成した。 | |||||||
| 論文抄録(英) | ||||||||
| 内容記述タイプ | Other | |||||||
| 内容記述 | This article deals with a method for segmenting a text into words on the basis of human utterance units. In Japanese, word boundaries are not stable and grammatical units do not necessarily coincide with human intuition. For accurate segmentation it is therefore necessary to create a vocabulary set that covers human utterance units. In our method, a model of word boundary is decsribed by morphological parameters (i.e. part of speech), which are learned by comparing results of human segmentation with those of Japanese morphological analyzer. Then by using pseudo-random number and the model, it is determined whether each morpheme transition is a word boundary. As a result, we obtain a vocabulary set and learning data for Japanese language model automatically. | |||||||
| 書誌レコードID | ||||||||
| 収録物識別子タイプ | NCID | |||||||
| 収録物識別子 | AN10115061 | |||||||
| 書誌情報 |
情報処理学会研究報告自然言語処理（NL） 巻 1996, 号 114(1996-NL-116), p. 57-64, 発行日 1996-11-18 |
|||||||
| Notice | ||||||||
| SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc. | ||||||||
| 出版者 | ||||||||
| 言語 | ja | |||||||
| 出版者 | 情報処理学会 | |||||||
