語と文書の共起に基づく特徴度の数量的表現について

• Item type: Journal(1)
• 公開日: 2000-12-15
• タイトル: 語と文書の共起に基づく特徴度の数量的表現について
• タイトル / 言語: en
• タイトル: On the Quantitative Representation of Term Specificity Based on Terms and Documents Co-occurrences
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 論文（論文賞受賞）
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• その他タイトル / その他のタイトル: 自然言語処理
• 著者所属: 国立情報学研究所
• 著者所属(英): en
• 著者所属(英): National Institute of Informatics
• 著者名: 相澤, 彰子
• 著者名(英): Akiko, Aizawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では語と文書の共起関係に注目し，与えられた文書集合中での語の特徴度の量的表現やその適用について，情報量的な観点から考察を加える．今日，情報検索の分野において広く用いられている ?tfidf （term frequency -inverse document frequency）は，語頻度と対数文書頻度の逆数を乗じた尺度である．ここで $tf$ を語の総出現頻度で正規化した値は，語の出現確率の推定値に対応しており，さらに $idf$ は一種の情報量として解釈できることから，?tfidf ? は確率と情報量をかけあわせた尺度であるといえる．本論文では，このような ?tfidf ? の定義を拡張して，語の特徴度を，「語の出現確率」と「語の持つ情報量」の積の形で一般的に定義し，実際のテキストデータに適用した結果を示す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper presents a mathematical definition of the {\it featurequantity}, a measure of specificity of terms in documents which isbased on an information theoretic view of retrieval events. Theproposed feature quantity is expressed as a product of the frequencyof terms and their amouts of information, and has a goodcorrespondence with \tfidf-like measures commonly used in today'sinformation retrieval systems. In the paper, the mathemtaicaldefinition of the feature quantity is shown together with someillustrative examples.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 41, 号 12, p. 3332-3343, 発行日 2000-12-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764