2024-03-29T07:02:12Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:000102642022-10-21T05:24:51Z00581:00612:00619
拡張ストリングカーネルを用いた要約システムの自動評価法An Automatic Evaluation Method for Summarization Systems with Extended String Subsequence Kerneljpn特集:情報処理技術のフロンティアhttp://id.nii.ac.jp/1001/00010264/Journal Articlehttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=10264&item_no=1&attribute_id=1&file_no=1Copyright (c) 2006 by the Information Processing Society of Japan自然言語日本電信電話株式会社NTT コミュニケーション科学基礎研究所東京工業大学精密工学研究所日本電信電話株式会社NTT コミュニケーション科学基礎研究所平尾, 努奥村, 学磯崎, 秀樹近年,言語生成技術を含む自然言語処理,たとえば,自動要約や機械翻訳の評価型ワークショップがさかんに開催されており,システム評価のためのコーパスが整備されつつある.しかし,こうした自然言語処理技術の評価は,多くの場合,人間の評価に頼らざるをえない.よって,再評価実験が困難である,多大なコストがかかるという問題がある.そこで,人間の評価に匹敵する正確な自動評価法の確立に大きな期待が寄せられている.本稿では,コンボリューションカーネルの1 つである拡張ストリングカーネル(Extended String Subsequence Kernel)を用いた要約システムの自動評価法を提案する.Text Summarization Challenge 3(TSC-3)のデータを用いて提案手法を従来手法であるROUGE と比較した結果,人間の評価結果との相関において,提案手法がより高く,頑健性に優れていることが分かった.Recently, several evaluation workshops for automatic summarization are held. These evaluation workshops employ human evaluations, which are essential in terms of achieving high quality evaluations results. However, human evaluations require a huge effort and the cost is considerable. Moreover, we cannot automatically evaluate a new system even if we use the corpora built for these workshops, and we cannot conduct re-evaluation experiments. In order to promote the study of automatic summarization, we need an accurate automatic evaluation method that is close to human evaluation. In this paper, we present an evaluation method that is based on extended string subsequence kernel that measure the similarities between texts considering their substructures. We conducted an experiment using automatic summarization evaluation data developed for Text Summarization Challenge 3 (TSC-3). Our method shows higher correlation than ROUGE family with human evaluation.AN00116647情報処理学会論文誌476175317662006-06-151882-77642009-06-29