逐次理解を行う音声対話システムの発話理解評価法

• Item type: SIG Technical Reports(1)
• 公開日: 2002-05-24
• タイトル: 逐次理解を行う音声対話システムの発話理解評価法
• タイトル / 言語: en
• タイトル: A Method for Evaluating Incremental Utterance Understanding in Spoken Dialogue Systems
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 日本電信電話株式会社NTTコミュニケーション科学基礎研究所
• 著者所属: 日本電信電話株式会社NTTコミュニケーション科学基礎研究所
• 著者所属: 日本電信電話株式会社NTTコミュニケーション科学基礎研究所
• 著者所属: 日本電信電話株式会社NTTコミュニケーション科学基礎研究所
• 著者所属(英): en
• 著者所属(英): NTT Communication Science Laboratories, NTT Corp.
• 著者所属(英): en
• 著者所属(英): NTT Communication Science Laboratories, NTT Corp.
• 著者所属(英): en
• 著者所属(英): NTT Communication Science Laboratories, NTT Corp.
• 著者所属(英): en
• 著者所属(英): NTT Communication Science Laboratories, NTT Corp.
• 著者名: 東中, 竜一郎; 宮崎, 昇; 中野, 幹生; 相川, 清明
• 著者名(英): Ryuichiro, Higashinaka; Noboru, Miyazaki; Mikio, Nakano; Kiyoaki, Aikawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 従来、文脈を考慮しないユーザ発話の理解には、CER (Concept Error Rate) または Keyword Error Rate が評価尺度として用いられてきた。しかし、CERでは、文脈を考慮してユーザ発話を理解する音声対話システムの発話理解を評価することはできない。本稿では、逐次理解を行う音声対話システムにおいて、対話の各時点での理解状態や理解状態の更新の仕方から得られるさまざまな指標を組み合わせ、システム全体のパフォーマンスとの相関の高い尺度を求めることによって、文脈を考慮した発話理解の評価尺度を作成する手法を提案する。システムのパフォーマンスにはタスク達成時間を用い、理解状態に関して得られたさまざま指標を説明変数、タスク達成時間を被説明変数として、重回帰分析を行った。得られた重回帰式は、比較的よい性能を示し、評価尺度としての有効性を示した。
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In single utterance understanding, which does not include discourse understanding, the concept error rate (CER), or the keyword error rate, has been widely used as an evaluation measure for utterance understanding. However, the CER cannot be used for evaluating systems that understand user utterances based on previous user utterances. In this paper, we propose a method for evaluating incremental utterance understanding, which involves speech recognition, language understanding and discourse processing in spoken dialogue systems, by finding a measure that correlates closely with the system's performance based on dialogue states and their way of update. We defined dialogue performance by task completion time, and performed a multiple linear regression analysis using task completion time as the explained variable and various metrics concerning dialogue states as explaining variables. The obtained multiple regression model fits comparatively well and shows validity as an evaluation measure.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 情報処理学会研究報告音声言語情報処理（SLP）; 巻 2002, 号 50(2002-SLP-041), p. 37-42, 発行日 2002-05-24
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会