音声認識の信頼度・複数候補を利用したWFST対話システムの評価

• Item type: SIG Technical Reports(1)
• 公開日: 2010-07-15
• タイトル: 音声認識の信頼度・複数候補を利用したWFST対話システムの評価
• タイトル / 言語: en
• タイトル: Evaluation of WFST-based Dialog System using Confidence Score and Multiple Hypotheses of Speech Recognition
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 音声対話システム
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 情報通信研究機構／奈良先端科学技術大学院大学
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT) / Nara Institute of Science and Technology (NAIST)
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology (NICT)
• 著者名: 木村, 直人; 堀, 智織; 翠, 輝久; 大竹, 清敬; 柏岡, 秀紀; 中村, 哲
• 著者名(英): Naoto, Kimura; Chiori, Hori; Teruhisa, Misu; Kiyonori, Ohtake; Hideki, Kashioka; Satoshi, Nakamura
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 我々は，拡張可能で適応可能な対話システムを構築する枠組みとして，重み付き有限状態トランスデューサ （Weighted Finite-State Transducer：WFST） に基づく対話システムを提案した．このプラットフォームでは，対話制御のための全てのルールを WFST 形式で表すことができ，マルチモダリティを用いた様々な対話タスクの対話制御に WFST を用いる．更に，WFST に基づく対話制御の枠組みを用いて，ラベル付けされた人間対人間の音声対話コーパスから統計的対話システムを構築した．WFST の入出力ラベルとして，コーパスから得られたユーザのコンセプトタグとシステムアクションタグを用いた．音声で入力されたユーザの発話をユーザの発話意図タグに変換する言語理解 WFST，およびユーザの発話意図タグをシステムのアクションタグに変換する対話シナリオ WFST を導入した．言語理解 WFST とシナリオ WFST は合成され，ユーザの入力に応じてシステムの次のアクションを決定する対話制御 WFST となる．これまでの研究では，我々は IF （Interchange Format） タグ付きホテル予約の音声対話コーパスを用いて言語理解 WFST を自動構築し，シナリオ WFST のタグ列の確率を推定した．これまで人手による書き起こし文を用いて対話戦略を評価してきたが，本稿では音声認識結果をシステムの入力とした場合の WFST に基づく対話制御の性能について示す．音声認識結果を入力とした場合，音声認識誤りによる対話制御の性能が劣化するという問題に対して，音声認識結果の音響的・言語的信頼性を示す信頼度および音声認識結果の複数候補 (N-best) を処理できるよう WFST に基づく対話制御 （WFSTDM） を拡張した．評価実験では，言語理解結果の精度と WFST 対話制御によって選択されたシステムアクションの適切さの評価を行った．実験結果より，信頼度および N-best を考慮する事により WFST パスの中からより適切なアクションの選択が可能となり，対話制御の性能が向上する事を確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We proposed a weighted finite-state transducer-based dialog manager (WFSTDM) which is a platform for expandable and adaptable dialog systems. In this platform, all rules and/or models for dialog management are represented in WFST form, and the WFSTs are used to accomplish various tasks via multiple modalities. Based on this framework, we constructed a statistical dialog system using user concept and system action tags as input and output labels of the WFST where the tags were acquired from an annotated corpus of human-to-human spoken dialogs. We introduced a spoken language understanding (SLU) WFST converting user utterances to user concept tags and a dialog scenario WFST converting user concept tags to system action tags. The tag sequence probabilities of the scenario WFST were estimated with a spoken dialog corpus for hotel reservation. The SLU and scenario WFSTs were then combined to be a dialog management WFST which determines system's next action in response to user input. In our previous research, we evaluated its dialog strategy by referring to the manual transcription of the dialog for hotel reservation. In this paper, we present the performance of WFST-based dialog management when speech recognition hypotheses are input to the manager. To alleviate degradation of the dialog management performance due to speech recognition errors, we expand the WFSTDM for handling multiple hypotheses of speech recognition and confidence score indicating acoustic and linguistic reliability of speech recognition. The accuracy of SLU results and the correctness of system actions selected by the dialog management WFST were evaluated. We confirmed that the performance of dialog management was enhanced by choosing the optimal action among all the WFST paths for multiple hypotheses (N-best) of speech recognition and taking consideration of confidence score.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2010-SLP-82, 号 22, p. 1-6, 発行日 2010-07-15
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会