音声特徴とテキスト特徴の協調利用によるマルチモーダル感情認識

• Item type: SIG Technical Reports(1)
• 公開日: 2020-11-25
• タイトル: 音声特徴とテキスト特徴の協調利用によるマルチモーダル感情認識
• タイトル / 言語: en
• タイトル: Multi-Modal Emotion Recognition by Integrating of Acoustic and Linguistic Features
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 音声言語の認識・理解
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 立命館大学大学院情報理工学研究科
• 著者所属: 立命館大学大学院情報理工学研究科
• 著者所属: 立命館大学大学院情報理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Engineering, Ritsumeikan University
• 著者名: 永瀬, 亮太郎; 福森, 隆寛; 山下, 洋一
• 著者名(英): Ryotaro, Nagase; Takahiro, Fukumori; Yoichi, Yamashita
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 感情音声認識では，ニューラルネットワークを応用した研究が盛んに取り組まれており，音声合成や音声認識と同様に年々認識率の向上がみられる．また，音声だけでなく画像情報や言語情報などを統合的に用いたマルチモーダルな感情認識も盛んに研究されている．本研究では，発話単位の音声とテキストを入力として，音響特徴量と埋め込みベクトルによる言語特徴量を協調的に利用した感情音声認識を行う．事前に感情音声認識と感情テキスト認識を学習し，各認識器から得られる特徴量を融合する early-fusion と認識結果を融合する late-fusion を適用することで，単体の感情認識器よりも高い認識率を目指す．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In recent years, the advanced techique of deep learning has improved the performance of Speech Emotional Recognition (SER) as well as speech synthesis or speech recognition. Moreover, multi-mordal emotion recognition which integrates linguistic or facial image features with acoustic features has outperformed conventional methods as well. In this paper, we propose a method of SER by using acoustic and linguistic features at the utterance level. Firstly, speech and text emotion recognition are trained with Japanese emotional speech corpus. Then, we aim to improve accuracy by using early-fusion which fuses linguistic and acoustic features and late-fusion which fuses predicted values by each model.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2020-SLP-134, 号 10, p. 1-6, 発行日 2020-11-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会