音声感情キャプショニングのためのデータ作成とモデル構築の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2024-12-05
• タイトル: 音声感情キャプショニングのためのデータ作成とモデル構築の検討
• タイトル / 言語: en
• タイトル: Study on Data Creation and Model Construction for Speech Emotion Captioning
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 立命館大学大学院情報理工学研究科
• 著者所属: 立命館大学情報理工学部
• 著者所属: 立命館大学情報理工学部
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Engineering, Ritsumeikan University
• 著者所属(英): en
• 著者所属(英): Collage of Information Science and Engineering, Ritsumeikan University
• 著者所属(英): en
• 著者所属(英): Collage of Information Science and Engineering, Ritsumeikan University
• 著者名: 永瀬, 亮太郎; 福森, 隆寛; 山下, 洋一
• 著者名(英): Ryotaro, Nagase; Takahiro, Fukumori; Yoichi, Yamashita
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 従来の音声感情認識では，予測結果をカテゴリ感情や次元感情で表現する．このような感情の表現形式では発話者が示す複雑な感情を具体的に示すことが容易ではない．故に，本研究では感情の説明文を予測結果として出力する音声感情キャプショニングの研究に取り組む．初めに，既存の音声データに GPT4 とクラウドソーシングを用いて感情キャプションデータを付与し，人が記述した感情キャプションと比較した．次に，収集したデータを用いて， LLM を活用した音声感情キャプショニングのモデルを学習した．結果，本研究で実施した手順で収集した感情キャプションと人が記述した感情キャプションの相違点を明らかにした．また，LLM をデコーダとして用いることで音声感情キャプショニングの性能が向上することが分かった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In previous studies on speech emotion recognition, the results of the prediction are represented by categorical or dimensional emotions. These descriptions of emotions make it difficult to represent the complex emotions conveyd by speech in detail. To resolve this problem, we study speech emotion captioning, which outputs an emotion caption as a prediction. Firstly, we added emotion captions to existing speech data using GPT4 and crowdsourcing, and compared them with emotion captions written by humans. Secondly, we used the collected emotion captions to train the model of speech emotion captioning with LLM. As a result, we clarified the differences between the emotion captions collected by the procedure in this study and those written by humans. We also found that using LLM as a decoder improved the performance of speech emotion captioning.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10115061
• 書誌情報: 研究報告自然言語処理（NL）; 巻 2024-NL-262, 号 15, p. 1-6, 発行日 2024-12-05
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8779
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会