@techreport{oai:ipsj.ixsq.nii.ac.jp:00241590,
 author = {永瀬, 亮太郎 and 福森, 隆寛 and 山下, 洋一 and Ryotaro, Nagase and Takahiro, Fukumori and Yoichi, Yamashita},
 issue = {15},
 month = {Dec},
 note = {従来の音声感情認識では，予測結果をカテゴリ感情や次元感情で表現する．このような感情の表現形式では発話者が示す複雑な感情を具体的に示すことが容易ではない．故に，本研究では感情の説明文を予測結果として出力する音声感情キャプショニングの研究に取り組む．初めに，既存の音声データに GPT4 とクラウドソーシングを用いて感情キャプションデータを付与し，人が記述した感情キャプションと比較した．次に，収集したデータを用いて， LLM を活用した音声感情キャプショニングのモデルを学習した．結果，本研究で実施した手順で収集した感情キャプションと人が記述した感情キャプションの相違点を明らかにした．また，LLM をデコーダとして用いることで音声感情キャプショニングの性能が向上することが分かった．, In previous studies on speech emotion recognition, the results of the prediction are represented by categorical or dimensional emotions. These descriptions of emotions make it difficult to represent the complex emotions conveyd by speech in detail. To resolve this problem, we study speech emotion captioning, which outputs an emotion caption as a prediction. Firstly, we added emotion captions to existing speech data using GPT4 and crowdsourcing, and compared them with emotion captions written by humans. Secondly, we used the collected emotion captions to train the model of speech emotion captioning with LLM. As a result, we clarified the differences between the emotion captions collected by the procedure in this study and those written by humans. We also found that using LLM as a decoder improved the performance of speech emotion captioning.},
 title = {音声感情キャプショニングのためのデータ作成とモデル構築の検討},
 year = {2024}
}