WEKO3
アイテム
音声とテキストのクロスモーダルTransformer エンコーダに基づく音声区間毎の感情認識
https://ipsj.ixsq.nii.ac.jp/records/236046
https://ipsj.ixsq.nii.ac.jp/records/236046aeee75a1-a8cd-4bfc-97ed-157abd2c0458
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
IPSJ-Z86-5R-02.pdf (670.5 kB)
|
Copyright (c) 2024 by the Information Processing Society of Japan
|
| Item type | National Convention(1) | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2024-03-01 | |||||||||
| タイトル | ||||||||||
| タイトル | 音声とテキストのクロスモーダルTransformer エンコーダに基づく音声区間毎の感情認識 | |||||||||
| 言語 | ||||||||||
| 言語 | jpn | |||||||||
| キーワード | ||||||||||
| 主題Scheme | Other | |||||||||
| 主題 | 人工知能と認知科学 | |||||||||
| 資源タイプ | ||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||
| 資源タイプ | conference paper | |||||||||
| 著者所属 | ||||||||||
| 創価大 | ||||||||||
| 著者所属 | ||||||||||
| 創価大 | ||||||||||
| 著者名 |
仁平, 正彦
× 仁平, 正彦
× 渥美, 雅保
|
|||||||||
| 論文抄録 | ||||||||||
| 内容記述タイプ | Other | |||||||||
| 内容記述 | マルチモーダル感情表現認識では，複数のモダリティを融合する手法やデータセットの不足等の課題が存在する．本研究では，音声のWav2vec 2.0によるエンコーディングと音声認識モデルWhisperによる文字起こしテキストのRoBERTaによるエンコーディングを入力とするクロスモーダルTransformerエンコーダに基づく感情認識モデルを提案する．そして，音声区間毎の感情認識とその合議による全体の感情認識を扱う．そのために，音声区間毎に感情ラベル付けした小規模データセットを作成し，音声区間毎，及び合議による全体の感情識別性能を評価する．更に，データクレンジングとデータに含まれる感情数に基づく2段階の学習により，高精度な認識が可能であるか検証する． | |||||||||
| 書誌レコードID | ||||||||||
| 収録物識別子タイプ | NCID | |||||||||
| 収録物識別子 | AN00349328 | |||||||||
| 書誌情報 |
第86回全国大会講演論文集 巻 2024, 号 1, p. 407-408, 発行日 2024-03-01 |
|||||||||
| 出版者 | ||||||||||
| 言語 | ja | |||||||||
| 出版者 | 情報処理学会 | |||||||||
