x-vector と音声認識コーパスを用いた多様な発話スタイルに対応する複数話者テキスト音声合成の評価

• Item type: SIG Technical Reports(1)
• 公開日: 2023-06-16
• タイトル: x-vector と音声認識コーパスを用いた多様な発話スタイルに対応する複数話者テキスト音声合成の評価
• タイトル / 言語: en
• タイトル: Evaluation of multi-speaker text-to-speech synthesis using a corpus for speech recognition with x-vectors for various speech styles
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 一般発表
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 和歌山大学／情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属: 和歌山大学
• 著者所属: 情報通信研究機構
• 著者所属: 名古屋大学／情報通信研究機構
• 著者所属: 情報通信研究機構
• 著者所属(英): en
• 著者所属(英): Wakayama University / National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): Wakayama University
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): Nagoya University / National Institute of Information and Communications Technology
• 著者所属(英): en
• 著者所属(英): National Institute of Information and Communications Technology
• 著者名: 日田, 光紀; 岡本, 拓磨; 西村, 竜一; 大谷, 大和; 戸田, 智基; 河井, 恒
• 著者名(英): Koki, Hida; Takuma, Okamoto; Ryuichi, Nishimura; Yamato, Ohtani; Tomoki, Toda; Hisashi, Kawai
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: これまでに，合成時に対応できる話者数の増加を目的として，音声認識用コーパスである CSJ を用いて，また話者埋め込みとして x-vector を用いた複数話者テキスト音声合成を最新の End-to-End モデルである JETS を用いて実装した．本研究においては，未知話者として日本語話者 10 名 (CSJ とJVS)，英語話者 4 名 (CMU ARCTIC)，発話スタイルとして裏声およびささやき声 (JVS) を目的話者とすることにより，本モデルの実用性について検証する．また，感情音声 (JECS) とボーカロイド音声 (初音ミク) に関しても，目的話者として検証する．分析として，t-SNE を用いて次元削減した x-vector の比較を行った．これにより，本モデルによる合成音声が目的話者の話者性を再現可能であるかを検討した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: We have implemented multi-speaker end-to-end text-to-speech synthesis based on JETS using x-vectors as speaker embedding and CSJ for automatic speech recognition corpus for synthesizing various kinds of speakers. In this study, we investigate the capacity of the model by using 10 Japanese speakers (CSJ and JVS) and 4 English speakers (CMU ARCTIC) as unknown speakers, and speech styles such as backward speech and whispered speech as target speakers. In addition, emotional voice (JECS) and vocaloid voice (Hatsune Miku) are also tested as target speakers. We compared x-vectors with dimensionality reduction based on t-SNE. The results examine whether the model is able to reproduce the target speaker’s speech.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2023-MUS-137, 号 64, p. 1-6, 発行日 2023-06-16
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会