話者特徴量の操作によりシームレスに話者性を制御できるEnd-to-End音声合成方式の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2022-06-10
• タイトル: 話者特徴量の操作によりシームレスに話者性を制御できるEnd-to-End音声合成方式の検討
• タイトル / 言語: en
• タイトル: Study of End-to-End Text-to-Speech that can seamlessly control speaker’s individuality by intermediate representations of speaker’s individuality
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 岡山大学大学院ヘルスシステム統合科学研究科
• 著者所属: 岡山大学大学院ヘルスシステム統合科学研究科
• 著者所属: 岡山大学大学院ヘルスシステム統合科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate Scool of Interdisciplinary Science and Engineering in Health Systems, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate Scool of Interdisciplinary Science and Engineering in Health Systems, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate Scool of Interdisciplinary Science and Engineering in Health Systems, Okayama University
• 著者名: 青谷, 直樹; 原, 直; 阿部, 匡伸
• 著者名(英): Naoki, Aotani; Sunao, Hara; Masanobu, Abe
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本報告では，話者固有の声質や平均的な声の高さなどの情報を表現した話者特徴量を補助情報として，シームレスに話者性を制御できる End-to-End 音声合成の方式を検討する．話者性の制御は，2 名の話者の音声から話者ベクトルを抽出し，それぞれの話者ベクトルに重みづけ加算し，2 名の話者特徴量を内挿した特徴ベクトルを生成することで行う．本報告では，重みの調整によって話者性を徐々に変化させることを話者性のシームレスな制御と呼ぶ．本研究で用いる話者特徴量は，2 種類の情報を結合して得られるベクトルである．1 つ目は，既存研究でも用いられている x-vector であり，声質などの制御を行う．2 つ目は，目標音声の基本周波数であり，声の平均的な高さを制御する．本報告では，2 種類の情報を分離した特徴として制御することで，話者性の変化をシームレスに行えるようにする方式を提案する．具体的には，x-vector による制御が声質だけに特化できるようにするため，平均 F0 を全て均一にした音声から x-vector を抽出し，話者特徴量の一部として用いる．評価実験では，合成音声の声の高さの制御性能，声質を客観評価実験で評価し，話者性の制御性能を主観評価実験で評価した．評価実験の結果，女性から女性，男性から男性への話者性の変化において重みの変更に応じたシームレスな話者性の制御ができていることが分かった．しかし，男性から女性への話者性の変換において，十分に話者性が制御できていない部分があることも分かった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we investigate an End-to-End speech synthesis scheme that enables to seamlessly control speaker individuality using speaker features that represent speaker’s specific voice quality and average voice height as auxiliary information. Speaker individuality is controlled as follows. To generate a control feature vector, after extracting speaker features from two speakers, the speaker features are overlap added with weight. In this paper, seamlessly controlling speaker individuality is referred to as the gradual change in speaker individuality by adjusting weights. The speaker features used in this study are vectors obtained by combining two types of information. The first is the x-vector used in conventional method to control voice quality. The second is an average value of the fundamental frequency of the target voice to control the average voice height. Here, x-vectors are extracted from speech that is modified to have the same mean F0 value, which result in minimizing interactions between x-vectors and fundamental frequency. Results of the evaluation experiments showed that speaker individuality can be seamlessly controlled by gradually changing the weights in the case of female-female speaker pair and male-male speaker pair. However, it was not true in the case of female-male speaker pair.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2022-MUS-134, 号 36, p. 1-6, 発行日 2022-06-10
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会