ImTTS：印象推定の可視化を用いた多話者音声合成システム

• Item type: SIG Technical Reports(1)
• 公開日: 2024-01-08
• タイトル: ImTTS：印象推定の可視化を用いた多話者音声合成システム
• タイトル / 言語: en
• タイトル: ImTTS: Multi-speaker speech synthesis system using visualization of impression estimation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 可視化
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: お茶の水女子大学大学院人間文化創成科学研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: お茶の水女子大学大学院人間文化創成科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Humanities and Sciences, Ochanomizu University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Science and Technology, The University of Tokyo
• 著者所属(英): en
• 著者所属(英): Graduate School of Humanities and Sciences, Ochanomizu University
• 著者名: 岡本, 美柚; 関, 健太郎; 高道, 慎之介; 齋藤, 佑樹; 伊藤, 貴之
• 著者名(英): Miyu, Okamoto; Kentaro, Seki; Shinnosuke, Takamichi; Yuki, Saito; Takayuki, Itoh
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では，ユーザが抱く印象に近い音声でのテキスト音声合成 (Text-To-Speech: TTS) を実現するために，可視化技術を交えたインタラクティブな音声合成システムを提案する．本システムでは，Active Learning を導入してユーザ個人の感性に適応した印象推定モデルを学習し，x-vector 特徴量を次元削減した 2 次元空間上に色の濃淡で可視化する．これにより，ユーザは自身が抱く印象に紐づけて，多話者の特徴を視覚的に確認しながら対話的な話者選択が可能である．実験結果として本稿では，本研究のための UI として適切な次元削減手法とそのパラメータについて散布図評価を比較した．続いて，選択された次元削減手法を用いて，自身の感性を反映した TTS システムを構築してその推定精度を検証した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, we propose an interactive Text-To-Speech (TTS) system utilizing impression visualization. Impression estimation is performed through learning that incorporates Active Learning, and the x-vector features are visualized on a two-dimensional space with color intensity after dimension reduction. As a result, users can visually confirm multi-speaker information linked to the impressions they have while selecting speakers. In this paper, we experimentally verify the requisite amount of data for prior annotation within our proposed method, in addition to calculating and comparing evaluation values for dimension reduction techniques and their parameters suitable for a user interface. Furthermore, we developed an actual TTS system reflecting one's own sensibilities and verified its accuracy.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA1221543X
• 書誌情報: 研究報告ヒューマンコンピュータインタラクション（HCI）; 巻 2024-HCI-206, 号 19, p. 1-6, 発行日 2024-01-08
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8760
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会