口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2022-02-22
• タイトル: 口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討
• タイトル / 言語: en
• タイトル: Study of Method for Improving Speech Intelligibility in Glossectomy Patients by Knowledge Distillation via Lip Features
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: SP2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 岡山大学大学院ヘルスシステム統合科学研究科
• 著者所属: 岡山大学大学院ヘルスシステム統合科学研究科
• 著者所属: 岡山大学大学院ヘルスシステム統合科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate Scool of Interdisciplinary Science and Engineering in Health Systems, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate Scool of Interdisciplinary Science and Engineering in Health Systems, Okayama University
• 著者所属(英): en
• 著者所属(英): Graduate Scool of Interdisciplinary Science and Engineering in Health Systems, Okayama University
• 著者名: 高島, 和嗣; 阿部, 匡伸; 原, 直
• 著者名(英): Kazushi, Takashima; Masanobu, Abe; Sunao, Hara
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本報告では舌亜全摘出者が発声する音声の音韻明瞭度改善を目的とした声質変換方式を提案する．舌亜全摘出者は癌治療などにより手術で舌を半分以上摘出した人であり，舌亜全摘出者が発声した音声は健常者と比べると音韻明瞭度が低い．先行研究では，音響情報に加えて補助情報として音素ラベルを用いる声質変換方式が提案され，音韻明瞭度が大きく改善されることが示されている．しかし，実際の場面では，変換時に，発話内容に対応した音素ラベルを用意することは難しい．先行研究の方式を教師モデルとし，知識蒸留をおこなうことによって，合成時に音素ラベルを必要としない生徒モデルを作成することを目指す．知識蒸留をおこなうことによって，知識蒸留をおこなわない方式よりも性能が改善されたが，舌亜全摘出者の音韻明瞭性の改善は十分ではない．そこで，生徒モデルの性能向上のため，口唇情報を追加の特徴量として利用する方式を検討する．CNN-Autoencoder を用いて，口唇情報からボトルネック特徴量を抽出し，追加の入力特徴量として用いる．評価実験では，CNN-Autoencoder の性能，各声質変換方式の変換精度を評価した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we propose a voice conversion method for improving speech intelligibility uttered by glossectomy patients. Because the glossectomy patients remove more than half of their tongue, their speech is less intelligibility compared to healthy persons. In a previous study, a voice conversion method using phoneme labels as auxiliary information in addition to audio information was proposed and it has been shown that the speech intelligibility is greatly improved. However, in actual situations, it is difficult to prepare phoneme labels corresponding to the speech content at the time of conversion. To solve the problem, by introducing knowledge distillation approach， we proposed to train a student model that synthesizes speech without labels, where a model trained using phoneme labels is used as teacher model. Although the performance of the method with knowledge distillation is better than that of the method without knowledge distillation, intelligibility was not imporved enough. Hence, we investigate a method that uses lip information as an additional feature in order to improve the performance of the student model. we extract bottleneck features from lip information and use them as additional input features by using a convolutional autoencoder. In the evaluation experiments, we evaluated the performance of the convolutional autoencoder and the conversion accuracy of each voice conversion method.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2022-SLP-140, 号 22, p. 1-6, 発行日 2022-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会