Deep Embedding Networkに基づくモノラル混合音声からの音声分離性能の向上

• Item type: SIG Technical Reports(1)
• 公開日: 2021-02-25
• タイトル: Deep Embedding Networkに基づくモノラル混合音声からの音声分離性能の向上
• タイトル / 言語: en
• タイトル: Improved Speech Separation Performance from Monaural Mixed Speech Based on Deep Embedding Network
• 言語: eng
• キーワード / 主題Scheme: Other
• キーワード / 主題: セッション4-2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 名古屋大学大学院情報学研究科
• 著者所属: 名古屋大学大学院情報学研究科
• 著者所属: 名古屋大学大学院情報学研究科
• 著者所属: 大同大学情報学部
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Nagoya University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Nagoya University
• 著者所属(英): en
• 著者所属(英): Graduate School of Informatics, Nagoya University
• 著者所属(英): en
• 著者所属(英): School of Informatics, Daido University
• 著者名: 党, 少翔; 松本, 哲也; 工藤, 博章; 竹内, 義則
• 著者名(英): Shaoxiang, Dang; Tetsuya, Matsumoto; Hiroaki, Kudo; Yoshinori, Takeuchi
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 音声分離は，複数の話者が同時に話している状況での発話の分離である．これに対して，deep clustering (DC) の手法として deep embedding network を用いることが提案されている．オーディオデータを低次元多様体に埋め込むことで，同様の性質を持つデータは，その空間で密に分布しており，クラスタリングアルゴリズムによって，分かれて分布するデータを容易に分離することができる．このモデルは，話者についてアノテートされたデータを示す binary mask で構成された ideal affinity matrix によって学習される．しかし，binary mask の利用が，混合スペクトログラム内の個々のビンに対して，対応するマスク内の同じ位置のビンに 0 か 1 を割り当てることになり，システム全体としてボトルネックになる．ここでは，より正確なマスクを使用することによって binary mask の欠点について改善を行う．deep embedding network を拡張し二段階処理による方法を提案する．第一段階で DC を行い，第二段階で permutation 問題を避けるための permutation invariant training の処理を行った．実験結果として，平均で，SNR で 1.55dB，SDR で 4.45dB，SDRi で 4.41dB，STOI で 0.16，PESQ で 0.3，元の DC の値より，向上が見られた．提案手法により，DC で生じたスペクトルグラム内の欠落部分を修復することも見られた．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Speech separation refers to the separation of utterances in which multiple people are speaking simultaneously. The idea of deep clustering (DC) is put forward by using a deep embedding network to embed audio data in the underlying manifold, and data with similar property gathers tightly in the embedding space. Then this model uses a clustering algorithm because the clustering algorithm can easily separate distributed data. Regarding the learning process, the model is supervised by an ideal affinity matrix constructed of binary masks of annotation data. However, the binary mask gives a bottleneck to the entire system since the same position of bins in masks are assigned to 0 or 1 according to the contribution of individual utterances to mixed spectrograms. Thus, we propose an extended two-stage version of network based on the deep embedding. The network can eliminate the shortcomings by using various more accurate masks. We employ DC as our first stage, and conduct a permutation invariant training approach to prevent permutation problem in the second stage. As a result, the results according to our experiment outperforms the original DC model by 1.55dB in SNR by 4.45dB in SDR, 4.41dB in SDRi, 0.16 in STOI, and 0.3 in PESQ on average. We also observe that the proposed method can recover the defects in the spectrograms brought in by DC.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2021-CVIM-225, 号 30, p. 1-6, 発行日 2021-02-25
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会