講演抄録/キーワード |
講演名 |
2021-03-05 09:45
Improved Speech Separation Performance from Monaural Mixed Speech Based on Deep Embedding Network ○Shaoxiang Dang・Tetsuya Matsumoto・Hiroaki Kudo(Nagoya Univ.)・Yoshinori Takeuchi(Daido Univ.) PRMU2020-85 |
抄録 |
(和) |
音声分離は,複数の話者が同時に話している状況での発話の分離である.これに対して,deep clustering (DC)の手法としてdeep embedding network を用いることが提案されている.オーディオデータを低次元多様体に埋め込むことで,同様の性質を持つデータは,その空間で密に分布しており,クラスタリングアルゴリズムによって,分かれて分布するデータを容易に分離することができる.このモデルは,話者についてアノテートされたデータを示すbinary mask で構成されたideal affinity matrix によって学習される.しかし,binary mask の利用が,混合スペクトログラム内の個々のビンに対して,対応するマスク内の同じ位置のビンに0か1を割り当てることになり,システム全体としてボトルネックになる.ここでは,より正確なマスクを使用することによってbinary mask の欠点について改善を行う.deep embedding network を拡張し二段階処理による方法を提案する.第一段階でDCを行い,第二段階でpermutation 問題を避けるためのpermutation invariant training の処理を行った.実験結果として,平均で,SNRで1.55dB,SDRで4.45dB,SDRiで4.41dB,STOIで0.16,PESQで0.3,元のDCの値より,向上が見られた.提案手法により,DCで生じたスペクトルグラム内の欠落部分を修復することも見られた. |
(英) |
Speech separation refers to the separation of utterances in which multiple people are speaking simultaneously. The idea of deep clustering (DC) is put forward by using a deep embedding network to embed audio data in the underlying manifold, and data with similar property gathers tightly in the embedding space. Then this model uses a clustering algorithm because the clustering algorithm can easily separate distributed data. Regarding the learning process, the model is supervised by an ideal affinity matrix constructed of binary masks of annotation data. However, the binary mask gives a bottleneck to the entire system since the same position of bins in masks are assigned to 0 or 1 according to the contribution of individual utterances to mixed spectrograms. Thus, we propose an extended two-stage version of network based on the deep embedding. The network can eliminate the shortcomings by using various more accurate masks. We employ DC as our first stage, and conduct a permutation invariant training approach to prevent permutation problem in the second stage. As a result, the results according to our experiment outperforms the original DC model by 1.55dB in SNR by 4.45dB in SDR, 4.41dB in SDRi, 0.16 in STOI, and 0.3 in PESQ on average. We also observe that the proposed method can recover the defects in the spectrograms brought in by DC. |
キーワード |
(和) |
音声分離 / deep embedding network / モノラル音声分離 / permutation invariant training / / / / |
(英) |
speech separation / deep embedding network / monaural speech separation / permutation invariant training / / / / |
文献情報 |
信学技報, vol. 120, no. 409, PRMU2020-85, pp. 91-96, 2021年3月. |
資料番号 |
PRMU2020-85 |
発行日 |
2021-02-25 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2020-85 |