講演抄録/キーワード |
講演名 |
2022-08-04 15:15
[招待講演]ウェーブレット変換と深層学習を融合した音源分離 ○中村友彦(東大) EA2022-32 |
抄録 |
(和) |
音源分離は,複数の音源信号が混合された観測音響信号から各音源信号を分離する技術である.深層ニューラルネットワーク(DNN)の導入により音源分離性能は飛躍的に向上しており,end-to-end型のDNNを用いることで時間周波数領域を介さず時間領域で直接分離を行うアプローチも登場している.Wave-U-Netはこのアプローチの代表的な音源分離手法であり,特徴量を繰り返しダウンサンプリング(DS)した後,入力信号と同一の時間解像度までアップサンプリングする構造をもつ.これに対し,本研究では信号処理の観点からDNNの構造を見直すことで,Wave-U-NetのDS層に内在する問題を明らかにした.具体的には,当該DS層が特徴量領域でエリアシングを起こすだけでなく,分離に有用となりうる情報を破棄しうることを発見した.これらの問題を解決するため,Wave-U-Netの構造が多重解像度解析に類似していることに着眼し,離散ウェーブレット変換(DWT)を用いたDS層を提案した.多重解像度解析はWave-U-Netと同じく入力信号を繰り返しDSするものの,DSにはアンチエイリアシングフィルタと完全再構成性を備えるDWTを用いる.そのため,DWTを用いることでWave-U-NetのDS層の問題を一挙に解決できる.本講演では,この提案層を用いた深層学習ベース音源分離手法(多重解像度深層分析)に加え,信号処理と深層学習の融合を目指した最近の我々の研究についても紹介する. |
(英) |
Audio source separation is a technique of separating an observed audio signal into individual source signals. The use of deep neural networks (DNNs) has improved separation performance and led to the recent emergence of an end-to-end approach, which directly performs separation in the time domain. One of the representative models of this approach is Wave-U-Net. It successively down-samples features with down-sampling (DS) layers, called decimation layers, and up-samples them up to have the time resolution same as an input signal. From the signal processing perspective, we found two underlying problems of the decimation layers: The decimation layers cause aliasing in the feature domain and discard part of features, which may include useful information for source separation. To solve these problems, we proposed a DS layer based on a discrete wavelet transform (DWT). The proposed layer was drawn from our finding that Wave-U-Net resembles multiresolution analysis in architecture. A DWT is used for DS in multiresolution analysis and has an antialiasing filter and perfect reconstruction property. Thus, we can solve the problems of the decimation layers by using the proposed DWT-based DS layer. In this presentation, we introduce an end-to-end audio source separation method using the proposed DWT-based DS layer and our recent studies toward a fusion of signal processing and deep learning. |
キーワード |
(和) |
音源分離 / 多重解像度解析 / 深層学習 / 離散ウェーブレット変換 / / / / |
(英) |
Audio source separation / Multiresolution analysis / Deep learning / Discrete wavelet transform / / / / |
文献情報 |
信学技報, vol. 122, no. 144, EA2022-32, pp. 25-25, 2022年8月. |
資料番号 |
EA2022-32 |
発行日 |
2022-07-28 (EA) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
EA2022-32 |