講演抄録/キーワード |
講演名 |
2014-12-16 11:00
雑音環境下における特徴量重み付きマルチモーダル声質変換 ○真坂健太・相原 龍・滝口哲也・有木康雄(神戸大) SP2014-116 |
抄録 |
(和) |
声質変換は,入力した音声を音韻情報などは保ったまま,話者性のような特定の情報のみを変換する技術であり,話者変換や感情変換,発話支援など様々なタスクヘの応用が期待されている.
従来の代表的な手法であるGMMを用いた統計的なアプローチ等は,あくまでクリーン音声を用いた評価を行っており,雑音環境下を考慮した定式化はされていない.
本研究では,雑音環境下での声質変換など,これまでになかったタスクに対応可能な非負値行列因子分解(Non-negative Matrix Factorization : NMF)による声質変換を扱う.
我々はこれまで,このNMFに基づいた,音声だけではなく唇画像情報を用いたマルチモーダルな声質変換手法を提案してきた.
入力話者の特徴量として,音声と画像情報を用いることで変換精度,及びノイズロバスト性の向上を目指した.
本論文では,さらに特徴量重みを導入し,新たにコスト関数を提案した.
実験結果より,音声情報のみを用いたNMFによる声質変換,及びGMMによる声質変換よりも提案手法が精度の良い変換が行える事を示す. |
(英) |
Voice conversion is a technique for converting specific information in speech while maintaining the other information, such as linguistic information.
This technique has been applied to various tasks, for example, there are speaker conversion, emotion conversion and speaking assistance, etc.
The GMM-based method is conventional VC method and widely used.
In noisy environments, the GMM-based method cannot convert the speech well, because this method cannot model the noisy signal well.
Therefore, we have been researched about a noise-robust VC method using Non Negative Matrix Factorization (NMF).
In this paper, we propose a multimodal VC method that improves the noise robustness of our previous exemplar-based VC method.
Furthermore, we introduce the combination weight between audio and visual features and formulate a new cost function in order to estimate the audio-visual exemplars.
By using the joint audio-visual features as source features, the VC performance is improved compared to a previous audio-input exemplar-based VC method.
The effectiveness of this method was confirmed by comparing it with that of the
conventional audio input NMF-based method and the conventional GMM-based method. |
キーワード |
(和) |
声質変換 / マルチモーダル / 画像特徴量 / NMF / 雑音環境下 / / / |
(英) |
voice conversion / multimodal / image features / non-negative matrix factorization / noisy environments / / / |
文献情報 |
信学技報, vol. 114, no. 365, SP2014-116, pp. 87-92, 2014年12月. |
資料番号 |
SP2014-116 |
発行日 |
2014-12-08 (SP) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
SP2014-116 |