| 講演名 | 2023-06-23 深層学習を用いたアカペラ歌声分離における歌声合成による教師データ拡張の検討 風間 香伽(都立大), 木下 裕磨(東海大), 植野 夏樹(都立大), 小野 順貴(都立大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，深層学習を用いたアカペラ歌声分離に有効な教師データを検討する．アカペラや合唱など楽器を用いない歌唱データセットは少なく実環境での収録も困難であるため，歌声合成を利用してアカペラ歌唱データを作成し，そのデータを教師として深層学習モデルを訓練する．まず，アカペラアレンジされた楽曲の楽譜を MuseScoreから入手し，歌声合成ツールUTAUを用いて計100分の歌唱データセットを作成する．作成した歌声合成データがアカペラ歌声分離に有効であるかを調査するため，教師データとして日本語アカペラ歌唱コーパスを使用した場合と，作成した歌声合成データを使用した場合との比較実験を行う．実験の結果，歌声合成による教師データの生成が教師データの不足を補い，アカペラ歌声分離の性能向上に有用であることが示される. |
| 抄録(英) | In this study, we examine efficacy of training data augmentation for a cappella singing voice separation using deep learning. Since there are few singing voice datasets without musical instruments such as a cappella and chorus, and it is difficult to record these in a real environment, we create an a cappella singing voice data using singing voice synthesis and train a deep neural network (DNN) using this data. First, we obtain a cappella-arranged musical scores from MuseScore, and create a singing voice data of 100 minutes in total using the singing voice synthesis tool UTAU. In order to investigate whether the created synthesized singing voice data is effective for a cappella singing voice separation, we conducted a comparative experiment using Japanese a cappella vocal ensemble corpus as training data and a synthesized singing voice data. Experimental results show that the data augmentation by singing voice synthesis compensates for the lack of training data and is useful for improving the performance of a cappella singing voice separation. |
| キーワード(和) | 深層学習 / データ拡張 / 歌声分離 / 歌声合成 |
| キーワード(英) | deep learning / data augmentation / singing voice separation / singing voice synthesis |
| 資料番号 | SP2023-4 |
| 発行日 | 2023-06-16 (SP) |
| 研究会情報 | |
| 研究会 | SP / IPSJ-MUS / IPSJ-SLP |
|---|---|
| 開催期間 | 2023/6/23(から2日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | |
| テーマ（和） | 音学シンポジウム2023 |
| テーマ（英） | |
| 委員長氏名（和） | 戸田 智基(名大) |
| 委員長氏名（英） | Tomoki Toda(Nagoya Univ.) |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | 安藤 厚志(NTT) / 橋本 佳(名工大) |
| 幹事氏名（英） | Atsushi Ando(NTT) / Kei Hashimoto(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 相原 龍(三菱電機) / 齋藤 大輔(東大) |
| 幹事補佐氏名（英） | Ryo Aihara(Mitsubishi Electric) / Daisuke Saito(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Speech / Special Interest Group on Music and Computer / Special Interest Group on Spoken Language Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層学習を用いたアカペラ歌声分離における歌声合成による教師データ拡張の検討 |
| サブタイトル（和） | |
| タイトル（英） | Data Augmentation by Synthesised Voice for Deep Learning-based A Cappella Separation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 深層学習 / deep learning |
| キーワード(2)（和/英） | データ拡張 / data augmentation |
| キーワード(3)（和/英） | 歌声分離 / singing voice separation |
| キーワード(4)（和/英） | 歌声合成 / singing voice synthesis |
| 第 1 著者 氏名（和/英） | 風間 香伽 / Kyoka Kazama |
| 第 1 著者 所属（和/英） | 東京都立大学(略称：都立大) Tokyo Metropolitan University(略称：TMU) |
| 第 2 著者 氏名（和/英） | 木下 裕磨 / Yuma Kinoshita |
| 第 2 著者 所属（和/英） | 東海大学(略称：東海大) Tokai University(略称：Tokai Univ.) |
| 第 3 著者 氏名（和/英） | 植野 夏樹 / Natsuki Ueno |
| 第 3 著者 所属（和/英） | 東京都立大学(略称：都立大) Tokyo Metropolitan University(略称：TMU) |
| 第 4 著者 氏名（和/英） | 小野 順貴 / Nobutaka Ono |
| 第 4 著者 所属（和/英） | 東京都立大学(略称：都立大) Tokyo Metropolitan University(略称：TMU) |
| 発表年月日 | 2023-06-23 |
| 資料番号 | SP2023-4 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | SP-88 |
| ページ範囲 | pp.14-19(SP), |
| ページ数 | 6 |
| 発行日 | 2023-06-16 (SP) |