| 講演名 | 2022-03-02 口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討 高島 和嗣(岡山大), 阿部 匡伸(岡山大), 原 直(岡山大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本報告では舌亜全摘出者が発声する音声の音韻明瞭度改善を目的とした声質変換方式を提案する．舌亜全摘出者は癌治療などにより手術で舌を半分以上摘出した人であり，舌亜全摘出者が発声した音声は健常者と比べると音韻明瞭度が低い．先行研究では，音響情報に加えて補助情報として音素ラベルを用いる声質変換方式が提案され，音韻明瞭度が大きく改善されることが示されている．しかし，実際の場面では，変換時に，発話内容に対応した音素ラベルを用意することは難しい．先行研究の方式を教師モデルとし，知識蒸留をおこなうことによって，合成時に音素ラベルを必要としない生徒モデルを作成することを目指す．知識蒸留をおこなうことによって，知識蒸留をおこなわない方式よりも性能が改善されたが，舌亜全摘出者の音韻明瞭性の改善は十分ではない．そこで，生徒モデルの性能向上のため，口唇情報を追加の特徴量として利用する方式を検討する．CNN-Autoencoder を用いて，口唇情報からボトルネック特徴量を抽出し，追加の入力特徴量として用いる．評価実験では，CNN-Autoencoder の性能，各声質変換方式の変換精度を評価した． |
| 抄録(英) | In this paper, we propose a voice conversion method for improving speech intelligibility uttered by glossectomy patients. Because the glossectomy patients remove more than half of their tongue, their speech is less intelligibility compared to healthy persons. In a previous study, a voice conversion method using phoneme labels as auxiliary information in addition to audio information was proposed and it has been shown that the speech intelligibility is greatly improved. However, in actual situations, it is difficult to prepare phoneme labels corresponding to the speech content at the time of conversion. To solve the problem, by introducing knowledge distillation approach, we proposed to train a student model that synthesizes speech without labels, where a model trained using phoneme labels is used as teacher model. Although the performance of the method with knowledge distillation is better than that of the method without knowledge distillation, intelligibility was not imporved enough. Hence, we investigate a method that uses lip information as an additional feature in order to improve the performance of the student model. we extract bottleneck features from lip information and use them as additional input features by using a convolutional autoencoder. In the evaluation experiments, we evaluated the performance of the convolutional autoencoder and the conversion accuracy of each voice conversion method. |
| キーワード(和) | 声質変換 / 舌亜全摘出者 / Deep Neural Network / CNN-Autoencoder / 知識蒸留 |
| キーワード(英) | Voice Conversion / Glossectomy Patients / Deep Neural Network / CNN-Autoencoder / Knowledge Distillation |
| 資料番号 | EA2021-81,SIP2021-108,SP2021-66 |
| 発行日 | 2022-02-22 (EA, SIP, SP) |
| 研究会情報 | |
| 研究会 | EA / SIP / SP / IPSJ-SLP |
|---|---|
| 開催期間 | 2022/3/1(から2日開催) |
| 開催地（和） | 沖縄県立博物館・美術館 |
| 開催地（英） | |
| テーマ（和） | 応用／電気音響, 信号処理，音声，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 梶川 嘉延(関西大) / 坂東 幸浩(NTT) / 北岡 教英(豊橋技科大) / 北岡 教英(豊橋技科大) |
| 委員長氏名（英） | Yoshinobu Kajikawa(Kansai Univ.) / Yukihiro Bandou(NTT) / Norihide Kitaoka(Toyohashi Univ. of Tec) / 北岡 教英(豊橋技科大) |
| 副委員長氏名（和） | 古家 賢一(大分大) / 小山 翔一(東大) / 田中 聡久(東京農工大) / 仲地 孝之(琉球大学) |
| 副委員長氏名（英） | Kenichi Furuya(Oita Univ.) / Shoichi Koyama(Univ. of Tokyo) / Toshihisa Tanaka(Tokyo Univ. Agri.&Tech.) / Takayuki Nakachi(Ryukyu Univ.) |
| 幹事氏名（和） | 加古 達也(NTT) / 西浦 敬信(立命館大) / 杉本 憲治郎(Xiaomi) / 渡辺 修(拓殖大) / 田中 雄一(東京農工大) / 高道 慎之介(東大) / 高島 遼一(神戸大) / 高道 慎之介(東大) / 高島 遼一(神戸大) / 中鹿 亘(電通大) / 増村 亮(NTT) |
| 幹事氏名（英） | Tatsuya Kako(NTT) / Takanobu Nishiura(RitsumeikanUniv.) / Kenjiro Sugimoto(Xiaomi) / Osamu Watanabe(Takushoku Univ.) / Yuichi Tanaka(Tokyo Univ. Agri.&Tech.) / Shinnosuke Takamichi(Univ. of Tokyo) / Ryouichi Takashima(Kobe Univ.) / 高道 慎之介(東大) / 高島 遼一(神戸大) / 中鹿 亘(電通大) / 増村 亮(NTT) |
| 幹事補佐氏名（和） | 若林 佑幸(都立大) / 小松 達也(LINE) / 吉田 太一(電通大) / 京地 清介(北九州市立大) / 中鹿 亘(電通大) / 増村 亮(NTT) |
| 幹事補佐氏名（英） | Yukou Wakabayashi(Tokyo Metropolitan Univ.) / Tatsuya Komatsu(LINE) / Taichi Yoshida(UEC) / Seisuke Kyochi(Univ. of Kitakyushu) / Toru Nakashika(Univ. of Electro-Comm.) / Ryo Masumura(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Engineering Acoustics / Technical Committee on Signal Processing / Technical Committee on Speech / Special Interest Group on Spoken Language Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討 |
| サブタイトル（和） | |
| タイトル（英） | Study of Method for Improving Speech Intelligibility in Glossectomy Patients by Knowledge Distillation via Lip Features |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 声質変換 / Voice Conversion |
| キーワード(2)（和/英） | 舌亜全摘出者 / Glossectomy Patients |
| キーワード(3)（和/英） | Deep Neural Network / Deep Neural Network |
| キーワード(4)（和/英） | CNN-Autoencoder / CNN-Autoencoder |
| キーワード(5)（和/英） | 知識蒸留 / Knowledge Distillation |
| 第 1 著者 氏名（和/英） | 高島 和嗣 / Kazushi Takashima |
| 第 1 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 2 著者 氏名（和/英） | 阿部 匡伸 / Masanobu Abe |
| 第 2 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 第 3 著者 氏名（和/英） | 原 直 / Sunao Hara |
| 第 3 著者 所属（和/英） | 岡山大学(略称：岡山大) Okayama University(略称：Okayama Univ.) |
| 発表年月日 | 2022-03-02 |
| 資料番号 | EA2021-81,SIP2021-108,SP2021-66 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | EA-383,SIP-384,SP-385 |
| ページ範囲 | pp.108-113(EA), pp.108-113(SIP), pp.108-113(SP), |
| ページ数 | 6 |
| 発行日 | 2022-02-22 (EA, SIP, SP) |