| 講演名 | 2015-12-02 音声波形加工に基づく非母語音声の継続長補正法の評価と分析 倶羅 真也(奈良先端大), 高道 慎之介(奈良先端大), 戸田 智基(奈良先端大/名大), ニュービッグ グラム(奈良先端大), サクティ サクリアニ(奈良先端大), 中村 哲(奈良先端大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 言語学習等への応用を見据え，非母語話者により発話された音声に対して，発話リズムを補正する技術が研究されている．代表的な手法として，母語話者の音声を参照音声として，動的時間伸縮を用いて音声特徴量系列を変形することで，補正音声を合成する枠組みが提案されている．柔軟な発話リズム補正が可能となる一方で，音声分析合成処理による音質劣化は避けられない．本稿では，音声分析合成処理による音質劣化を回避する補正法として，動的時間伸縮と音声波形加工処理による発話リズム補正法を提案する．時間伸縮規則を獲得する際には，統計的声質変換を適用することで，話者性の差異が音声スペクトルパラメータに与える影響を緩和するとともに，非母語話者音声に見られる音素挿入誤りにも対処する．日本語母語話者による英語音声（日本人英語）を用いた実験的評価から，提案法により，音質劣化を緩和しつつ，より自然な継続長を持つ英語音声を合成できることを示す．また，時間伸縮により生じる局所的な音質劣化の影響について，音声スペクトルパラメータの変調スペクトルを用いて分析する． |
| 抄録(英) | There are several attempts at correcting durational patterns of non-native speech towards language learning. One of the typical approaches modifies a speech parameter sequence with Dynamic Time Warping (DTW) using native speech as the reference, generating corrected speech from the modified speech parameter sequence. Although this approach makes it possible to flexibly modify durational patterns of non-native speech, quality of the corrected speech significantly degrades due to the use of analysis-synthesis process to generate the corrected speech. In this report, we propose a method for correcting durational patterns using direct waveform modification for performing DTW. In calculating a temporal warping function, statistical voice conversion is effectively used to reduce an adverse effect caused by speaker differences. Moreover, phoneme insertion often observed in non-native speech is also handled. We conducted an experimental evaluation using English speech read by Japanese, demonstrating that the proposed method was capable of flexibly modifying durational patterns while avoiding quality degradation caused by the analysis-synthesis process. Furthermore, waveform segments suffering from quality degradation caused by temporal warping was analyzed using the modulation spectrum of spectral parameters. |
| キーワード(和) | 非母語音声 / 継続長補正 / 動的時間伸縮 / 波形加工 / 変調スペクトル |
| キーワード(英) | non-native speech / correction of durational patterns / dynamic time warping / waveform modification / modulation spectrum |
| 資料番号 | SP2015-73 |
| 発行日 | 2015-11-25 (SP) |
| 研究会情報 | |
| 研究会 | NLC / IPSJ-NL / SP / IPSJ-SLP |
|---|---|
| 開催期間 | 2015/12/2(から3日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | Nagoya Inst of Tech. |
| テーマ（和） | 第2回自然言語処理シンポジウム ＆ 第17回音声言語シンポジウム |
| テーマ（英） | The Second Natural Language Processing Symposium & The 17th Spoken Language Symposium |
| 委員長氏名（和） | 竹内 孔一(岡山大) / 乾 健太郎(東北大) / 間野 一則(芝浦工大) / 篠田 浩一(東工大) |
| 委員長氏名（英） | Koichi Takeuchi(Okayama Univ.) / Kentaro Inui(Tohoku Univ.) / Kazunori Mano(Shibaura Inst. of Tech.) / Koichi Shinoda(東工大) |
| 副委員長氏名（和） | 金山 博(日本IBM) / 市瀬 眞(NTTドコモ) / / 北岡 教英(徳島大) |
| 副委員長氏名（英） | Hiroshi Kanayama(IBM) / Makoto Ichise(NTT DoCoMo) / / Norihide Kitaoka(Tokushima Univ.) |
| 幹事氏名（和） | 榊 剛史(東大/ホットリンク) / 渡辺 靖彦(龍谷大) / 荒瀬 由紀(大阪大) / 岡崎 直観(東北大) / 木村 俊也(ミクシィ) / 小町 守(首都大学東京) / 森 信介(京都大) / 岩野 公司(東京都市大) / 滝口 哲也(神戸大) / 李 晃伸(名工大) / 南條 浩輝(龍谷大) / 篠原 雄介(東芝) |
| 幹事氏名（英） | Takeshi Sakaki(Univ. of Tokyo/Hottolink) / Yasuhiko Watanabe(Ryukoku Univ.) / Yuki Arase(Osaka Univ.) / Naoaki Okazaki(Tohoku Univ.) / Toshiya Kimura(Mixi Co. Ltd.) / Mamoru Komachi(Tokyo Met. Univ.) / Shinsuke Mori(Kyoto Univ.) / Koji Iwano(Tokyo City Univ.) / Tetsuya Takiguchi(Kobe Univ.) / Akinobu Lee(名工大) / Hiroaki Nanjo(龍谷大) / 篠原 雄介(東芝) |
| 幹事補佐氏名（和） | 嶋田 和孝(九工大) / 東中 竜一郎(NTT) / / 能勢 隆(東北大) / 浅見 太一(NTT) |
| 幹事補佐氏名（英） | Kazutaka Shimada(Kyushu Inst. of Tech.) / Ryuichiro Higashinaka(NTT) / / Takashi Nose(Tohoku Univ.) / Taichi Asami(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Natural Language Understanding and Models of Communication / Special Interest Group on Natural Language / Technical Committee on Speech / Special Interest Group on Spoken Language Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 音声波形加工に基づく非母語音声の継続長補正法の評価と分析 |
| サブタイトル（和） | |
| タイトル（英） | Evaluation and Analysis of Duration Correction for Non-Native Speech Based on Waveform Modification |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 非母語音声 / non-native speech |
| キーワード(2)（和/英） | 継続長補正 / correction of durational patterns |
| キーワード(3)（和/英） | 動的時間伸縮 / dynamic time warping |
| キーワード(4)（和/英） | 波形加工 / waveform modification |
| キーワード(5)（和/英） | 変調スペクトル / modulation spectrum |
| 第 1 著者 氏名（和/英） | 倶羅 真也 / Shinya Kura |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 2 著者 氏名（和/英） | 高道 慎之介 / Shinnosuke Takamichi |
| 第 2 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 3 著者 氏名（和/英） | 戸田 智基 / Tomoki Toda |
| 第 3 著者 所属（和/英） | 奈良先端科学技術大学院大学/名古屋大学(略称：奈良先端大/名大) Nara Institute of Science and Technology/Nagoya University(略称：NAIST/Nagoya Univ.) |
| 第 4 著者 氏名（和/英） | ニュービッグ グラム / Graham Neubig |
| 第 4 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 5 著者 氏名（和/英） | サクティ サクリアニ / Sakriani Sakti |
| 第 5 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 6 著者 氏名（和/英） | 中村 哲 / Satoshi Nakamura |
| 第 6 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 発表年月日 | 2015-12-02 |
| 資料番号 | SP2015-73 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | SP-346 |
| ページ範囲 | pp.19-24(SP), |
| ページ数 | 6 |
| 発行日 | 2015-11-25 (SP) |