お知らせ 研究会の開催と会場に参加される皆様へのお願い(2020年10月開催~)
電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
[ログイン]
技報アーカイブ
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2018-06-28 14:40
音声と口唇形状を用いた声質変換による舌亜全摘出者の音韻明瞭度改善の検討
荻野聖也村上博紀原 直阿部匡伸岡山大PRMU2018-23 SP2018-3
抄録 (和) 本報告では舌亜全摘出者が発声する音声の音韻明瞭度改善を目的として,音響情報と口唇情報を用いたマルチモーダル声質変換方式を提案する.
舌亜全摘出者は癌治療などにより手術で舌を半分以上摘出した人であり,舌亜全摘出者が発声した音声は健常者と比べると音韻明瞭度が低い.
そこで,DNN(Deep Neural Network)に基づく声質変換により舌亜全摘出者の音声を健常者の音声に変換することで音韻明瞭度の改善をおこなう.
音響情報のみを用いたベースライン方式では,舌亜全摘出者の音韻明瞭性の改善は十分ではない.
そこで,提案方式として口唇情報を加えたマルチモーダル声質変換で音韻明瞭性の更なる改善を目指す.
口唇情報はMicrosoft Kinect v2 の顔検出機能により得られる,特徴点の3 次元座標を用いる.
評価実験では客観評価実験により声質変換精度を,主観評価実験により変換音声の音韻明瞭度を評価した.
結果からベースライン方式に比べて,変換精度の向上は見られなかったものの,提案方式では音韻明瞭度が改善された. 
(英) In this paper, we propose the multimodal voice conversion based on Deep Neural Network using audio and lip movement information for improving speech intelligibility uttered by glossectomy patients.
The glossectomy patients remove more than half of their tongue, sound uttered by them contain less intelligibility compared to healthy persons.
In beseline using audio information, intelligibility isn't imporved enough.
Hence, we improve more by the multimodal voice conversion.
The lip movement information is face feature points obtained by Microsoft Kinect v2.
From the result of evaluation, proposed approach cannot improve precision of voice conversion, but can improve intelligibility compared to baseline.
キーワード (和) マルチモーダル声質変換 / Deep Neural Network / 舌亜全摘出者 / 音韻明瞭度 / Microsoft Kinect v2 / / /  
(英) multimodal voice conversion / Deep Neural Network / glossectomy patients / speech intelligibility / Microsoft Kinect v2 / / /  
文献情報 信学技報, vol. 118, no. 112, SP2018-3, pp. 7-12, 2018年6月.
資料番号 SP2018-3 
発行日 2018-06-21 (PRMU, SP) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード PRMU2018-23 SP2018-3

研究会情報
研究会 PRMU SP  
開催期間 2018-06-28 - 2018-06-29 
開催地(和) 信州大学 
開催地(英)  
テーマ(和) マルチモーダル/クロスモーダルな認識、生成 
テーマ(英)  
講演論文情報の詳細
申込み研究会 SP 
会議コード 2018-06-PRMU-SP 
本文の言語 日本語 
タイトル(和) 音声と口唇形状を用いた声質変換による舌亜全摘出者の音韻明瞭度改善の検討 
サブタイトル(和)  
タイトル(英) Study of improving speech intelligibility for glossectomy patients via voice conversion with sound and lip movement. 
サブタイトル(英)  
キーワード(1)(和/英) マルチモーダル声質変換 / multimodal voice conversion  
キーワード(2)(和/英) Deep Neural Network / Deep Neural Network  
キーワード(3)(和/英) 舌亜全摘出者 / glossectomy patients  
キーワード(4)(和/英) 音韻明瞭度 / speech intelligibility  
キーワード(5)(和/英) Microsoft Kinect v2 / Microsoft Kinect v2  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 荻野 聖也 / Seiya Ogino / オギノ セイヤ
第1著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第2著者 氏名(和/英/ヨミ) 村上 博紀 / Hiroki Murakami / ムラカミ ヒロキ
第2著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第3著者 氏名(和/英/ヨミ) 原 直 / Sunao Hara / ハラ スナオ
第3著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第4著者 氏名(和/英/ヨミ) 阿部 匡伸 / Masanobu Abe / アベ マサノブ
第4著者 所属(和/英) 岡山大学 (略称: 岡山大)
Okayama University (略称: Okayama Univ.)
第5著者 氏名(和/英/ヨミ) / /
第5著者 所属(和/英) (略称: )
(略称: )
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2018-06-28 14:40:00 
発表時間 30 
申込先研究会 SP 
資料番号 IEICE-PRMU2018-23,IEICE-SP2018-3 
巻番号(vol) IEICE-118 
号番号(no) no.111(PRMU), no.112(SP) 
ページ範囲 pp.7-12 
ページ数 IEICE-6 
発行日 IEICE-PRMU-2018-06-21,IEICE-SP-2018-06-21 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会