電子情報通信学会 研究会発表申込システム
講演論文 詳細
技報閲覧サービス
技報オンライン
‥‥ (ESS/通ソ/エレソ/ISS)
技報アーカイブ
‥‥ (エレソ/通ソ)
 トップに戻る 前のページに戻る   [Japanese] / [English] 

講演抄録/キーワード
講演名 2016-03-05 09:30
読唇付き補聴器 ~ 母音推定を用いた音声強調 ~
飯沼嗣業松本哲也名大)・竹内義則大同大)・工藤博章大西 昇名大WIT2015-98
抄録 (和) 工事現場やカクテルパーティなどの高雑音環境下において,聴覚のみで正確に聞き取り,理解することは計算機のみならず人間においても困難である.ノイズ除去によって精度を向上させる試みもあるが,ノイズの種類によって性能が左右され,非定常雑音環境下では思うように精度が出せない場合がある.しかし,こういった環境下でも認識精度を向上させるために,人間は視覚をも用いて聞き取りを行っているという事実がある.それと同様に計算機においても視覚情報を利用することで聞き取り精度を向上しようという試みがある.
そこで本研究では,画像の情報,特に唇の情報を新たに加え,唇の動きを捉える読唇という方法を実装することで解決を試みる.そして,唇の動きから母音を推定し,母音ごとの特徴に合致した音声強調を行うことで,ノイズの種類に依存しない音声認識精度が向上する補聴器システムを提案する.提案システムは,顔・唇の特徴量抽出,画像を利用した母音推定,音声強調処理の3つで構成される.顔・唇の特徴量抽出ではActive Appearance Modelに基づいた特徴点の取得が用いられる.画像を利用した母音推定では,多層パーセプトロンが用いられ,音声強調処理ではバターワースフィルターを用いた音声強調が行われる.
音声と画像それぞれに対する性能評価の実験が行われた.
画像による母音認識精度実験では,F値は最大でも0.383と低かった.これはデータの取得方法に問題があり,より自然な発話時のデータを多量に用意する必要があることが確認された.音声の評価実験では,機械による認識率は,路上ノイズを用いてSN比0dBのとき音声強調フィルター適用前が48%であるのに対し,適用後が40%と低い評価であった.このことから,提案手法は機械による認識に向いていないことが実証された.しかし,聴覚による単音母音判別実験における認識率は,路上ノイズを用いてSN比-15dBのとき,音声強調フィルター適用前が40%であったのに対し,適用後は90%であり,その差は50%と大幅な精度の向上を達成した.また,カクテルパーティノイズを用いてSN比-15dBの場合に,音声強調フィルターを適用後の認識率は96%であり,ノイズの種類に拠らずに精度の向上が確認された.
これらの実験から,提案システムは機械による認識に必要な特徴を失ってはいるが,聴覚では高い精度で認識されること,ノイズに拠らずに精度が向上することを示した. 
(英) Under highly noisy environments such as construction sites and cocktail parties, it is difficult for not only humans but also computers to understand speeches only by hearing. It is, however, possible to improve speech recognition accuracy even in such environments by using visual information, just as humans can do so. In this paper we try to improve speech recognition accuracy by adding the image information (especially information of the lips), and implementing the method of lip reading to capture the lip movements.
Then, we propose a hearing aid system which estimates the vowels from the lip movement, and enhances speech by applying a vowel-filter matched to the estimated vowel. This system is expected to perform high speech recognition accuracy not-depending on the type of noises. The proposed system consists of three parts: face-lip feature extraction, vowel estimation by the extracted features, and speech enhancement. In the face-lip feature extraction, feature points are acquired by using the Active Appearance Model. The vowel is estimated from face images by using a multilayer perceptron. Finally, input speech corrupted with noise is enhanced by applying a Butterworth filter matched to the estimated vowel.
We conducted experiments to evaluate the system performances.
In the experiment of vowel recognition from images, F value is low as 0.383 at the best. This is caused by a problem in obtaining the data, and it said that we have to prepare a large amount of more natural speech data. In the experiment of voice recognition, recognition rate by the machine under SNR 0 dB (street noise) is 40 % when applying the speech enhancement filter, while it is 48 % when not applying. Thus the application of the enhancement filter results low accuracy in the machine recognition. This suggests that the proposed method is not suitable for recognition by the machine. In the experiment of monophonic vowel discrimination by humans, however, the recognition rate under SNR -15 dB (street noise) is 90 % when applying the speech enhancement filter , while it is 40 % when not applying. There is a significant accuracy improvement of 50 %. Similarly in the case of SNR -15dB using cocktail party noise, the recognition rate after application of the speech enhancement filter is 96 %, while it is 34 % before application.
It is said that application of the vowel enhancement filter can improve accuracy regardless of the type of noises.
キーワード (和) 読唇 / 補聴器 / 音声強調 / / / / /  
(英) Lip Reading / Hearing Aid / Speech Enhancement / / / / /  
文献情報 信学技報, vol. 115, no. 491, WIT2015-98, pp. 53-58, 2016年3月.
資料番号 WIT2015-98 
発行日 2016-02-26 (WIT) 
ISSN Print edition: ISSN 0913-5685  Online edition: ISSN 2432-6380
著作権に
ついて
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034)
PDFダウンロード WIT2015-98

研究会情報
研究会 WIT  
開催期間 2016-03-04 - 2016-03-05 
開催地(和) 筑波技術大学春日キャンパス(つくば) 
開催地(英) Tusukuba Univ. of Tech.(Tsukuba) 
テーマ(和) 聴覚・視覚障害者支援、一般 
テーマ(英) Hearing / Visually impaired person support technology, etc. 
講演論文情報の詳細
申込み研究会 WIT 
会議コード 2016-03-WIT 
本文の言語 日本語 
タイトル(和) 読唇付き補聴器 
サブタイトル(和) 母音推定を用いた音声強調 
タイトル(英) Hearing Aid with Lip Reading 
サブタイトル(英) Speech Enhancement using Vowel Estimation 
キーワード(1)(和/英) 読唇 / Lip Reading  
キーワード(2)(和/英) 補聴器 / Hearing Aid  
キーワード(3)(和/英) 音声強調 / Speech Enhancement  
キーワード(4)(和/英) /  
キーワード(5)(和/英) /  
キーワード(6)(和/英) /  
キーワード(7)(和/英) /  
キーワード(8)(和/英) /  
第1著者 氏名(和/英/ヨミ) 飯沼 嗣業 / Yuzuru Iinuma / イイヌマ ユヅル
第1著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第2著者 氏名(和/英/ヨミ) 松本 哲也 / Tetsuya Matsumoto / マツモト テツヤ
第2著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第3著者 氏名(和/英/ヨミ) 竹内 義則 / Yoshinori Takeuchi / タケウチ ヨシノリ
第3著者 所属(和/英) 大同大学 (略称: 大同大)
Daido University (略称: Daido Univ.)
第4著者 氏名(和/英/ヨミ) 工藤 博章 / Hiroaki Kudo / クドウ ヒロアキ
第4著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第5著者 氏名(和/英/ヨミ) 大西 昇 / Noboru Ohnishi / オオニシ ノボル
第5著者 所属(和/英) 名古屋大学 (略称: 名大)
Nagoya University (略称: Nagoya Univ.)
第6著者 氏名(和/英/ヨミ) / /
第6著者 所属(和/英) (略称: )
(略称: )
第7著者 氏名(和/英/ヨミ) / /
第7著者 所属(和/英) (略称: )
(略称: )
第8著者 氏名(和/英/ヨミ) / /
第8著者 所属(和/英) (略称: )
(略称: )
第9著者 氏名(和/英/ヨミ) / /
第9著者 所属(和/英) (略称: )
(略称: )
第10著者 氏名(和/英/ヨミ) / /
第10著者 所属(和/英) (略称: )
(略称: )
第11著者 氏名(和/英/ヨミ) / /
第11著者 所属(和/英) (略称: )
(略称: )
第12著者 氏名(和/英/ヨミ) / /
第12著者 所属(和/英) (略称: )
(略称: )
第13著者 氏名(和/英/ヨミ) / /
第13著者 所属(和/英) (略称: )
(略称: )
第14著者 氏名(和/英/ヨミ) / /
第14著者 所属(和/英) (略称: )
(略称: )
第15著者 氏名(和/英/ヨミ) / /
第15著者 所属(和/英) (略称: )
(略称: )
第16著者 氏名(和/英/ヨミ) / /
第16著者 所属(和/英) (略称: )
(略称: )
第17著者 氏名(和/英/ヨミ) / /
第17著者 所属(和/英) (略称: )
(略称: )
第18著者 氏名(和/英/ヨミ) / /
第18著者 所属(和/英) (略称: )
(略称: )
第19著者 氏名(和/英/ヨミ) / /
第19著者 所属(和/英) (略称: )
(略称: )
第20著者 氏名(和/英/ヨミ) / /
第20著者 所属(和/英) (略称: )
(略称: )
講演者
発表日時 2016-03-05 09:30:00 
発表時間 25 
申込先研究会 WIT 
資料番号 IEICE-WIT2015-98 
巻番号(vol) IEICE-115 
号番号(no) no.491 
ページ範囲 pp.53-58 
ページ数 IEICE-6 
発行日 IEICE-WIT-2016-02-26 


[研究会発表申込システムのトップページに戻る]

[電子情報通信学会ホームページ]


IEICE / 電子情報通信学会