| 講演名 | 2004/12/3 日本語リップリーディングシステム サーギル アラー, 鶴田 直之, 谷口 倫一郎, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | リップリーディングは人間とコンピュータのインタフェースとして有用な手段の1つである.本稿では,我々が従来から研究を進めているHCM(Hypercolumn neural network Model)と隠れマルコフモデルを用いたリップリーディングシステムについて述べる.我々が提案するシステムではHCMを用いて画像から特徴を抽出し,隠れマルコフモデルを用いて特徴系列の認識を行う.HCMは位置不変,サイズ不変の特徴抽出を実現できるので,本システムでは対象を撮影する位置を固定せずに,認識を行うことができる.本システムの有効性を確認するために,日本語の文章を対象としたリップリーディングの実験を行った.対象画像は顔をクローズアップしたモノクロ画像であり,比較のため,特徴抽出にSOM(自己組織化マップ)とDCT(離散コサイン変換)を用いたシステムの認識性能も評価した.実験から,HCMがSOMやDCTよりも画像特徴を的確に捉えており,認識性能が優れていることが示された. |
| 抄録(英) | Lip-reading is one of the most fertile topics of interface with computer, since it can smooth the Human-Computer Interface by introducing Human-Human interaction mechanism. In this talk, we introduce a novel Japanese lip-reading system combines our group's model, Hypercolumn neural network Model (HCM), with Hidden Markov Model (HMM). HCM is used to extract the visual speech features while HMM is used for recognition. The proposed lip-reading system can work under varying lip positions and sizes. Our experiments were carried out using multiple sentences of Japanese language. All images were captured in a natural environment without using a special lighting or lip markers. Experimental results are shown to compare favourably with the results of two reported approaches : Self Organizing Map (SOM) using same database set and Discrete Cosine Transform (DCT) using different database set. HCM provides better performance than both approaches. This demonstrates that HCM can extract and classify features in a better manner than SOM and DCT. |
| キーワード(和) | リップリーディング / 特徴抽出 / ハイパーコラムモデル / 自己組織化マップ / 隠れマルコフモデル |
| キーワード(英) | Lip-reading / Visual features extraction / Hypercolumn model / Self organizing map / Hidden markov model |
| 資料番号 | NC2004-113 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NC |
|---|---|
| 開催期間 | 2004/12/3(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Neurocomputing (NC) |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | 日本語リップリーディングシステム |
| サブタイトル（和） | |
| タイトル（英） | Japanese Lip-Reading System |
| サブタイトル（和） | |
| キーワード(1)（和/英） | リップリーディング / Lip-reading |
| キーワード(2)（和/英） | 特徴抽出 / Visual features extraction |
| キーワード(3)（和/英） | ハイパーコラムモデル / Hypercolumn model |
| キーワード(4)（和/英） | 自己組織化マップ / Self organizing map |
| キーワード(5)（和/英） | 隠れマルコフモデル / Hidden markov model |
| 第 1 著者 氏名（和/英） | サーギル アラー / Alaa Sagheer |
| 第 1 著者 所属（和/英） | 九州大学大学院システム情報科学府知能システム学専攻 Department of Intelligent Systems, Kyushu University |
| 第 2 著者 氏名（和/英） | 鶴田 直之 / Naoyuki Tsuruta |
| 第 2 著者 所属（和/英） | 福岡大学工学部電子情報工学科 Department of Electronics Engineering and Computer Science, Fukuoka University |
| 第 3 著者 氏名（和/英） | 谷口 倫一郎 / Rin-Ichiro Taniguchi |
| 第 3 著者 所属（和/英） | 九州大学大学院システム情報科学府知能システム学専攻 Department of Intelligent Systems, Kyushu University |
| 発表年月日 | 2004/12/3 |
| 資料番号 | NC2004-113 |
| 巻番号（vol） | vol.104 |
| 号番号（no） | 502 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |