| 講演名 | 2014-06-20 手話動作の3要素に基づく実時間手話認識(認識・識別システム,聴覚,福祉,音声一般) 波多野 美歌, 酒向 慎司, 北村 正, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 手話を認識するためには手話動作から特徴抽出を行う必要があるが,視覚言語である手話は複数の構成素から成り立つため,認識対象とする構成素や使用特徴量として様々な組み合わせが考えられる.そのため,使用するセンサや特徴量が個々の研究によって異なり,手話データの汎用化が難しい.このような手話認識における研究背景を踏まえると,センサや使用特徴量に依存しない認識方法を確立することが望ましい.手話は音韻学的に,主に「手の位置」,「手の動き」,「手の形」の3要素から構成されていると言われており,本研究ではこの考えに基づき,センサから得られた特徴量を3要素における抽象化されたパターンに変換し,認識を行う手法を提案する.これにより,各パターンへの変換以降の処理を統一することができ,パターンの組み合わせにより手話単語の認識を行うため,計算コストを大幅に削減し,実時間での認識を可能にする.パターンの抽象化は手話単語辞書である日本手話・日本語辞書システムの表記法に基づいて行う.手話認識の辞書データとして大語彙が収録されているものを採用することで,大語彙認識への発展に期待できる.また,本手法の有効性を検証するために,手話単語の認識実験を行う.手の動きの認識にはHMM,手形状の認識には深度画像によるテンプレートマッチング手の位置の認識には最尤推定法による正規分布を用いる.辞書の表記法に基づいた3要素の認識モデルを用意し,深度センサKinectを用いた,100単語を対象とした実時間での孤立単語認識実験を試みる. |
| 抄録(英) | In sign language recognition, an unified recognizing method is necessary because of many methods to capture sign language motion by different sensor devices. We propose a method with abstraction of sign language motion based on three elements of sign language: hand's motion, position, and form. The method enables sign language recognition without depending on feature parameters. Furthermore, it also can handle large vocabulary recognition if we use large vocabulary dictionary to decide rules of abstraction. In this paper, we performed an experiment of sign language words recognition. In this experiment, we used HMM for recognition of moving, template matching of depth image for recognition of form, and the normal distribution learned by maximum likelihood estimation for recognition of position. Based on our proposal method, we prepared recognition models of each element and conducted an experiment of real-time 100 sign language words recognition based on a sign language words dictionary using the depth sensor, Kinect. |
| キーワード(和) | 手話認識 / 実時間 / Kinect / HMM / テンプレートマッチング |
| キーワード(英) | sign language recognition / real-time / Kinect / HMM / template matching |
| 資料番号 | SP2014-58,WIT2014-13 |
| 発行日 |
| 研究会情報 | |
| 研究会 | WIT |
|---|---|
| 開催期間 | 2014/6/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Well-being Information Technology(WIT) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 手話動作の3要素に基づく実時間手話認識(認識・識別システム,聴覚,福祉,音声一般) |
| サブタイトル（和） | |
| タイトル（英） | Real-time Sign Language Recognition based on three Elements of Sign Language |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 手話認識 / sign language recognition |
| キーワード(2)（和/英） | 実時間 / real-time |
| キーワード(3)（和/英） | Kinect / Kinect |
| キーワード(4)（和/英） | HMM / HMM |
| キーワード(5)（和/英） | テンプレートマッチング / template matching |
| 第 1 著者 氏名（和/英） | 波多野 美歌 / Mika HATANO |
| 第 1 著者 所属（和/英） | 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engeneering, Graduaite School of Engeneering, Nagoya Institute of Technology |
| 第 2 著者 氏名（和/英） | 酒向 慎司 / Shinji SAKO |
| 第 2 著者 所属（和/英） | 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engeneering, Graduaite School of Engeneering, Nagoya Institute of Technology |
| 第 3 著者 氏名（和/英） | 北村 正 / Tadashi KITAMURA |
| 第 3 著者 所属（和/英） | 名古屋工業大学大学院工学研究科情報工学専攻 Department of Computer Science and Engeneering, Graduaite School of Engeneering, Nagoya Institute of Technology |
| 発表年月日 | 2014-06-20 |
| 資料番号 | SP2014-58,WIT2014-13 |
| 巻番号（vol） | vol.114 |
| 号番号（no） | 92 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |