| 講演名 | 2022-03-04 複数のセンサを用いる無発声単語認識に関する研究 草本 雅也(日本工大), 大田 健紘(日本工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究は，複数のセンサを用いた無発声単語認識の有効性を明らかにすることを目的とする．無発声音声認識の一つの手段として可視光カメラを用いた場合，口形の変化が類似している単語については識別が困難となる課題がある．そのため，可視光カメラ及びサーモグラフィー，筋電位センサを用いて，発話動作から口の動きや口内の情報に関する時系列データを取得し，それらを融合する深層学習を行った．その結果，サーモグラフィーにより得られた熱動画像を学習データに含むことが認識性能の向上に寄与した．特に熱動画像と筋電位を融合することで最良の認識性能が得られた． |
| 抄録(英) | The aim of this study is to clarify the effectiveness of silent word recognition using multiple sensors. When a visible light camera is used as one means of silent speech recognition, there is a problem that it is difficult to identify words with similar changes in mouth shape. Hence, we acquired time-series data on mouth movements and information in oral cavity by using a visible light camera, thermography, and EMG sensor, and performed deep learning by fusing these data. As a result, including the thermal image obtained by thermography in the training data contributed to the improvement of recognition performance. In particular, the best recognition performance was obtained by fusing the thermal image and EMG. |
| キーワード(和) | 口唇部特徴点 / 筋電位 / 熱動画像 / 機械読唇 / 深層学習 |
| キーワード(英) | mouth feature points / EMG / thermal image / lipreading / deep learning |
| 資料番号 | MICT2021-104 |
| 発行日 | 2022-02-25 (MICT) |
| 研究会情報 | |
| 研究会 | MICT / EMCJ |
|---|---|
| 開催期間 | 2022/3/4(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | ヘルスケア・医療情報通信技術，生体，EMC，一般 |
| テーマ（英） | Healthcare and Medical Information Communication Technologies, EMC, etc |
| 委員長氏名（和） | 花田 英輔(佐賀大) / 西方 敦博(東工大) |
| 委員長氏名（英） | Eisuke Hanada(Saga Univ.) / Atsuhiro Nishikata(Tokyo Inst. of Tech.) |
| 副委員長氏名（和） | 田中 宏和(広島市大) / 安在 大祐(名工大) / 田島 公博(NTT-AT) |
| 副委員長氏名（英） | Hirokazu Tanaka(Hiroshima City Univ.) / Daisuke Anzai(Nagoya Inst. of Tech.) / Kimihiro Tajima(NTT-AT) |
| 幹事氏名（和） | 小林 匠(横浜国大) / 石田 開(神奈川県立産業技術総研) / 林 優一(奈良先端大) / 高橋 昌義(日立) |
| 幹事氏名（英） | Takumi Kobayashi(Yokohama National Univ.) / Kai Ishida(KISTEC) / Yuichi Hayashi(NAIST) / Masayoshi Takahashi(Hitachi) |
| 幹事補佐氏名（和） | 伊藤 孝弘(広島市立大) / 高林 健人(岡山県立大) / 西川 拓也(国立循環器病研究センター) / 松島 清人(日立) / 志田 浩義(EMCテック) / 松嶋 徹(九工大) |
| 幹事補佐氏名（英） | Takahiro Ito(Hiroshima City Univ) / Kento Takabayashi(Okayama Pref. Univ.) / Takuya Nishikawa(National Cerebral and Cardiovascular Center Hospital) / Kiyoto Matsushima(Hitachi) / Hiroyoshi Shida(EMC Tech.) / Toru Matsushima(Kyushu Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Healthcare and Medical Information Communication Technology / Technical Committee on Electromagnetic Compatibility |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 複数のセンサを用いる無発声単語認識に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | A study on silent word recognition using various sensors |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 口唇部特徴点 / mouth feature points |
| キーワード(2)（和/英） | 筋電位 / EMG |
| キーワード(3)（和/英） | 熱動画像 / thermal image |
| キーワード(4)（和/英） | 機械読唇 / lipreading |
| キーワード(5)（和/英） | 深層学習 / deep learning |
| 第 1 著者 氏名（和/英） | 草本 雅也 / Masaya Kusamoto |
| 第 1 著者 所属（和/英） | 日本工業大学(略称：日本工大) Nippon Institute of Technology(略称：NIT) |
| 第 2 著者 氏名（和/英） | 大田 健紘 / Kenko Ota |
| 第 2 著者 所属（和/英） | 日本工業大学(略称：日本工大) Nippon Institute of Technology(略称：NIT) |
| 発表年月日 | 2022-03-04 |
| 資料番号 | MICT2021-104 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | MICT-404 |
| ページ範囲 | pp.19-24(MICT), |
| ページ数 | 6 |
| 発行日 | 2022-02-25 (MICT) |