| 講演名 | 2022-03-08 ディープ・ラーニングを用いた手話認識に関する研究 磯谷 光(豊田高専), 木村 勉(豊田高専), 神田 和幸(国立民族学博物館), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では機械学習を用いた手話認識において，手話文中で使用されている単語の認識を目的とする．手話文中に発生する遷移動作を考慮して学習するために，手話文を学習データとして機械学習を行い，学習済みモデルを作成する．本研究では音声認識における手法であるConnectionist Temporal Classification (CTC)を組み込んだモデルと，自然言語処理で活用されるTransformerを利用したConformerネットワークを使用したモデルの2つの手法で実験した．最終的にテストデータ全体の認識率はCTC手法が約74%，Conformer手法が約32%となった．しかし，Conformer手法の認識結果は過学習のような現象が見られ，正常に動作していない可能性があると考えた．今後はConformer手法の改善を進めつつ，TransformerとCTCを組み合わせた新たなアルゴリズムについても検討する． |
| 抄録(英) | In this study, our purpose is to recognize signs using machine learning. In order to take into account the transition motions that occur in a sign sentence, machine learning adopts the sign sentences as training data, and a trained model is created. We experimented two models: one that incorporates Connectionist Temporal Classification (CTC) which is a method used in speech recognition, and the other is a conformer model that uses a transformer used in natural language processing. As the result, the recognition rate for the entire test data was about 74% by the CTC method and about 32% by the Conformer method. However, the recognition results of the Conformer method showed a phenomenon as over-learning, and we estimated that it might worked properly. We will improve the Conformer method and will investigate a new algorithm that combines the Transformer with CTC. |
| キーワード(和) | 手話認識 / ディープ・ラーニング / Connectionist Temporal Classification / Transformer / Conformer |
| キーワード(英) | Sign Recognition / Deep Learning / Connectionist Temporal Classification / Transformer / Conformer |
| 資料番号 | WIT2021-48 |
| 発行日 | 2022-03-01 (WIT) |
| 研究会情報 | |
| 研究会 | WIT / IPSJ-AAC |
|---|---|
| 開催期間 | 2022/3/8(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 聴覚・視覚障害者支援、一般 |
| テーマ（英） | |
| 委員長氏名（和） | 酒向 慎司(名工大) |
| 委員長氏名（英） | Shinji Sakou(Nagoya Inst. of Tech.) |
| 副委員長氏名（和） | 雨宮 智浩(東大) |
| 副委員長氏名（英） | Tomohiro Amemiya(Univ. of Tokyo) |
| 幹事氏名（和） | 半田 隆志(埼玉県産業技術総合センター) / 塩野目 剛亮(帝京大) / 宮城 愛美(筑波技術大) |
| 幹事氏名（英） | Takashi Handa(Saitama Industrial Tech. Center) / Takeaki Shionome(Teikyo Univ.) / Manabi Miyagi(Tsukuba Univ. of Tech.) |
| 幹事補佐氏名（和） | 細野 美奈子(産総研) / 菅野 亜紀(名大) / 小森 智康(NHK) |
| 幹事補佐氏名（英） | Minako Hosono(AIST) / Aki Sugano(Nagoya Univ.) / Tomoyasu Komori(NHK) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Well-being Information Technology / Special Interest Group on Assistive & Accessible Computin |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ディープ・ラーニングを用いた手話認識に関する研究 |
| サブタイトル（和） | CTCとConformerの比較 |
| タイトル（英） | A Study on Sign Recognition Using Deep Learning |
| サブタイトル（和） | Comparison between CTC and Conformer |
| キーワード(1)（和/英） | 手話認識 / Sign Recognition |
| キーワード(2)（和/英） | ディープ・ラーニング / Deep Learning |
| キーワード(3)（和/英） | Connectionist Temporal Classification / Connectionist Temporal Classification |
| キーワード(4)（和/英） | Transformer / Transformer |
| キーワード(5)（和/英） | Conformer / Conformer |
| 第 1 著者 氏名（和/英） | 磯谷 光 / Hikaru Isogai |
| 第 1 著者 所属（和/英） | 豊田工業高等専門学校(略称：豊田高専) National Institute of Technology, Toyota College(略称：NIT, Toyota College) |
| 第 2 著者 氏名（和/英） | 木村 勉 / Tsutomu Kimura |
| 第 2 著者 所属（和/英） | 豊田工業高等専門学校(略称：豊田高専) National Institute of Technology, Toyota College(略称：NIT, Toyota College) |
| 第 3 著者 氏名（和/英） | 神田 和幸 / Kanda Kazuyuki |
| 第 3 著者 所属（和/英） | 国立民族学博物館(略称：国立民族学博物館) National Museum of Ethnology(略称：National Museum of Ethnology) |
| 発表年月日 | 2022-03-08 |
| 資料番号 | WIT2021-48 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | WIT-418 |
| ページ範囲 | pp.29-34(WIT), |
| ページ数 | 6 |
| 発行日 | 2022-03-01 (WIT) |