| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2019-01-27 11:30 読唇のためのDCCAを用いたマルチモーダルデータ拡張 ○下西雅樹・田村哲嗣・速水 悟（岐阜大）  SP2018-60 |
|
| 抄録 | （和） | 本論文では，深層学習における新たなdata augmentationの手法として，multimodal data augmentationを提案する.これは，深層正準相関分析 (DCCA) を用いて異なるモダリティの特徴量を同一空間上へと写像し，とあるモダリティのデータを別のモダリティのデータとして扱うことで data augmentation を実現させる手法である.本論文ではdata augmentationを行うタスクとして画像のみの音声認識である読唇を選択し，音声データを用いて画像データのdata augmentationを行うことを試みた.認識モデルの構築には深層学習の手法の一つであるLSTMを採用し，画像特徴量と雑音付加によりdata augmentationを施した音響特徴量の両方を用いてモデルの学習を行った.実験の結果，DCCAを用いることで他のモダリティからのdata augmentationが可能なことを示し，学習データからは観測できない特徴を他のモダリティから獲得することで，モデルの性能を向上させることができた. |
| （英） | This paper proposes ta new data augmentation strategy for deep learning, in which feature vectors in one modality can be used as an additional training data set in the target modality by means of Deep Canonical Correlation Analysis (DCCA). Particularly, this work applies our scheme to visual speech recognition, i.e. lipread- ing, employing audio training feature vectors. A long short-term memory is chosen as a recognition model, which is built using visual training data and augmented data from the audio modality. We evaluated our method using an audio-visual corpus, preparing audio data by adding acoustic noises. Experimental results show applying DCCA enables us to augment training data from the other modalities, and it is turned out that we can further improve the model by implicitly utilize information and knowledge in those modalities. | |
| キーワード | （和） | 読唇 / 深層学習 / 深層正準相関分析 / マルチモーダル音声認識 / / / / |
| （英） | lip reading / deep learning / deep canonical correlation analysis / multimodal speech recognition / / / / | |
| 文献情報 | 信学技報, vol. 118, no. 426, SP2018-60, pp. 41-45, 2019年1月. | |
| 資料番号 | SP2018-60 | |
| 発行日 | 2019-01-19 (SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2018-60 |
|
| 研究会情報 | |
| 研究会 | SP |
| 開催期間 | 2019-01-26 - 2019-01-27 |
| 開催地（和） | ハルモニー金沢 |
| 開催地（英） | Kanazawa-Harmonie |
| テーマ（和） | 合成、生成、韻律、防災放送、音声一般、 |
| テーマ（英） | Speech Synthesis, Generation, Prosody, Emergency Broadcast, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2019-01-SP |
| 本文の言語 | 日本語 |
| タイトル（和） | 読唇のためのDCCAを用いたマルチモーダルデータ拡張 |
| サブタイトル（和） | |
| タイトル（英） | Multimodal Data Augmentation for Visual Speech Recognition using Deep Canonical Correlation Analysis |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 読唇 / lip reading |
| キーワード(2)（和/英） | 深層学習 / deep learning |
| キーワード(3)（和/英） | 深層正準相関分析 / deep canonical correlation analysis |
| キーワード(4)（和/英） | マルチモーダル音声認識 / multimodal speech recognition |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 下西 雅樹 / Masaki Shimonishi / シモニシ マサキ |
| 第1著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu University) |
| 第2著者 氏名（和/英/ヨミ） | 田村 哲嗣 / Satoshi Tamura / タムラ サトシ |
| 第2著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu University) |
| 第3著者 氏名（和/英/ヨミ） | 速水 悟 / Satoru Hayamizu / ハヤミズ サトル |
| 第3著者 所属（和/英） | 岐阜大学 (略称： 岐阜大) Gifu University (略称： Gifu University) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2019-01-27 11:30:00 |
| 発表時間 | 25分 |
| 申込先研究会 | SP |
| 資料番号 | SP2018-60 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | no.426 |
| ページ範囲 | pp.41-45 |
| ページ数 | 5 |
| 発行日 | 2019-01-19 (SP) |
[研究会発表申込システムのトップページに戻る]