| 講演名 | 2018-12-13 CTC-VATのための高速事後分布平滑化手法及びその文字列認識への応用 田中 遼平(東芝デジタルソリューションズ), 小野 聡一郎(東芝デジタルソリューションズ), 古畑 彰夫(東芝デジタルソリューションズ), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 半教師あり学習では，学習データとその近傍点での事後確率の分布間距離を最小化することで事後確率分布を平滑化するVirtual Adversarial Training(VAT)の有効性が確認されている．しかし，音声認識や文字列認識などのConnectionist Temporal Classification (CTC)を用いた系列の認識では，候補となるラベル列の組み合わせが膨大なため，事後確率分布及びそれらの分布間距離の計算のコストが高く，VATを適用することは難しかった．本研究では，事後確率の分布間距離の上界となる値を最小化することで，低コストで事後確率分布を平滑化する高速事後分布平滑化手法を提案する．その応用として文字列認識を対象とした半教師あり学習実験を行い，平易な半教師あり学習手法であるself-trainingと比較して35%程度精度が向上することを確認した． |
| 抄録(英) | Virtual Adversarial Training (VAT), which smooths posterior distribution by minimizing distributional distance of posterior probabilities between training data and their neighborhoods, achieves success in semi-supervised learning. However, it is difficult to apply VAT to sequential label predictions such as speech recognition and text line recognition because there are so many possible label sequences that calculating posterior distributions and the distributional distance between them is costly. In this research, we propose a fast distributional smoothing method which minimizes an upper bound of the distributional distance. Furthermore, an experiment on text line recognition showed that VAT with fast distributional smoothing improved prediction accuracies by approximately 35% compared to simple self-training. |
| キーワード(和) | Connectionist Temporal Classification / Virtual Adversarial Training / 半教師あり学習 / 文字列認識 |
| キーワード(英) | Connectionist Temporal Classification / Virtual Adversarial Training / Semi-supervised Learning / Text Line Recognition |
| 資料番号 | PRMU2018-80 |
| 発行日 | 2018-12-06 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2018/12/13(から2日開催) |
| 開催地（和） | 東北大学 |
| 開催地（英） | |
| テーマ（和） | 深層学習とPRMU技術およひ?その応用 |
| テーマ（英） | |
| 委員長氏名（和） | 佐藤 真一(NII) |
| 委員長氏名（英） | Shinichi Sato(NII) |
| 副委員長氏名（和） | 井尻 善久(オムロン) / 玉木 徹(広島大) |
| 副委員長氏名（英） | Yoshihisa Ijiri(Omron) / Toru Tamaki(Hiroshima Univ.) |
| 幹事氏名（和） | 石井 雅人(NEC) / 菅野 裕介(阪大) |
| 幹事氏名（英） | Masato Ishii(NEC) / Yusuke Sugano(Osaka Univ.) |
| 幹事補佐氏名（和） | 入江 豪(NTT) / 牛久 祥孝(OSX) |
| 幹事補佐氏名（英） | Go Irie(NTT) / Yoshitaka Ushiku(OSX) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | CTC-VATのための高速事後分布平滑化手法及びその文字列認識への応用 |
| サブタイトル（和） | |
| タイトル（英） | Fast Distributional Smoothing for CTC-VAT and its Application to Text Line Recognition |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Connectionist Temporal Classification / Connectionist Temporal Classification |
| キーワード(2)（和/英） | Virtual Adversarial Training / Virtual Adversarial Training |
| キーワード(3)（和/英） | 半教師あり学習 / Semi-supervised Learning |
| キーワード(4)（和/英） | 文字列認識 / Text Line Recognition |
| 第 1 著者 氏名（和/英） | 田中 遼平 / Ryohei Tanaka |
| 第 1 著者 所属（和/英） | 東芝デジタルソリューションズ株式会社(略称：東芝デジタルソリューションズ) Toshiba Digital Solutions Corporation(略称：Toshiba Digital Solutions) |
| 第 2 著者 氏名（和/英） | 小野 聡一郎 / Soichiro Ono |
| 第 2 著者 所属（和/英） | 東芝デジタルソリューションズ株式会社(略称：東芝デジタルソリューションズ) Toshiba Digital Solutions Corporation(略称：Toshiba Digital Solutions) |
| 第 3 著者 氏名（和/英） | 古畑 彰夫 / Akio Furuhata |
| 第 3 著者 所属（和/英） | 東芝デジタルソリューションズ株式会社(略称：東芝デジタルソリューションズ) Toshiba Digital Solutions Corporation(略称：Toshiba Digital Solutions) |
| 発表年月日 | 2018-12-13 |
| 資料番号 | PRMU2018-80 |
| 巻番号（vol） | vol.118 |
| 号番号（no） | PRMU-362 |
| ページ範囲 | pp.29-34(PRMU), |
| ページ数 | 6 |
| 発行日 | 2018-12-06 (PRMU) |