| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-12-01 15:20 Domain and language adaptation of large-scale pretrained model for speech recognition of low-resource language ○Kak Soky（Kyoto University）・Sheng Li（NICT）・Chenhui Chu・Tatsuya Kawahara（Kyoto University）  NLC2022-17 SP2022-37 |
|
| 抄録 | （和） | The self-supervised learning (SSL) models are effective for automatic speech recognition (ASR). Due to the huge parameter size, it usually requires about 10 hours of data for finetuning ASR. However, such size of ASR training data is unavailable for some low-resource languages. Moreover, the SSL pre-trained models were originally trained using European languages; they thus might not be well-adapted to other domains or languages. To bare those challenges, We propose a two-step adaptation method: (1) domain adaptation, which uses in-domain multi-lingual datasets to finetune the pre-trained model, and (2) language adaptation, which finetunes the same language datasets but different domains. Then, we investigate the effectiveness of adapting only one hour of target-labeled data for the ASR task. The experiment using the Extraordinary Chambers in the Courts of Cambodia dataset shows that first conducting domain adaption and then language adaption is the most effective method for reducing the CER of the baseline by 6.15% and 7.75% of the test and validation sets, respectively. |
| （英） | The self-supervised learning (SSL) models are effective for automatic speech recognition (ASR). Due to the huge parameter size, it usually requires about 10 hours of data for finetuning ASR. However, such size of ASR training data is unavailable for some low-resource languages. Moreover, the SSL pre-trained models were originally trained using European languages; they thus might not be well-adapted to other domains or languages. To bare those challenges, We propose a two-step adaptation method: (1) domain adaptation, which uses in-domain multi-lingual datasets to finetune the pre-trained model, and (2) language adaptation, which finetunes the same language datasets but different domains. Then, we investigate the effectiveness of adapting only one hour of target-labeled data for the ASR task. The experiment using the Extraordinary Chambers in the Courts of Cambodia dataset shows that first conducting domain adaption and then language adaption is the most effective method for reducing the CER of the baseline by 6.15% and 7.75% of the test and validation sets, respectively. | |
| キーワード | （和） | Speech recognition / domain adaptation / language adaptation / low-resource / Khmer language / wav2vec2.0-based / self-supervised learning / large-scale pre-trained model |
| （英） | Speech recognition / domain adaptation / language adaptation / low-resource / Khmer language / wav2vec2.0-based / self-supervised learning / large-scale pre-trained model | |
| 文献情報 | 信学技報, vol. 122, no. 288, SP2022-37, pp. 45-49, 2022年11月. | |
| 資料番号 | SP2022-37 | |
| 発行日 | 2022-11-22 (NLC, SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NLC2022-17 SP2022-37 |
|
| 研究会情報 | |
| 研究会 | NLC IPSJ-NL SP IPSJ-SLP |
| 開催期間 | 2022-11-29 - 2022-12-01 |
| 開催地（和） | 機械振興会館 |
| 開催地（英） | |
| テーマ（和） | 第24回音声言語および第9回自然言語処理シンポジウム |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2022-11-NLC-NL-SP-SLP |
| 本文の言語 | 英語 |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Domain and language adaptation of large-scale pretrained model for speech recognition of low-resource language |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Speech recognition / Speech recognition |
| キーワード(2)（和/英） | domain adaptation / domain adaptation |
| キーワード(3)（和/英） | language adaptation / language adaptation |
| キーワード(4)（和/英） | low-resource / low-resource |
| キーワード(5)（和/英） | Khmer language / Khmer language |
| キーワード(6)（和/英） | wav2vec2.0-based / wav2vec2.0-based |
| キーワード(7)（和/英） | self-supervised learning / self-supervised learning |
| キーワード(8)（和/英） | large-scale pre-trained model / large-scale pre-trained model |
| 第1著者 氏名（和/英/ヨミ） | Kak Soky / Kak Soky / |
| 第1著者 所属（和/英） | Kyoto University (略称： 京大) Kyoto University (略称： Kyoto University) |
| 第2著者 氏名（和/英/ヨミ） | Sheng Li / Sheng Li / |
| 第2著者 所属（和/英） | National Institute of Information and Communications Technology (略称： NICT) National Institute of Information and Communications Technology (略称： NICT) |
| 第3著者 氏名（和/英/ヨミ） | Chenhui Chu / Chenhui Chu / |
| 第3著者 所属（和/英） | Kyoto University (略称： 京大) Kyoto University (略称： Kyoto University) |
| 第4著者 氏名（和/英/ヨミ） | Tatsuya Kawahara / Tatsuya Kawahara / |
| 第4著者 所属（和/英） | Kyoto University (略称： 京大) Kyoto University (略称： Kyoto University) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-12-01 15:20:00 |
| 発表時間 | 30分 |
| 申込先研究会 | SP |
| 資料番号 | NLC2022-17, SP2022-37 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.287(NLC), no.288(SP) |
| ページ範囲 | pp.45-49 |
| ページ数 | 5 |
| 発行日 | 2022-11-22 (NLC, SP) |
[研究会発表申込システムのトップページに戻る]