講演抄録/キーワード |
講演名 |
2015-08-21 10:00
Latent Words Recurrent Neural Network言語モデルの提案と音声認識への適用 ○増村 亮・浅見太一・大庭隆伸・政瀧浩和・阪内澄宇(NTT)・伊藤彰則(東北大) SP2015-50 |
抄録 |
(和) |
本稿では,Latent Words Recurrent Neural Network 言語モデル(LWRNNLM) という新たな言語モデルを提案する.LWRNNLM は,Recurrent Neural Network 言語モデル(RNNLM) とLatent Words 言語モデル(LWLM)の両者を組み合わせたモデルである.具体的には,LWLM と同様に潜在変数空間に基づくソフトクラス構造を持つモデルであり,その潜在変数空間はRNNLM としてモデル化されている.本稿では,LWRNNLM のモデル構造について,従来のRNNLM やLWLM と関連を示しながら詳細を述べる.さらに,LWRNNLM の学習方法,および音声認識や自然言語処理での利用方法について述べる.実験では,Penn Treebank コーパス,および日本語話し言葉コーパスを用いて,パープレキシティと音声認識性能による評価を行い,LWRNNLM の有効性を調査する. |
(英) |
This paper proposes a novel language modeling approach called latent word recurrent neural network language model, which solves the problems present in both recurrent neural network language models (RNNLMs) and latent word language models (LWLMs). The proposed model has a soft class structure based on a latent variable space as well as LWLM, where the latent variable space is modeled using RNNLM. This paper also details the parameter inference method and two kinds of usages for natural language processing tasks. Our experiments show effectiveness of the proposed model on a perplexity evaluation for the Penn Treebank corpus and an automatic speech recognition evaluation for Japanese spontaneous speech tasks. |
キーワード |
(和) |
Latent Words Recurrent Neural Network 言語モデル / N-gram 近似 / Viterbi 近似 / / / / / |
(英) |
latent words recurrent neural network language model / n-gram approximation / Viterbi approximation / / / / / |
文献情報 |
信学技報, vol. 115, no. 184, SP2015-50, pp. 1-6, 2015年8月. |
資料番号 |
SP2015-50 |
発行日 |
2015-08-14 (SP) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
SP2015-50 |