講演抄録/キーワード |
講演名 |
2019-12-04 11:15
LSTMの前処理としての特徴選択の有効性 ○古賀詩織・峯 恒憲・廣川佐千男(九大) NLC2019-31 |
抄録 |
(和) |
RNNの中でも特にLSTMは長期記憶が可能で,より優れた文脈情報を含んだ情報の獲得が期待でき,分類問題をはじめ,様々な問題に利用されてきた.そのような分類問題において,文章を構成する単語の中から分類に寄与する単語などの情報を選ぶ特徴選択により,分類精度の向上を行う様々な試みが行われてきた.しかしながら,LSTMは文脈を重要視しているため,LSTMの入力中の単語を取捨選択する試みは,筆者らの知る限り行われていない.本研究では,LSTMの入力文中の単語表現としてWord2VecとBERTを用い,LSTMの入力の前処理として特徴選択を行うことの有効性を示す.実験結果から,特徴選択を行うと分類精度が向上することが示された. |
(英) |
Among RNNs, especially LSTM is capable of long-term memory and can be expected to acquire information including better contextual information, and has been used for various problems including classification problems. In such a classification problem, various attempts have been made to improve the accuracy of classification by selecting features such as words that contribute to classification from among the words that make up sentences. However, since LSTM attaches importance to the context, no attempt has been made to select words in LSTM input as far as we know. In this study, we show the effectiveness of using feature selection as pre-processing of LSTM input, using Word2Vec and BERT as word expressions in LSTM input sentences. The results show that the classification accuracy improves when feature selection is performed. |
キーワード |
(和) |
文書分類 / LSTM / 特徴選択 / Word2Vec / BERT / / / |
(英) |
text classification / LSTM / feature selection / Word2Vec / BERT / / / |
文献情報 |
信学技報, vol. 119, no. 320, NLC2019-31, pp. 13-18, 2019年12月. |
資料番号 |
NLC2019-31 |
発行日 |
2019-11-27 (NLC) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
査読に ついて |
本技術報告は査読を経ていない技術報告であり,推敲を加えられていずれかの場に発表されることがあります. |
PDFダウンロード |
NLC2019-31 |