講演抄録/キーワード |
講演名 |
2010-07-22 10:40
混合Polya分布に基づくサブトピックを考慮した文書分類手法 ○牛尼夏海・雲居玄道・石田 崇・後藤正幸(早大) IT2010-13 |
抄録 |
(和) |
本研究では,混合Polya分布を確率的言語モデルとして用いた文書分類方法を提案する.従来,確率的言語モデルを用いた文書分類手法
においては,スポーツや政治といった既知のカテゴリに1つの確率分布を与えた混合分布を考え,新規の文書について帰属度を計算し,分類を行っていた.本研究では,カテゴリの中にさらに複数の未知の潜在トピックの存在を仮定し,それらをサブカテゴリと定義する.サブカテゴリに1つのPolya分布を与え,新規の文書においてサブカテゴリへの帰属度を計算し,サブカテゴリへの分類を行い,そのサブカテゴリが属するカテゴリへ最終的に分類される手法と,カテゴリへの帰属度をサブカテゴリの混合Polya分布より計算し,カテゴリへの分類を行う方法の2つの分類方法を提案し,それらの有効性を示す. |
(英) |
In this research, we propose the methods of document classification based on Polya mixture distribution as a probabilistic language model. In probabilistic language models, a mixture distribution is sometimes assumed corresponding one probability distribution to a known category i.e. sports and politics, and a new document is classified by calculation of a similarity measure. In this research, we assume existence of unknown hidden topics in a category, called sub-categories. We propose two methods for classification by using Polya mixture distribution with sub-categories. One is the method that calculates sub-category's similarity measure to the input document and classifies the document to appropriate category. The other is the method to calculate category's similarity measure to the input document and classifies the document for appropriate category. We conduct numeric experiment and show effectiveness of these two methods. |
キーワード |
(和) |
文書分類 / 混合Polya分布 / 確率的言語モデル / / / / / |
(英) |
Document classification / Polya mixture distribution / probabilistic language model / / / / / |
文献情報 |
信学技報, vol. 110, no. 137, IT2010-13, pp. 13-18, 2010年7月. |
資料番号 |
IT2010-13 |
発行日 |
2010-07-15 (IT) |
ISSN |
Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
IT2010-13 |