| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2012-11-07 15:30 削減コーパスのパープレキシティ ○小林隼人（東芝）  IBISML2012-38 |
|
| 抄録 | （和） | 本論文では，計算領域を確保するために低頻度語を削除したコーパス（文書集合）における語彙数とパープレキシティの関係を考える．コーパスが Zipf則に従うという仮定のもとで理論的解析を行い，k-グラムモデルとトピックモデルのパープレキシティが特定の条件下では削減後の語彙数に関するべき乗則に近似的に従うことを証明する．この結果は，低頻度語は統計モデルの学習結果に大きな影響を及ぼさないという我々の直感に理論的根拠を与える．得られた結果について人工コーパス上の実験を行い理論の正しさを確認し，実コーパス上の実験により理論値と実測値の差を議論する． |
| （英） | This paper studies a relationship between perplexity and vocabulary size on a corpus (or documents), which is reduced to improve computational performance. We prove that perplexity of k-gram models and topic models approximately follows a power law with respect to reduced vocabulary size under some condition, when a corpus follows Zipf's law. This gives a theoretical evidence for our intuition that low-frequency words may not make a large contribution to the performance of statistical models. We verify the correctness of our theory on synthetic corpora and examine a gap between theory and practice on real corpora. | |
| キーワード | （和） | Nグラムモデル / トピックモデル / Zipf則 / べき乗則 / / / / |
| （英） | N-gram model / topic model / Zipf's law / power law / / / / | |
| 文献情報 | 信学技報, vol. 112, no. 279, IBISML2012-38, pp. 31-38, 2012年11月. | |
| 資料番号 | IBISML2012-38 | |
| 発行日 | 2012-10-31 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2012-38 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2012-11-07 - 2012-11-09 |
| 開催地（和） | 筑波大学 東京キャンパス文京校舎 |
| 開催地（英） | Bunkyo School Building, Tokyo Campus, Tsukuba Univ. |
| テーマ（和） | 第15回情報論的学習理論ワークショップ |
| テーマ（英） | the 15th Information-Based Induction Sciences Workshop |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2012-11-IBISML |
| 本文の言語 | 英語（日本語タイトルあり） |
| タイトル（和） | 削減コーパスのパープレキシティ |
| サブタイトル（和） | |
| タイトル（英） | Perplexity on Reduced Corpora |
| サブタイトル（英） | |
| キーワード(1)（和/英） | Nグラムモデル / N-gram model |
| キーワード(2)（和/英） | トピックモデル / topic model |
| キーワード(3)（和/英） | Zipf則 / Zipf's law |
| キーワード(4)（和/英） | べき乗則 / power law |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 小林 隼人 / Hayato Kobayashi / |
| 第1著者 所属（和/英） | 株式会社東芝 (略称： 東芝) Toshiba Corporation (略称： Toshiba) |
| 第2著者 氏名（和/英/ヨミ） | / / |
| 第2著者 所属（和/英） | (略称： ) (略称： ) |
| 第3著者 氏名（和/英/ヨミ） | / / |
| 第3著者 所属（和/英） | (略称： ) (略称： ) |
| 第4著者 氏名（和/英/ヨミ） | / / |
| 第4著者 所属（和/英） | (略称： ) (略称： ) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2012-11-07 15:30:00 |
| 発表時間 | 150分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2012-38 |
| 巻番号（vol） | vol.112 |
| 号番号（no） | no.279 |
| ページ範囲 | pp.31-38 |
| ページ数 | 8 |
| 発行日 | 2012-10-31 (IBISML) |
[研究会発表申込システムのトップページに戻る]