| 講演名 | 2020-03-11 Relative Sentence Embeddingsに基づく文集合の可視化 石塚 治也(ブリヂストン), 持橋 大地(統計数理研), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 文の可視化は，蓄積する言語データにどのような意味的まとまりが存在するのかという全体像を把握することができ，企業などの組織において重要である．学習済み単語ベクトルから計算されるSIF ベクトル (Arora et al., ICLR, 2017) は，文の固有情報を反映しているベクトルであり，その利用は有効なアプローチの一つになる．本稿では，SIF はベクトルから計算される文の新たなデータ表現Relative Sentence Embeddings(RSE) と，それに基づく可視化手法を提案する．RSE は，SIF ベクトルに混合ガウスモデルを適用し，各文のクラスター所属確率を対数変換する事で計算される．提案手法では，RSE をt-SNE で圧縮する事で可視化表現を推定する．RSE を用いた可視化は，SIF ベクトルを単純に圧縮する場合と比較して，可視化表現のクラスター分離性が高くなる事が，高次元のガウス分布の統計的性質から示される．また．実験結果からこの理論的性質が実データにおいても成立している事が示された． |
| 抄録(英) | Sentence visualization is important for a organization, such as company or government, since it facilitates to understand underlying semantics within accumulated text collection. SIF vector (Arora et al., ICLR, 2017) estimated from pre-trained word vectors is a sentence vector which reflects sentence-specific information, and leveraging this data representation is one of effective approaches for this task. In this paper, we propose Relative Sentence Embeddings (RSEs) which are a novel sentence representation computed from SIF vectors and a visualization method based on this representation. RSEs are logarithmic transformation of mixing rates estimated by applying Gaussian mixture models to a set of SIF vectors. Visual coordinates are obtained by dimension reduction over RSEs via t-SNE. Utilizing properties of high-dimensional Gaussian distribution, we prove that these coordinates have higher cluster separacity than theones based on naive dimension reduction over SIF vectors. Experimental result shows our theoretical result is held in a real world dataset. |
| キーワード(和) | テキスト可視化 / Semantic Visualization / 事前学習済み単語ベクトル / 文埋め込み |
| キーワード(英) | Text Visualization / Semantic Visualization / pre-trained word vectors / Sentence Embeddings |
| 資料番号 | IBISML2019-42 |
| 発行日 | 2020-03-03 (IBISML) |
| 研究会情報 | |
| 研究会 | IBISML |
|---|---|
| 開催期間 | 2020/3/10(から2日開催) |
| 開催地（和） | 京都大学 |
| 開催地（英） | Kyoto University |
| テーマ（和） | 機械学習一般 新型コロナウイルスの感染拡大防止のため本研究会は開催を中止します |
| テーマ（英） | Machine learning, etc. |
| 委員長氏名（和） | 鹿島 久嗣(京大) |
| 委員長氏名（英） | Hisashi Kashima(Kyoto Univ.) |
| 副委員長氏名（和） | 杉山 将(東大) / 津田 宏治(東大) |
| 副委員長氏名（英） | Masashi Sugiyama(Univ. of Tokyo) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 竹内 一郎(名工大) / 神嶌 敏弘(産総研) |
| 幹事氏名（英） | Ichiro Takeuchi(Nagoya Inst. of Tech.) / Toshihiro Kamishima(AIST) |
| 幹事補佐氏名（和） | 岩田 具治(NTT) / 大羽 成征(京大) |
| 幹事補佐氏名（英） | Tomoharu Iwata(NTT) / Shigeyuki Oba(Kyoto Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Infomation-Based Induction Sciences and Machine Learning |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Relative Sentence Embeddingsに基づく文集合の可視化 |
| サブタイトル（和） | |
| タイトル（英） | Sentence Visualization Based on Relative Sentence Embeddings |
| サブタイトル（和） | |
| キーワード(1)（和/英） | テキスト可視化 / Text Visualization |
| キーワード(2)（和/英） | Semantic Visualization / Semantic Visualization |
| キーワード(3)（和/英） | 事前学習済み単語ベクトル / pre-trained word vectors |
| キーワード(4)（和/英） | 文埋め込み / Sentence Embeddings |
| 第 1 著者 氏名（和/英） | 石塚 治也 / Haruya Ishizuka |
| 第 1 著者 所属（和/英） | 株式会社ブリヂストン(略称：ブリヂストン) Bridgeston Corporation(略称：Bridgestone Corp.) |
| 第 2 著者 氏名（和/英） | 持橋 大地 / Daichi Mochihashi |
| 第 2 著者 所属（和/英） | 統計数理研究所(略称：統計数理研) The Institute of Statistical Mathematics(略称：ISM) |
| 発表年月日 | 2020-03-11 |
| 資料番号 | IBISML2019-42 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | IBISML-476 |
| ページ範囲 | pp.63-70(IBISML), |
| ページ数 | 8 |
| 発行日 | 2020-03-03 (IBISML) |