| 講演名 | 2021-10-12 単語分散表現のオンライン逐次学習を用いた更新方法 伊藤 響(慶大), 松谷 宏紀(慶大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 既存のWord2vecの実装では、バッチ学習を行っているために再学習時のモデル破棄や学習用データの一時的な保存に大きなメモリ容量が必要となる。これらのことが問題となってメモリ容量が小さい環境においてWord2vecのモデルの学習を行うことは困難となっている。そこで本論文ではWord2vecの学習をオンライン化することで逐次的に送られてくるデータを用いて学習を行うことができ、メモリ容量が小さい環境においてもWord2vecの学習が可能であることを示す。具体的には、Word2vecが3層のニューラルネットワークを対象とした仕組みであることに着目し、同じように3層のニューラルネットワークを対象としたオンライン学習アルゴリズムであるOS-ELMが学習アルゴリズムとして適用可能であることを示す。OS-ELMはバッチサイズを1とすることで計算量を削減する。さらに、Word2vecの高速化手法であるNegative Samplingも取り入れ、OS-ELMと組み合わせた具体的なアルゴリズムを提案する。評価では、英語版Wikipediaのテキスト情報を抽出したデータセットを用いて学習時間と精度を計測し、既存のWord2vec実装と比較する。Word2vecがオンライン学習化されることによって、将来的に、Word2vecの仕組みを応用した様々な技術についてもオンライン学習化可能となり、エッジデバイスでのオンライン学習の幅が広がる可能性がある。 |
| 抄録(英) | |
| キーワード(和) | Word2vec / OS-ELM / オンライン学習 |
| キーワード(英) | |
| 資料番号 | CPSY2021-17,DC2021-17 |
| 発行日 | 2021-10-04 (CPSY, DC) |
| 研究会情報 | |
| 研究会 | DC / CPSY / IPSJ-ARC |
|---|---|
| 開催期間 | 2021/10/11(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | HotSPA2021: アーキテクチャ，コンピュータシステム，ディペンダブルコンピューティングおよび一般 |
| テーマ（英） | Architecture, Computer Systems, Dependable Computing, etc. (HotSPA202１) |
| 委員長氏名（和） | 高橋 寛(愛媛大) / 鯉渕 道紘(NII) / 井上 弘士(九大) |
| 委員長氏名（英） | Hiroshi Takahashi(Ehime Univ.) / Michihiro Koibuchi(NII) / Hiroshi Inoue(Kyushu Univ.) |
| 副委員長氏名（和） | 土屋 達弘(阪大) / 中島 耕太(富士通研) / 津邑 公暁(名工大) |
| 副委員長氏名（英） | Tatsuhiro Tsuchiya(Osaka Univ.) / Kota Nakajima(Fujitsu Lab.) / Tomoaki Tsumura(Nagoya Inst. of Tech.) |
| 幹事氏名（和） | 新井 雅之(日大) / 難波 一輝(千葉大) / 井口 寧(北陸先端大) / 小川 周吾(日立) / 近藤 正章(東大) / 塩谷 亮太(名大) / 田中 美帆(富士通研) / 長谷川 揚平(東芝メモリ) |
| 幹事氏名（英） | Masayuki Arai(Nihon Univ.) / Kazuteru Namba(Chiba Univ.) / Yasushi Inoguchi(JAIST) / Shugo Ogawa(Hitachi) / Masaaki Kondo(Univ. of Tokyo) / Ryota Shioya(Nagoya Univ.) / Miho Tanaka(Fujitsu Labs.) / Yohei Hasegawa(Toshiba Memory) |
| 幹事補佐氏名（和） | / 小林 諒平(筑波大) / 宮島 敬明(明大) |
| 幹事補佐氏名（英） | / Ryohei Kobayashi(Tsukuba Univ.) / Takaaki Miyajima(Meiji Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Dependable Computing / Technical Committee on Computer Systems / Special Interest Group on System Architecture |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 単語分散表現のオンライン逐次学習を用いた更新方法 |
| サブタイトル（和） | |
| タイトル（英） | An Update Method of Word Embedding using Online Sequential Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Word2vec |
| キーワード(2)（和/英） | OS-ELM |
| キーワード(3)（和/英） | オンライン学習 |
| 第 1 著者 氏名（和/英） | 伊藤 響 / Hibiki Ito |
| 第 1 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 第 2 著者 氏名（和/英） | 松谷 宏紀 / Hiroki Matsutani |
| 第 2 著者 所属（和/英） | 慶應義塾大学(略称：慶大) Keio University(略称：Keio Univ.) |
| 発表年月日 | 2021-10-12 |
| 資料番号 | CPSY2021-17,DC2021-17 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | CPSY-194,DC-195 |
| ページ範囲 | pp.31-36(CPSY), pp.31-36(DC), |
| ページ数 | 6 |
| 発行日 | 2021-10-04 (CPSY, DC) |