| 講演名 | 2017-06-19 ［招待講演］合成変量とアンサンブル：回帰森と加法モデルの要点 瀧川 一学(北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 画像・音声の信号処理やインテリジェントな計測・通信において機械学習は日常的な道具の一つとなって きた。最も広く利活用される「教師付き学習」は、大学の授業でも、いわゆるデータサイエンスの実習でも、本屋を賑 わす一般向けの入門書でも、必ず取り扱われる基本中の基本であり、手軽で多様なツールが揃った現在では初心者で もそれなりの予測モデリングが可能とも思える。では今もし我々が、教師付き学習の実タスクを精度良く解きたい場 合、果たしてどういう手法を選択するべきだろうか?このような興味を背景に様々な機械学習コンペティションが開 かれているが、その中で一定の人気を確立しているのが決定木・回帰木モデルベースのアンサンブルである。全世界 の 50 万人にも及ぶ腕利きのデータサイエンティストたちが凌ぎを削る「Kaggle」のランキングでその頂点 1 位の座に ついた多くが実際に XGBoost を「favorite machine learning algorithm」に挙げている。本講演ではこうした決定木・ 回帰木とそのアンサンブルとして Random Forest、Extra Trees、および、勾配ブースティング (XGBoost や RGF) の 考え方と性質について、「合成変量」と「アンサンブル」という2つのキーワードを軸に紹介する。「合成変量」につ いては、多項式回帰、カーネル回帰、一般化加法モデル、Factorization Machines といった手法などの異なる取り扱い との違いについて述べる。「アンサンブル」については、例えば深層学習モデルをコンペティションに投入する場合で もほぼ用いられる基礎技術となっており、Cross Validation を伴う Bagging や Stacking などにおける木モデルの利活 用についても述べる。なお、木に基づくモデルと (線形モデルを含む) 加法モデルは近年盛んに議論されている「解釈性」を担保する際に標準的な選択肢であり、時間が許せばこの点についても簡単に紹介を行いたい。 |
| 抄録(英) | Machine learning, supervised machine learning in particular, now becomes one of daily tools in signal processing such as image processing, audio processing, intelligent measurements and communications. Demon- strating its performance for real-world problems at predictive modelling competitions such as Kaggle, tree-based ensembles are now getting popular in machine learning applications. This talk will give an introduction to these models including forest regressions and additive models such as Random Forests and DMLC’s XGBoost, providing a consistent view to many models by rethinking these from two keywords ’composite variables’ and ’ensemble’. |
| キーワード(和) | 合成変量 / 交互作用 / アンサンブル / 回帰森 / 加法モデル / 解釈性 |
| キーワード(英) | Composite Variables / Interactions / Ensemble / Forest Regression / Additive Models / Interpretability |
| 資料番号 | CAS2017-8,VLD2017-11,SIP2017-32,MSS2017-8 |
| 発行日 | 2017-06-12 (CAS, VLD, SIP, MSS) |
| 研究会情報 | |
| 研究会 | SIP / CAS / MSS / VLD |
|---|---|
| 開催期間 | 2017/6/19(から2日開催) |
| 開催地（和） | 新潟大学五十嵐キャンパス 中央図書館ライブラリーホール |
| 開催地（英） | Niigata University, Ikarashi Campus |
| テーマ（和） | システムと信号処理および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 奥田 正浩(北九州市大) / 平木 充(ルネサス エレクトロニクス) / 名嘉村 盛和(琉球大) / 越智 裕之(立命館大) |
| 委員長氏名（英） | Masahiro Okuda(Univ. of Kitakyushu) / Mitsuru Hiraki(Renesas) / Morikazu Nakamura(Univ. of Ryukyus) / Hiroyuki Ochi(Ritsumeikan Univ.) |
| 副委員長氏名（和） | 村松 正吾(新潟大) / 相川 直幸(東京理科大) / 岡崎 秀晃(湘南工科大) / 髙井 重昌(阪大) / 峯岸 孝行(三菱電機) |
| 副委員長氏名（英） | Shogo Muramatsu(Niigata Univ.) / Naoyuki Aikawa(TUS) / Hideaki Okazaki(Shonan Inst. of Tech.) / Shigemasa Takai(Osaka Univ.) / Noriyuki Minegishi(Mitsubishi Electric) |
| 幹事氏名（和） | 宮田 高道(千葉工大) / 渡邊 修(拓殖大) / 山口 基(ルネサスシステムデザイン) / 橘 俊宏(湘南工科大) / 豊嶋 伊知郎(東芝) / 金澤 尚史(阪大) / 永山 忍(広島市大) / 宮崎 昭彦(NTT) |
| 幹事氏名（英） | Takamichi Miyata(Chiba Inst. of Tech.) / Osamu Watanabe(Takushoku Univ.) / Motoi Yamaguchi(Renesas) / Toshihiro Tachibana(Shonan Inst. of Tech.) / Ichiro Toyoshima(Toshiba) / Takahumi Kanazawa(Osaka Univ.) / Shinobu Nagayama(Hiroshima City Univ.) / Akihiko Miyazaki(NTT) |
| 幹事補佐氏名（和） | 中本 昌由(広島大) / 中村 洋平(日立) / 金城 秀樹(沖縄大) |
| 幹事補佐氏名（英） | Masayoshi Nakamoto(Hiroshima Univ.ひろ) / Yohei Nakamura(Hitachi) / Hideki Kinjo(Okinawa Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Signal Processing / Technical Committee on Circuits and Systems / Technical Committee on Mathematical Systems Science and its applications / Technical Committee on VLSI Design Technologies |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［招待講演］合成変量とアンサンブル：回帰森と加法モデルの要点 |
| サブタイトル（和） | |
| タイトル（英） | [Invited Talk] Composite Variables and Ensemble: Introduction to Forest Regression and Additive Models |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 合成変量 / Composite Variables |
| キーワード(2)（和/英） | 交互作用 / Interactions |
| キーワード(3)（和/英） | アンサンブル / Ensemble |
| キーワード(4)（和/英） | 回帰森 / Forest Regression |
| キーワード(5)（和/英） | 加法モデル / Additive Models |
| キーワード(6)（和/英） | 解釈性 / Interpretability |
| 第 1 著者 氏名（和/英） | 瀧川 一学 / Ichigaku Takigawa |
| 第 1 著者 所属（和/英） | 北海道大学(略称：北大) Hokkaido University(略称：Hokkaido Univ.) |
| 発表年月日 | 2017-06-19 |
| 資料番号 | CAS2017-8,VLD2017-11,SIP2017-32,MSS2017-8 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | CAS-96,VLD-97,SIP-98,MSS-99 |
| ページ範囲 | pp.43-43(CAS), pp.43-43(VLD), pp.43-43(SIP), pp.43-43(MSS), |
| ページ数 | 1 |
| 発行日 | 2017-06-12 (CAS, VLD, SIP, MSS) |