| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2015-11-27 14:00 ［ポスター講演］分布の局所平滑化による正則化の提案 ○宮戸 岳・前田新一・小山雅典・中江 健・石井 信（京大）  IBISML2015-87 |
|
| 抄録 | （和） | 分類や回帰において過学習は避けられない問題である。本研究では、過学習を防ぐために、訓練サンプル点周辺のモデル分布の滑らかさに基づく、新たな正則化法を提案する。新たに導入される正則化項は、既存の対抗事例学習(Adversarial training)における正則化項と形式的に類似するが、提案法では、対抗事例学習とは異なり、ラベルなしのサンプルに対しても定義されるため、半教師あり学習の問題設定に対しても適用可能である。提案手法をベンチマークデータセットに対して適用したところ、教師あり学習、半教師あり学習の両方で最新の手法に匹敵する性能を達成した。 |
| （英） | Smoothness regularization is a popular method to decrease generalization error. We propose a novel regularization technique that encourages local distributional smoothness (LDS), a KL-distance based measure of the model's robustness against perturbation. The LDS is defined in terms of the direction to which the model distribution is most sensitive. Our technique resembles the adversarial training (Goodfellow et al., 2015), but distinguishes itself in that it determines the adversarial direction from the model distribution alone, and does not use the label information of data. The technique is hence applicable to semi-supervised training. When we applied our technique to the classification problem on permutation invariant MNIST, it eclipsed all the models that are not dependent on generative models or pre-training. | |
| キーワード | （和） | 正則化 / 教師あり学習 / 半教師あり学習 / 対抗事例学習 / / / / |
| （英） | Regularization / Supervised Learning / emi-supervised Learning / Adversarial training / / / / | |
| 文献情報 | 信学技報, vol. 115, no. 323, IBISML2015-87, pp. 257-264, 2015年11月. | |
| 資料番号 | IBISML2015-87 | |
| 発行日 | 2015-11-19 (IBISML) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | IBISML2015-87 |
|
| 研究会情報 | |
| 研究会 | IBISML |
| 開催期間 | 2015-11-25 - 2015-11-27 |
| 開催地（和） | つくば国際会議場 |
| 開催地（英） | Epochal Tsukuba |
| テーマ（和） | 情報論的学習理論ワークショップ(IBIS2015) |
| テーマ（英） | Information-Based Induction Science Workshop (IBIS2015) |
| 講演論文情報の詳細 | |
| 申込み研究会 | IBISML |
| 会議コード | 2015-11-IBISML |
| 本文の言語 | 日本語 |
| タイトル（和） | 分布の局所平滑化による正則化の提案 |
| サブタイトル（和） | |
| タイトル（英） | Regularization by local distributional smoothing |
| サブタイトル（英） | |
| キーワード(1)（和/英） | 正則化 / Regularization |
| キーワード(2)（和/英） | 教師あり学習 / Supervised Learning |
| キーワード(3)（和/英） | 半教師あり学習 / emi-supervised Learning |
| キーワード(4)（和/英） | 対抗事例学習 / Adversarial training |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 宮戸 岳 / Takeru Miyato / ミヤト タケル |
| 第1著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 前田 新一 / Shin-ichi Maeda / マエダ シンイチ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 小山 雅典 / Masanori Koyama / コヤマ マサノリ |
| 第3著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第4著者 氏名（和/英/ヨミ） | 中江 健 / Ken Nakae / ナカエ ケン |
| 第4著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第5著者 氏名（和/英/ヨミ） | 石井 信 / Shin Ishii / イシイ シン |
| 第5著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2015-11-27 14:00:00 |
| 発表時間 | 180分 |
| 申込先研究会 | IBISML |
| 資料番号 | IBISML2015-87 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | no.323 |
| ページ範囲 | pp.257-264 |
| ページ数 | 8 |
| 発行日 | 2015-11-19 (IBISML) |
[研究会発表申込システムのトップページに戻る]