| 講演名 | 2022-01-23 CNNの中間特徴表現を考慮した知識蒸留による敵対的学習 樋口 陽光(電通大), 鈴木 聡志(NTT), 庄野 逸(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 敵対的攻撃とは，入力に対し人工的に設計された微小な摂動を与えることで，畳み込みニューラルネットワーク (Convolutional Neural Network; CNN) に誤った識別をさせる脆弱性攻撃の一種である．摂動を加えたadv画像を学習に用いることで敵対的攻撃に対する頑健性を向上させる手法として敵対的学習がある．しかし，従来の敵対的学習では摂動を加えていないclean画像に対する識別率がclean画像のみで学習した場合よりも低下することが知られており，CNNの実応用において重要な課題となる．中間特徴表現の可視化から，clean画像のみで学習したCNNはclean画像の識別に有効な特徴表現が獲得できているが，従来の敵対的学習では獲得できていなことが示唆された．clean画像の識別に有効な特徴表現を学習対象のCNNに転移し敵対的学習におけるclean画像の識別率が向上すると考えられる．そこで本研究では，clean画像のみで学習したCNNを教師モデルとした知識蒸留による敵対的学習手法を提案する．提案手法は，clean画像と摂動を加えたadv画像の両方に対して従来の敵対的学習を識別率において上回り，clean画像の識別に有効な特徴を転移できたと考えられる． |
| 抄録(英) | Adversarial examples are one of the vulnerability attacks to the convolution neural network (CNN). The adversarialexamples are made by adding adversarial perturbations, which are maliciously designed to deceive the target DNN and aregenerally human-imperceptible, to input images. Adversarial training is a method to improve classification accuracy againstadversarial attacks. In the adversarial training, the CNN is trained with not clean images (not including adversarial pertur-bations) but adversarial examples. However, conventional adversarial training decreases the classification accuracy on cleanimages than usual training which trains the CNN with clean images only. From our experimental results, the CNNs trained onclean images only can obtain effective feature representations for classifying clean images, while the conventional adversarialtraining cannot. In accordance with this perspective, we propose a new adversarial training method based on knowledgedistillation using clean-CNN that trained with clean images only as a teacher model. This method transfers the knowledge fromthe clean-CNN and makes feature representations effective for classifying clean images in adversarial training. Our methodoutperforms the conventional adversarial training for both clean images and adversarial examples. |
| キーワード(和) | 畳み込みニューラルネットワーク / 敵対的学習 / 知識蒸留 / 多様体仮説 |
| キーワード(英) | Convolutional Neural Network / Adversarial Training / Knowledge Distillation / Manifold Hypothesis |
| 資料番号 | NC2021-44 |
| 発行日 | 2022-01-14 (NC) |
| 研究会情報 | |
| 研究会 | NLP / MICT / MBE / NC |
|---|---|
| 開催期間 | 2022/1/21(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 高坂 拓司(中京大) / 花田 英輔(佐賀大) / 奥野 竜平(摂南大) / 大須 理英子(早大) |
| 委員長氏名（英） | Takuji Kosaka(Chukyo Univ.) / Eisuke Hanada(Saga Univ.) / Ryuhei Okuno(Setsunan Univ.) / Rieko Osu(Waseda Univ.) |
| 副委員長氏名（和） | 常田 明夫(熊本大) / 田中 宏和(広島市大) / 安在 大祐(名工大) / 堀 潤一(新潟大) / 山川 宏(東大) |
| 副委員長氏名（英） | Akio Tsuneda(Kumamoto Univ.) / Hirokazu Tanaka(Hiroshima City Univ.) / Daisuke Anzai(Nagoya Inst. of Tech.) / Junichi Hori(Niigata Univ.) / Hiroshi Yamakawa(Univ of Tokyo) |
| 幹事氏名（和） | 松下 春奈(香川大) / 吉岡 大三郎(崇城大) / 小林 匠(横浜国大) / 石田 開(神奈川県立産業技術総研) / 中村 英夫(大阪電気通信大) / 内部 英治(ATR) / 西田 知史(NICT) |
| 幹事氏名（英） | Haruna Matsushita(Kagawa Univ.) / Daizaburo Yoshioka(Sojo Univ.) / Takumi Kobayashi(Yokohama National Univ.) / Kai Ishida(KISTEC) / Hideo Nakamura(Osaka Electro-Communication Univ) / Eiji Uchibe(ATR) / Satoshi Nishida(NICT) |
| 幹事補佐氏名（和） | 加藤 秀行(大分大) / 横井 裕一(長崎大) / 伊藤 孝弘(広島市立大) / 高林 健人(岡山県立大) / 西川 拓也(国立循環器病研究センター) / 赤澤 淳(明治国際医療大学) / 湯田 恵美(東北大) / 我妻 伸彦(東邦大) / 栗川 知己(関西医科大) |
| 幹事補佐氏名（英） | Hideyuki Kato(Oita Univ.) / Yuichi Yokoi(Nagasaki Univ.) / Takahiro Ito(Hiroshima City Univ) / Kento Takabayashi(Okayama Pref. Univ.) / Takuya Nishikawa(National Cerebral and Cardiovascular Center Hospital) / Jun Akazawa(Meiji Univ. of Integrative Medicine) / Emi Yuda(Tohoku Univ) / Nobuhiko Wagatsuma(Toho Univ.) / Tomoki Kurikawa(KMU) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems / Technical Committee on Healthcare and Medical Information Communication Technology / Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | CNNの中間特徴表現を考慮した知識蒸留による敵対的学習 |
| サブタイトル（和） | |
| タイトル（英） | Adversarial Training with Knowledge Distillation considering Intermediate Feature Representation in CNNs |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 畳み込みニューラルネットワーク / Convolutional Neural Network |
| キーワード(2)（和/英） | 敵対的学習 / Adversarial Training |
| キーワード(3)（和/英） | 知識蒸留 / Knowledge Distillation |
| キーワード(4)（和/英） | 多様体仮説 / Manifold Hypothesis |
| 第 1 著者 氏名（和/英） | 樋口 陽光 / Hikaru Higuchi |
| 第 1 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：The Univ. of Electro-Communications) |
| 第 2 著者 氏名（和/英） | 鈴木 聡志 / Satoshi Suzuki |
| 第 2 著者 所属（和/英） | 日本電信電話株式会社コンピュータ&データサイエンス研究所(略称：NTT) NTT Computer and Data Science Laboratories, NTT Corporation(略称：former NTT) |
| 第 3 著者 氏名（和/英） | 庄野 逸 / Hayaru Shouno |
| 第 3 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：The Univ. of Electro-Communications) |
| 発表年月日 | 2022-01-23 |
| 資料番号 | NC2021-44 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | NC-338 |
| ページ範囲 | pp.59-64(NC), |
| ページ数 | 6 |
| 発行日 | 2022-01-14 (NC) |