| 講演名 | 2022-10-14 学習初期の正則化と加重損失を用いたラベルノイズに頑健な半教師あり学習 東本 良太(関西大), 吉田 壮(関西大), 棟安 実治(関西大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 誤ったラベル (ラベルノイズ)が存在するデータセットを用いてDeep Neural Network (DNN)を学習することは重要な課題である．ラベルノイズが存在する環境下におけるDNNは，早期学習段階において正しいラベルを持つ学習サンプルに対して適合し，後期学習段階になるとラベルノイズを持つサンプルに適合する．近年では，この性質を利用した半教師あり学習に基づく手法が有望視されている．従来手法は，ガウス混合モデルでサンプルの損失分布をモデル化し，ラベルノイズを持つサンプルをラベルなしとみなしてDNNを学習する．一方，ラベル付きおよびなしサンプルへの分割精度は，DNNのウォームアップ時の性能に依存する．また，従来手法は，学習データ中のラベルノイズの割合ごとに変化するラベル付きサンプル数の影響を考慮できていない．本稿では，早期学習段階でのDNNの性質を利用し，ラベルノイズへの適合を抑制する正則化 (Early-learning Regularization; ELR)を導入する．さらに，ラベル付きサンプルの割合に応じて損失を動的に変化できる加重損失を導入した学習法を提案する．ここでは，提案手法の有効性を確認するため，擬似的なラベルノイズを付加した画像分類データセットCIFAR-100を用いた実験を行った．その結果，20〜90%のラベルノイズを含むCIFAR-100で提案手法は比較手法を上回る精度を示した． |
| 抄録(英) | Training Deep Neural Networks (DNNs) on datasets with incorrect labels (label noise) is an important challenge. In the presence of label noise, DNNs adapt to training samples with correct labels in the early training phase and adapt to samples with label noise in the late training phase. Recently, methods based on semi-supervised learning have shown promise in exploiting this property. In this conventional method, the sample loss distribution is modeled by a Gaussian mixture model, and the DNN is trained by assuming that samples with label noise are unlabeled. On the other hand, the accuracy of the division into labeled and unlabeled samples depends on the performance of the DNN during warm-up. In addition, the conventional method cannot consider the effect of the number of labeled samples, which varies with the percentage of label noise in the training data. In this paper, we introduce Early-learning Regularization (ELR), which suppresses the DNN's adaptation to label noise in the initial learning phase. Furthermore, we propose a learning method that introduces a weighted loss that can dynamically change the loss depending on the fraction of labeled samples. To verify the effectiveness of the proposed method, we conducted experiments using the CIFAR-100 image classification dataset with pseudo-label noise. The results show that the proposed method outperforms the existing methods on CIFAR-100 with 20textasciitilde90% label noise. |
| キーワード(和) | Learning with noisy labels / 半教師あり学習 / 正則化 / 加重損失 |
| キーワード(英) | Learning with noisy labels / Semi-supervised learning / Early-learning regularization / weighted loss |
| 資料番号 | SIS2022-16 |
| 発行日 | 2022-10-06 (SIS) |
| 研究会情報 | |
| 研究会 | SIS / ITE-BCT |
|---|---|
| 開催期間 | 2022/10/13(から2日開催) |
| 開催地（和） | 八戸工業大学（１号館２階２０１室「多目的ホール」） |
| 開催地（英） | Hachinohe Institute of Technology |
| テーマ（和） | システム実現技術, 近距離通信応用システム, 知的マルチメディア処理システム，放送技術および一般 |
| テーマ（英） | |
| 委員長氏名（和） | 木村 誠聡(神奈川工科大) / 斎藤 恭一(NHK) |
| 委員長氏名（英） | Tomoaki Kimura(Kanagawa Inst. of Tech.) / 斎藤 恭一(NHK) |
| 副委員長氏名（和） | 笹岡 直人(鳥取大) / 田向 権(九州工大) / 村田 英一(山口大) / 斉藤 一(テレビ東京) |
| 副委員長氏名（英） | Naoto Sasaoka(Tottori Univ.) / Hakaru Tamukoh(Kyushu Inst. of Tech.) / 村田 英一(山口大) / 斉藤 一(テレビ東京) |
| 幹事氏名（和） | 坂東 幸浩(NTT) / 吉田 壮(関西大学) / 齊藤 一幸(千葉大) |
| 幹事氏名（英） | Yukihiro Bandoh(NTT) / Soh Yoshida(Kansai Univ.) / 齊藤 一幸(千葉大) |
| 幹事補佐氏名（和） | 眞壁 義明(神奈川工科大) / 杉浦 陽介(埼玉大) / 神原 浩平(NHK) / 鈴村 高幸(テレビ朝日) / 松﨑 敬文(NHK) / 宮野 真由子(東芝インフラシステムズ) / 大内 幹博(パナソニック) / 榎 芳栄(TBSテレビ) / 水本 哲弥(日本学術振興会) |
| 幹事補佐氏名（英） | Yoshiaki Makabe(Kanagawa Inst. of Tech.) / Yosuke Sugiura(Saitama Univ.) / 神原 浩平(NHK) / 鈴村 高幸(テレビ朝日) / 松﨑 敬文(NHK) / 宮野 真由子(東芝インフラシステムズ) / 大内 幹博(パナソニック) / 榎 芳栄(TBSテレビ) / 水本 哲弥(日本学術振興会) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Smart Info-Media Systems / Technical Group on Broadcasting Technology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 学習初期の正則化と加重損失を用いたラベルノイズに頑健な半教師あり学習 |
| サブタイトル（和） | |
| タイトル（英） | Robust Semi-Supervised Learning for Noisy Labels Using Early-learning Regularization and Weighted Loss |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Learning with noisy labels / Learning with noisy labels |
| キーワード(2)（和/英） | 半教師あり学習 / Semi-supervised learning |
| キーワード(3)（和/英） | 正則化 / Early-learning regularization |
| キーワード(4)（和/英） | 加重損失 / weighted loss |
| 第 1 著者 氏名（和/英） | 東本 良太 / Ryota Higashimoto |
| 第 1 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ.) |
| 第 2 著者 氏名（和/英） | 吉田 壮 / Soh Yoshida |
| 第 2 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ.) |
| 第 3 著者 氏名（和/英） | 棟安 実治 / Mitsuji Muneyasu |
| 第 3 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ.) |
| 発表年月日 | 2022-10-14 |
| 資料番号 | SIS2022-16 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | SIS-209 |
| ページ範囲 | pp.27-32(SIS), |
| ページ数 | 6 |
| 発行日 | 2022-10-06 (SIS) |