講演抄録/キーワード |
講演名 |
2022-03-10 09:30
Vision TransformerにおけるContinual Learning ○武田麻奈・柳井啓司(電通大) PRMU2021-62 |
抄録 |
(和) |
Continual Learningでは,過去に学習したタスクの知識を保持しながら,新しいデータから新しいタスクを継続的に学習することを目的としている.
近年,自然言語処理で使用されるTransformerをコンピュータビジョンに活用したVision Tranformerが,画像認識タスクにおいて畳み込みニューラルネットワーク(CNN)を凌ぐ高精度を示した.
しかし,Vision TransformerでContinual Learningを実現した手法はほとんどない.
本論文では,CNNとVision Transformerの両方へ適用可能なContinual Learning手法であるMask-RKRを提案する.
実験では,CNNとVision Transformerの両方において,従来手法と比較して,少ないパラメータ数で高精度を達成することを示す. |
(英) |
|
キーワード |
(和) |
Continual Learning / Vision Transformer / / / / / / |
(英) |
/ / / / / / / |
文献情報 |
信学技報, vol. 121, no. 427, PRMU2021-62, pp. 13-18, 2022年3月. |
資料番号 |
PRMU2021-62 |
発行日 |
2022-03-03 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2021-62 |