| 講演名 | 2022-03-11 UMAとMCDの組み合わせによる一人称視点動画におけるハンドセグメンテーション 鈴木 健一(阪府大), 井上 勝文(阪府大), 吉岡 理文(阪府大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 一人称視点動画におけるドメインシフトは，学習データと異なる環境下の撮影時に，画像全体の外観の変化から生じやすく，ハンドセグメンテーションモデルの性能低下を招く．この問題に対して，既存手法であるUMAは教師なしドメイン適応によって手領域特徴を自己学習することで精度を確保している．しかし，自己学習時に，ピクセルに対して誤った疑似ラベルが付与された場合の補正機能がなく，精度改善の余地がある．そこで本研究では，誤った疑似ラベル付与を防ぐために，敵対的学習によってドメイン適応するMCDをUMAに導入し，ハンドセグメンテーション性能の向上を図る．具体的には，手の疑似ラベルマスクのもととなる確率マップに関して，分類器によるドメイン予測の不一致に着目する．この不一致を用いた教師なしドメイン適応を行い，ターゲットデータの各ピクセルが手領域に含まれるかどうかを精度良く分類することで，誤った疑似ラベルの原因となる確率マップの生成を抑制する．公共データセットを用いた実験で，提案手法はUMAより，平均で約3.8%の精度向上を達成した． |
| 抄録(英) | Domain shift in the egocentric video analysis is caused by the difference between shooting environment of training and that of testing, and it deteriorates the hand segmentation performance. To solve this problem, to keep the performance, UMA utilizes the self-training technique with unsupervised domain adaptation to learn the feature of hand region, i.e., UMA utilizes the pseudo labels assigned to pixels during self-training to lessen the influences of domain shift. However, since the correct pseudo labels are not necessarily assigned to pixels and UMA does not have a function to correct the wrong pseudo labels, these affect the hand segmentation performance. To lessen the effects, in this research, we introduce MCD, which is an unsupervised domain adaptation method based on adversarial learning, into UMA for preventing the generation of wrong pseudo labels. Specifically, we utilize two domain classifiers to classify the probability map of the hand region estimated with the pseudo label and focus on the discrepancy between the domain classification results. Based on this discrepancy, we apply the hand segmentation model to a new domain with an unsupervised manner and evaluate whether each pixel of target data belongs to hand region or not. From this process, we lessen the effects of generation of wrong pseudo labels. Through the extensive experiments of hand segmentation with public datasets, we confirmed that the proposed method achieved the average accuracy improvement of 3.8% compared with UMA. |
| キーワード(和) | ドメイン適応 / ハンドセグメンテーション / 一人称ビジョン |
| キーワード(英) | Domain Adaptation / Hand Segmentation / First-person Vision |
| 資料番号 | PRMU2021-83 |
| 発行日 | 2022-03-03 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2022/3/10(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 微分可能レンダリング |
| テーマ（英） | Differentiable rendering |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 岩村 雅一(阪府大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Masakazu Iwamura(Osaka Pref. Univ.) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 柴田 剛志(NTT) / 西山 正志(鳥取大) |
| 幹事氏名（英） | Takashi Shibata(NTT) / Masashi Nishiyama(Tottori Univ.) |
| 幹事補佐氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事補佐氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | UMAとMCDの組み合わせによる一人称視点動画におけるハンドセグメンテーション |
| サブタイトル（和） | |
| タイトル（英） | Hand Segmentation in Egocentric Videos by Combining UMA and MCD |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ドメイン適応 / Domain Adaptation |
| キーワード(2)（和/英） | ハンドセグメンテーション / Hand Segmentation |
| キーワード(3)（和/英） | 一人称ビジョン / First-person Vision |
| 第 1 著者 氏名（和/英） | 鈴木 健一 / Kenichi Suzuki |
| 第 1 著者 所属（和/英） | 大阪府立大学(略称：阪府大) Osaka Prefecture University(略称：Osaka Prefecture Univ.) |
| 第 2 著者 氏名（和/英） | 井上 勝文 / Katsufumi Inoue |
| 第 2 著者 所属（和/英） | 大阪府立大学(略称：阪府大) Osaka Prefecture University(略称：Osaka Prefecture Univ.) |
| 第 3 著者 氏名（和/英） | 吉岡 理文 / Michifumi Yoshioka |
| 第 3 著者 所属（和/英） | 大阪府立大学(略称：阪府大) Osaka Prefecture University(略称：Osaka Prefecture Univ.) |
| 発表年月日 | 2022-03-11 |
| 資料番号 | PRMU2021-83 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | PRMU-427 |
| ページ範囲 | pp.145-150(PRMU), |
| ページ数 | 6 |
| 発行日 | 2022-03-03 (PRMU) |