| 講演名 | 2022-03-09 オプティカルフローを用いた運動情報のエンコーディングによる弱教師ありインスタンスセグメンテーションの改善 池田 純(東大), 森 純一郎(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 弱教師ありインスタンスセグメンテーションは，モデルの学習に要するアノテーションコストの大幅な削減を可能にする重要なタスクである． 先行研究では静止画から得られる共時的な外観情報を活用して物体の検出や領域分割を試みている． しかし，外観が識別的でない物体の認識に課題がある． 本論文では，画像シーケンスから得られる運動情報を用いてこの問題に取り組む． 具体的には，画像とオプティカルフローから抽出した外観特徴と運動特徴をそれぞれ適切に活用するエンコーダを提案する． また，マスクヘッドによるセグメンテーションを監視するために，従来研究において我々が提案した，外観情報と運動情報を両方考慮したペアワイズ損失を採用する． 我々がYouTube-VIS 2019データセットにおいて提案手法の性能を定量的に評価した結果，提案手法が既存の最先端手法のAPを3.1%改善する結果が得られた． |
| 抄録(英) | Weakly supervised instance segmentation is an important task that can significantly reduce the annotation cost of model training. Previous works have been using appearance information obtained from a single image for detection and segmentation. However, it poses the challenge of identifying objects with non-discriminative appearance. In this paper, we tackle this problem by using motion information from image sequences. Specifically, we propose a two-stream encoder that appropriately leverages appearance and motion features extracted from images and optical flows. In addition, we employ a pairwise loss that considers both appearance and motion information to supervise segmentation. We conduct extensive evaluations on the YouTube-VIS 2019 dataset. Our results demonstrate that the proposed method improves the AP of the state-of-the-art method by 3.1. |
| キーワード(和) | インスタンスセグメンテーション / 弱教師あり学習 / オプティカルフロー |
| キーワード(英) | instance segmentation / weakly supervised learning / optical flow |
| 資料番号 | IMQ2021-15,IE2021-77,MVE2021-44 |
| 発行日 | 2022-03-02 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | CQ / IMQ / MVE / IE |
|---|---|
| 開催期間 | 2022/3/9(から3日開催) |
| 開催地（和） | オンライン開催（Zoom） |
| 開催地（英） | Online (Zoom) |
| テーマ（和） | 変化する生活での五感に訴えるオンラインメディアとその評価、および一般（魅力工学研究会協賛） |
| テーマ（英） | Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc |
| 委員長氏名（和） | 岡本 淳(NTT) / 魚森 謙也(阪大) / 井原 雅行(理研) / 児玉 和也(NII) |
| 委員長氏名（英） | Jun Okamoto(NTT) / Kenya Uomori(Osaka Univ.) / Masayuki Ihara(RIKEN) / Kazuya Kodama(NII) |
| 副委員長氏名（和） | 平栗 健史(日本工大) / 長谷川 剛(東北大) / 前田 充(キヤノン) / 清川 清(奈良先端大) / 坂東 幸浩(NTT) / 山崎 俊彦(東大) |
| 副委員長氏名（英） | Takefumi Hiraguri(Nippon Inst. of Tech.) / Gou Hasegawa(Tohoku Univ.) / Mitsuru Maeda(Canon) / Kiyoshi Kiyokawa(NAIST) / Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) |
| 幹事氏名（和） | アベセカラ ヒランタ(NTT) / 山本 寛(立命館大) / 工藤 博章(名大) / 土田 勝(NTT) / 西口 敏司(阪工大) / 横山 正典(NTT) / 福嶋 政期(東大) / 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) |
| 幹事氏名（英） | Hirantha Abeysekera(NTT) / Hiroshi Yamamoto(Ritsumeikan Univ.) / Hiroaki Kudo(Nagoya Univ.) / Masaru Tsuchida(NTT) / Satoshi Nishiguchi(Oosaka Inst. of Tech.) / Masanori Yokoyama(NTT) / Shogo Fukushima(Univ. of ToKyo) / Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 西川 由明(NEC) / 堅岡 良知(KDDI総合研究所) / 川嶋 喜美子(NTT) / 塚田 正人(NEC) / 山添 崇(成蹊大) / 磯山 直也(奈良先端大) / 原 豪紀(大日本印刷) / 後藤 充裕(NTT) / 岩村 俊輔(NHK) / 工藤 忍(NTT) |
| 幹事補佐氏名（英） | Yoshiaki Nishikawa(NEC) / Ryoichi Kataoka(KDDI Research) / Kimiko Kawashima(NTT) / Masato Tsukada(NEC) / Takashi Yamazoe(Seikei Univ.) / Naoya Isoyama(NAIST) / Takenori Hara(DNP) / Mitsuhiro Goto(NTT) / Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Communication Quality / Technical Committee on Image Media Quality / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Image Engineering |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | オプティカルフローを用いた運動情報のエンコーディングによる弱教師ありインスタンスセグメンテーションの改善 |
| サブタイトル（和） | |
| タイトル（英） | Improving Weakly Supervised Instance Segmentation by Encoding Motion Information via Optical Flow |
| サブタイトル（和） | |
| キーワード(1)（和/英） | インスタンスセグメンテーション / instance segmentation |
| キーワード(2)（和/英） | 弱教師あり学習 / weakly supervised learning |
| キーワード(3)（和/英） | オプティカルフロー / optical flow |
| 第 1 著者 氏名（和/英） | 池田 純 / Jun Ikeda |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UT) |
| 第 2 著者 氏名（和/英） | 森 純一郎 / Junichiro Mori |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UT) |
| 発表年月日 | 2022-03-09 |
| 資料番号 | IMQ2021-15,IE2021-77,MVE2021-44 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | IMQ-420,IE-422,MVE-423 |
| ページ範囲 | pp.27-32(IMQ), pp.27-32(IE), pp.27-32(MVE), |
| ページ数 | 6 |
| 発行日 | 2022-03-02 (IMQ, IE, MVE) |