| 講演名 | 2022-02-22 Contrastive Self-Supervised Learning Framework for Unsupervised Video Summarization 張 賢亮(東大), 陶 砺(東大), 汪 雪?(サイバーエージェント), 山崎 俊彦(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | The rapid growth of video data aggravates the effort by viewers in exploring informative data. This paper presents a framework based on contrastive learning for unsupervised video summarization to help people to extract important parts in those videos. In contrastive learning, anchor-positive and anchor-negative pairs are usually employed to fulfill learning deep representation from the anchor. In our study, a positive sample by reversing the anchor video is introduced, whose summarization should also be a reversed one. Meanwhile, by destroying temporal relations in the anchor video, the intra-negative video is generated, whose summarization should be quite different from the anchor. Finally, we design our framework to explore the similarity and differences of such samples with the anchor by two proposed summary losses. Experimental evaluations on two benchmark datasets show that our proposed framework surpasses the state-of-the-art unsupervised methods in terms of F-score and correlation coefficients. Without using any annotation, our method can even outperform many supervised methods. We also show that our framework can further enhance the summarization performance by training on large-scale external data that are collected from social networks. Quantitative experiments also show that our method can be integrated into other models with better performance and quicker convergence, indicating the generality of the algorithm. |
| キーワード(和) | |
| キーワード(英) | contrastive learningvideo summarizationlarge-scale external dataquicker convergence |
| 資料番号 | ITS2021-44,IE2021-53 |
| 発行日 | 2022-02-14 (ITS, IE) |
| 研究会情報 | |
| 研究会 | IE / ITS / ITE-AIT / ITE-ME / ITE-MMS |
|---|---|
| 開催期間 | 2022/2/21(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 画像処理，一般 |
| テーマ（英） | Image Processing, etc. |
| 委員長氏名（和） | 児玉 和也(NII) / 藤井 雅弘(宇都宮大) / 名手 久貴(東京工芸大) / 新井 啓之(日本工大) / 町田 賢司(NHK) |
| 委員長氏名（英） | Kazuya Kodama(NII) / Masahiro Fujii(Utsunomiya Univ.) / Hisaki Nate(Tokyo Polytechnic Univ.) / Hiroyuki Arai(Nippon Inst. of Tech.) / Kenji Machida(NHK) |
| 副委員長氏名（和） | 坂東 幸浩(NTT) / 山崎 俊彦(東大) / 大野 光平(明治大) / 橋本 尚久(産総研) / / 村松 正吾(新潟大) |
| 副委員長氏名（英） | Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) / Kohei Ohno(Meiji Univ.) / Naohisa Hashimoto(AIST) / / Shogo Muramatsu(Niigata Univ.) |
| 幹事氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 橋浦 康一郎(秋田県立大) / 金 帝演(鶴岡工専) / / 望月 貴裕(NHK) / 小川 貴弘(北海道大) / 細井 利憲(NEC) / 山野 文子(コニカミノルタ) / 堀 淳志(三菱電機) / 文仙 正俊(福岡大) |
| 幹事氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Kouichiro Hashiura(Akita Prefectural Univ.) / Kim Jeyeon(NIT, Tsuruoka College) / / Takahiro Mochizuki(NHK) / Takahiro Ogawa(Hokkaido Univ.) / Toshinori Hosoi(NEC) / Ayako Yamano(KONICA MINOLTA) / Atsushi Hori(Mitsubishi Electric) / Masatoshi Bunsen(Fukuoka Univ.) |
| 幹事補佐氏名（和） | 岩村 俊輔(NHK) / 工藤 忍(NTT) / 今尾 勝崇(三菱電機) / 佐保 賢志(富山県立大) / 自見 圭司(群馬大) |
| 幹事補佐氏名（英） | Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) / Msataka Imao(Mitsubishi Electric) / Kenshi Saho(Toyama Prefectural Univ.) / Keiji Jimi(Gunma Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Intelligent Transport Systems Technology / Technical Group on Artistic Image Technology / Technical Group on Media Engineering / Technical Group on Multi-media Storage |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Contrastive Self-Supervised Learning Framework for Unsupervised Video Summarization |
| サブタイトル（和） | |
| キーワード(1)（和/英） | / contrastive learningvideo summarizationlarge-scale external dataquicker convergence |
| 第 1 著者 氏名（和/英） | 張 賢亮 / Xianliang Zhang |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 2 著者 氏名（和/英） | 陶 砺 / Li Tao |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 3 著者 氏名（和/英） | 汪 雪? / Xueting Wang |
| 第 3 著者 所属（和/英） | サイバーエージェント(略称：サイバーエージェント) CyberAgent AI Lab(略称：CyberAgent AI Lab) |
| 第 4 著者 氏名（和/英） | 山崎 俊彦 / Toshihiko Yamasaki |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 発表年月日 | 2022-02-22 |
| 資料番号 | ITS2021-44,IE2021-53 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | ITS-373,IE-374 |
| ページ範囲 | pp.115-120(ITS), pp.115-120(IE), |
| ページ数 | 6 |
| 発行日 | 2022-02-14 (ITS, IE) |