| 講演名 | 2021-05-20 Predicting Humor in Visual and Language Modalities 楊 沢坤(阪大), 中島 悠太(阪大), 竹村 治雄(阪大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | Finding humor in videos is an interesting but challenging task because humor can be induced by various signals in the visual, linguistic, and vocal modalities emitted by human. Previous methods mainly predict humor in the sentence level and with single modality, which often ignore humor caused by e.g., actions. In this work, we propose a multi-modal humor prediction method to find temporal segments that involve humor in videos. Our method adopts a sliding window to divide the video and uses the visual modality described by pose and facial features, along with the linguistic modality given as subtitles for humor prediction. We use long short term memory (LSTM) networks to model poses and faces and use pre-trained BERT to model the subtitles. Experimental results with the dataset based on a sitcom TV drama series show that our method helps improve the performance of humor prediction. |
| キーワード(和) | |
| キーワード(英) | Humor PredictionPose RepresentationLanguage Modeling |
| 資料番号 | PRMU2021-1 |
| 発行日 | 2021-05-13 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM / IPSJ-NL |
|---|---|
| 開催期間 | 2021/5/20(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | Vision & Language |
| テーマ（英） | Vision & Language |
| 委員長氏名（和） | 佐藤 洋一(東大) |
| 委員長氏名（英） | Yoichi Sato(Univ. of Tokyo) |
| 副委員長氏名（和） | 木村 昭悟(NTT) / 岩村 雅一(阪府大) |
| 副委員長氏名（英） | Akisato Kimura(NTT) / Masakazu Iwamura(Osaka Pref. Univ.) |
| 幹事氏名（和） | 内田 祐介(Mobility Technologies) / 山下 隆義(中部大) |
| 幹事氏名（英） | Yusuke Uchida(Mobility Technologies) / Takayoshi Yamashita(Chubu Univ.) |
| 幹事補佐氏名（和） | 柴田 剛志(NTT) / 西山 正志(鳥取大) |
| 幹事補佐氏名（英） | Takashi Shibata(NTT) / Masashi Nishiyama(Tottori Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media / Special Interest Group on Natural Language |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Predicting Humor in Visual and Language Modalities |
| サブタイトル（和） | |
| キーワード(1)（和/英） | / Humor PredictionPose RepresentationLanguage Modeling |
| 第 1 著者 氏名（和/英） | 楊 沢坤 / Zekun Yang |
| 第 1 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 2 著者 氏名（和/英） | 中島 悠太 / Yuta Nakashima |
| 第 2 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 3 著者 氏名（和/英） | 竹村 治雄 / Haruo Takemura |
| 第 3 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 発表年月日 | 2021-05-20 |
| 資料番号 | PRMU2021-1 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | PRMU-23 |
| ページ範囲 | pp.1-6(PRMU), |
| ページ数 | 6 |
| 発行日 | 2021-05-13 (PRMU) |