| 講演名 | 2022-02-22 映像と音声を用いたDeepFake検出 内田 哲夫(東京工科大), 矢崎 俊志(電通大), 石畑 宏明(東京工科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 機械学習やコンピュータの性能の進歩により, 人の目では真贋判定が難しく, 合成・生成されたDeepFake画像が世の中に出回っている. そのため, DeepFakeの検出研究が盛んに行われている. Selimらによる, 動画の視覚情報のみを利用した検出がMeta主催のDeepFakeを検出するコンテストDFDC (Deep Fake Detection Challenge)で最優秀となった. 本論文では動画内の顔だけではなく, 声に注目し, 視覚情報と聴覚情報を用いた. ・口画像と無加工の音用いる手法 ・口画像と音源分離した人の声を用いる手法 ・Selimの画像処理部分と分離した人の声を組み合わせた手法の3つの手法を提案する. Selimのモデルでは, 検出率は 92.0%であった. 口画像と無加工の音用いる手法では, 検出率は, 75.8% であった. 口画像と音源分離した人の声を用いる手法では, 検出率は, 82.0% であった. Selimの画像処理部分と分離した人の声を組み合わせた手法の検出率は, 97%となった. |
| 抄録(英) | In this paper, we propose three methods 1) a method using mouth images and unprocessed sounds. 2) a method using mouth images and source-separated human voices. 3) a method combining Selim's image processing part and separated human voices. The Selim's model in a detection rate of 92.0%. The method using mouth images and unprocessed sounds in a detection rate of 75.8%. The method using mouth images and source-separated human voices in a detection rate of 82.0%. The method combining Selim's image processing part and separated human voices in a detection rate of 97%. |
| キーワード(和) | DeepFake |
| キーワード(英) | DeepFake |
| 資料番号 | ITS2021-54,IE2021-63 |
| 発行日 | 2022-02-14 (ITS, IE) |
| 研究会情報 | |
| 研究会 | IE / ITS / ITE-AIT / ITE-ME / ITE-MMS |
|---|---|
| 開催期間 | 2022/2/21(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 画像処理，一般 |
| テーマ（英） | Image Processing, etc. |
| 委員長氏名（和） | 児玉 和也(NII) / 藤井 雅弘(宇都宮大) / 名手 久貴(東京工芸大) / 新井 啓之(日本工大) / 町田 賢司(NHK) |
| 委員長氏名（英） | Kazuya Kodama(NII) / Masahiro Fujii(Utsunomiya Univ.) / Hisaki Nate(Tokyo Polytechnic Univ.) / Hiroyuki Arai(Nippon Inst. of Tech.) / Kenji Machida(NHK) |
| 副委員長氏名（和） | 坂東 幸浩(NTT) / 山崎 俊彦(東大) / 大野 光平(明治大) / 橋本 尚久(産総研) / / 村松 正吾(新潟大) |
| 副委員長氏名（英） | Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) / Kohei Ohno(Meiji Univ.) / Naohisa Hashimoto(AIST) / / Shogo Muramatsu(Niigata Univ.) |
| 幹事氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 橋浦 康一郎(秋田県立大) / 金 帝演(鶴岡工専) / / 望月 貴裕(NHK) / 小川 貴弘(北海道大) / 細井 利憲(NEC) / 山野 文子(コニカミノルタ) / 堀 淳志(三菱電機) / 文仙 正俊(福岡大) |
| 幹事氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Kouichiro Hashiura(Akita Prefectural Univ.) / Kim Jeyeon(NIT, Tsuruoka College) / / Takahiro Mochizuki(NHK) / Takahiro Ogawa(Hokkaido Univ.) / Toshinori Hosoi(NEC) / Ayako Yamano(KONICA MINOLTA) / Atsushi Hori(Mitsubishi Electric) / Masatoshi Bunsen(Fukuoka Univ.) |
| 幹事補佐氏名（和） | 岩村 俊輔(NHK) / 工藤 忍(NTT) / 今尾 勝崇(三菱電機) / 佐保 賢志(富山県立大) / 自見 圭司(群馬大) |
| 幹事補佐氏名（英） | Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) / Msataka Imao(Mitsubishi Electric) / Kenshi Saho(Toyama Prefectural Univ.) / Keiji Jimi(Gunma Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Intelligent Transport Systems Technology / Technical Group on Artistic Image Technology / Technical Group on Media Engineering / Technical Group on Multi-media Storage |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 映像と音声を用いたDeepFake検出 |
| サブタイトル（和） | |
| タイトル（英） | DeepFake detection using video and audio |
| サブタイトル（和） | |
| キーワード(1)（和/英） | DeepFake / DeepFake |
| 第 1 著者 氏名（和/英） | 内田 哲夫 / Tetsuo Uchida |
| 第 1 著者 所属（和/英） | 東京工科大学(略称：東京工科大) Tokyo University of Technology(略称：TUT) |
| 第 2 著者 氏名（和/英） | 矢崎 俊志 / Syunji Yazaki |
| 第 2 著者 所属（和/英） | 電気通信大学(略称：電通大) The University of Electro-Communications(略称：UEC) |
| 第 3 著者 氏名（和/英） | 石畑 宏明 / Ishihata Hiroaki |
| 第 3 著者 所属（和/英） | 東京工科大学(略称：東京工科大) Tokyo University of Technology(略称：TUT) |
| 発表年月日 | 2022-02-22 |
| 資料番号 | ITS2021-54,IE2021-63 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | ITS-373,IE-374 |
| ページ範囲 | pp.173-178(ITS), pp.173-178(IE), |
| ページ数 | 6 |
| 発行日 | 2022-02-14 (ITS, IE) |