| 講演名 | 2023-05-18 ジェスチャの自動生成におけるフェイクとリアルの判別 牟 耕(青学大), 金子 直史(青学大), 鷲見 和彦(青学大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，擬人化エージェントやロボットとのコミュニケーションにおいて，ジェスチャは非常に重要な役割を果たしている．これらの人工的な存在が人間との会話をする際に，ジェスチャを使うことでより自然なコミュニケーションを実現することが期待されている．しかし，これらのジェスチャを自動的に生成する技術が発展するにつれ，その生成されたジェスチャが不正な目的に悪用される可能性が高まっている．このような背景から本研究では，自動生成されたジェスチャ（フェイク）と人間が行ったジェスチャ（リアル）を判別する手法を提案する．具体的には，既存のデータ駆動ジェスチャ生成手法を利用して生成したフェイクジェスチャと，姿勢推定で取得したリアルジェスチャからなるデータセットを構築し，スケルトンベースの行動認識モデルを訓練することで，フェイクとリアルの判別を行う手法を提案する，異なる話し方をする25人251時間の音声，文字，画像情報から，3種類の最新のフェイクジェスチャ生成法を使って生成した学習データセットを用いて，行動認識のネットワークにReal/Fakeの判別問題として学習させたところ，未学習のフェイクジェスチャ生成アルゴリズムが生成したものを99.72%の精度で検出することに成功した．この手法により，ジェスチャ自動生成技術の進歩に伴って生じる悪用のリスクを軽減することが期待される． |
| 抄録(英) | In recent years, gestures play a crucial role in communication with anthropomorphized agents and robots. The use of gestures by these artificial entities during conversations with humans is expected to facilitate more natural communication. However, as technologies for automatically generating these gestures advance, there is an increasing risk of generated gestures being exploited for malicious purposes. In this context, this study proposes a method for distinguishing between automatically generated (fake) gestures and human-performed (real) gestures.Specifically, we have constructed a dataset consisting of fake gestures generated using existing data-driven gesture generation methods and real gestures obtained through pose estimation. By training a skeleton-based action recognition model on this dataset, we propose a method for distinguishing between fake and real gestures. Utilizing a learning dataset generated by three different fake gesture generation methods from 25 speakers with different speaking styles and 251 hours of audio, text, and image information, we trained the action recognition network as a real/fake discrimination problem. This approach successfully detected unlearned fake gestures generated by other algorithms with an accuracy of 99.72%. This approach is anticipated to mitigate the risk of misuse arising from the advancements in gesture generation technology, providing a foundation for safer and more authentic interactions in human-robot communication. |
| キーワード(和) | ディープフェイク検出 / ジェスチャ生成 / 生成モデル / 人間行動認識 |
| キーワード(英) | Deepfake detection / Gesture generation / Generative models / Human action recognition |
| 資料番号 | PRMU2023-5 |
| 発行日 | 2023-05-11 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/5/18(から2日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ジェスチャの自動生成におけるフェイクとリアルの判別 |
| サブタイトル（和） | |
| タイトル（英） | Discriminating between fake and real gestures in automatic gesture generation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ディープフェイク検出 / Deepfake detection |
| キーワード(2)（和/英） | ジェスチャ生成 / Gesture generation |
| キーワード(3)（和/英） | 生成モデル / Generative models |
| キーワード(4)（和/英） | 人間行動認識 / Human action recognition |
| 第 1 著者 氏名（和/英） | 牟 耕 / Geng Mu |
| 第 1 著者 所属（和/英） | 青山学院大学(略称：青学大) Aoyama Gakuin University(略称：AGU) |
| 第 2 著者 氏名（和/英） | 金子 直史 / Nosh Kaneko |
| 第 2 著者 所属（和/英） | 青山学院大学(略称：青学大) Aoyama Gakuin University(略称：AGU) |
| 第 3 著者 氏名（和/英） | 鷲見 和彦 / Kazuhiko Sumi |
| 第 3 著者 所属（和/英） | 青山学院大学(略称：青学大) Aoyama Gakuin University(略称：AGU) |
| 発表年月日 | 2023-05-18 |
| 資料番号 | PRMU2023-5 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-30 |
| ページ範囲 | pp.22-26(PRMU), |
| ページ数 | 5 |
| 発行日 | 2023-05-11 (PRMU) |