| 講演名 | 2023-09-12 音声と3DMMに基づくマスクを除去した顔画像の推定 赤塚 哲丸(電通大), 折原 良平(電通大), 清 雄一(電通大), 田原 康之(電通大), 大須賀 昭彦(電通大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | COVID-19の流行によりマスクの着用が一般的となったが, 顔の半分近くを覆うマスクは, セキュリティや識別システムに影響を及ぼし始めている. この課題に対応する為, 高精度な顔推定技術が求められている. 現在の最先端手法は, 3D Morphable Model（3DMM）を中間表現とし, 顔テクスチャの復元品質の向上には成功しているが, 顔形状の復元性能については不十分であり, 生成された顔の一部はアイデンティティが著しく損なわれている. 本研究では, マスクで隠れてしまう口や鼻の形状と特に相関の高い音声に着目し, 顔形状の推定に3DMMと音声を用いたマルチモーダルな手法を提案する. 実験の結果, 提案手法は音声を考慮しないベースライン手法と比較して, 定性的・定量的に品質が向上することが示された. |
| 抄録(英) | Facemasks have become common due to the COVID-19 pandemic. They have begun to affect security and identification systems because they cover almost half of the face. Current state-of-the-art methods have been applied to estimate unmasked faces from masked face images. They are successful in improving the quality of the face texture by 3D Morphable Model (3DMM) as intermediate representations. However, their performance in restoring the face shapes is insufficient, and some of generated faces lack identities. In this study, we focus on voice, which has a particularly high correlation with the shape of the mouth and nose, which are obscured by masks. We propose a multimodal method using 3DMM and voice for face shape estimation under masks. Experimental results show that the proposed method qualitatively and quantitatively improves the quality of shape restoration of a face compared to the baseline method without considering voice. |
| キーワード(和) | マスク除去 / Inpainting / 3DMM / 音声埋め込み / マルチモーダル |
| キーワード(英) | Mask Removal / Inpainting / 3DMM / Voice Embedding / Multimodal |
| 資料番号 | AI2023-32 |
| 発行日 | 2023-09-05 (AI) |
| 研究会情報 | |
| 研究会 | AI |
|---|---|
| 開催期間 | 2023/9/12(から2日開催) |
| 開催地（和） | 登別グランドホテル |
| 開催地（英） | |
| テーマ（和） | 合同エージェントワークショップ＆シンポジウム2023 (JAWS2023) |
| テーマ（英） | |
| 委員長氏名（和） | 藤田 桂英(東京農工大) |
| 委員長氏名（英） | Katsuhide Fujita(Tokyo Univ. of Agriculture and Technology) |
| 副委員長氏名（和） | 櫻井 祐子(名工大) / 大囿 忠親(名工大) |
| 副委員長氏名（英） | Yuko Sakurai(agoya Inst. of Tech.) / Tadachika Ozono(Nagoya Inst. of Tech.) |
| 幹事氏名（和） | 松崎 和賢(中大) / 中島 悠(東邦大) |
| 幹事氏名（英） | Kazutaka Matsuzaki(Chuo Univ.) / Yuu Nakajima(Toho Univ.) |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Artificial Intelligence and Knowledge-Based Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 音声と3DMMに基づくマスクを除去した顔画像の推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of unmasked face images based on voice and 3DMM |
| サブタイトル（和） | |
| キーワード(1)（和/英） | マスク除去 / Mask Removal |
| キーワード(2)（和/英） | Inpainting / Inpainting |
| キーワード(3)（和/英） | 3DMM / 3DMM |
| キーワード(4)（和/英） | 音声埋め込み / Voice Embedding |
| キーワード(5)（和/英） | マルチモーダル / Multimodal |
| 第 1 著者 氏名（和/英） | 赤塚 哲丸 / Tetsumaru Akatsuka |
| 第 1 著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科(略称：電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications(略称：UEC) |
| 第 2 著者 氏名（和/英） | 折原 良平 / Ryohei Orihara |
| 第 2 著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科(略称：電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications(略称：UEC) |
| 第 3 著者 氏名（和/英） | 清 雄一 / Yuichi Sei |
| 第 3 著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科(略称：電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications(略称：UEC) |
| 第 4 著者 氏名（和/英） | 田原 康之 / Yasuyuki Tahara |
| 第 4 著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科(略称：電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications(略称：UEC) |
| 第 5 著者 氏名（和/英） | 大須賀 昭彦 / Akihiko Ohsuga |
| 第 5 著者 所属（和/英） | 電気通信大学 大学院情報理工学研究科(略称：電通大) Graduate School of Informatics and Engineering, The University of Electro-Communications(略称：UEC) |
| 発表年月日 | 2023-09-12 |
| 資料番号 | AI2023-32 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | AI-190 |
| ページ範囲 | pp.187-193(AI), |
| ページ数 | 7 |
| 発行日 | 2023-09-05 (AI) |