| 講演名 | 2023-05-19 符号付き距離場を用いた滑らかな表面をもつText-to-3D生成 孫 卓凡(東大), 堀田 大地(東大), 池畑 諭(NII), 相澤 清晴(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年, テキストから3次元オブジェクトを生成するフレームワーク(Text-to-3D)が提案されている. Text-to-3Dは画像生成と異なり, モデルの訓練に使えるキャブション付き3次元データが限られている. そのため, 最近のtext-to-3Dアプローチでは, 事前に学習された画像生成用拡散モデルやCLIPを用いて, 3次元シーンからレンダリングされた画像に基づいて3次元シーンを最適化するフレームワークが主流である. 既存のtext-to-3D手法では, 3次元シーンがNeural Radiance Fields (NeRF)で表され, NeRFを最適化することで, テキストからの3Dオブジェクトの生成が実現できる. しかし, これらのNeRFをベースにした手法による生成結果のメッシュを抽出して観測すると, 凸凹のノイズがメッシュの表面に現れることが多い. その結果, 下流アプリケーションに導入した場合, 品質の低下につながる. 本研究ではこの問題を解決するために, 3次元シーンの表面再構成によく用いられる3次元表現である符号付き距離場（SDF）を既存の text-to-3D フレームワークに取り組んで, その効果を検証した. 拡散モデルによるガイダンスとCLIPによるガイダンスの両方の場合において, 生成結果に基づく定性評価及びユーザスタディによる定量評価を行い, ニューラル符号付き距離場による3次元シーン表現を導入することで, 従来のNeRFベースアプローチと比べてより滑らかな表面をもつメッシュ生成結果が得られることを実証した. |
| 抄録(英) | Frameworks for generating 3D objects from text description have been proposed in recent years. These frameworks utilize pre-trained image language models like CLIP or diffusion models to optimize the 3D scene, so that rendered images from any angle of the 3D scene matches the text provided. In these frameworks, 3D scenes are represented by Neural Radiance Fields (NeRF), which has been shown to be suitable for novel-view synthesis tasks. However, NeRF-based methods tend to produce meshes with noisy surfaces. This research intends to solve this problem by incorporating Signed Distance Fields (SDFs) into existing text-to-3D frameworks since SDFs are shown to be suitable for surface reconstruction. We compared the results of NeRF-based and SDF-based approaches and demonstrated that SDF-based methods are able to generate more refined surfaces by suppressing jaggy and floating artifacts that were often observed in results using NeRF-based methods. We also conducted user studies and showed that results SDF-based approaches are not only more refined but also more favorable to users. |
| キーワード(和) | Text-to-3D / Signed Distance Fields / Neural Radiance Fields / CLIP / Diffusion models |
| キーワード(英) | Text-to-3D / Signed Distance Fields / Neural Radiance Fields / CLIP / Diffusion models |
| 資料番号 | PRMU2023-9 |
| 発行日 | 2023-05-11 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/5/18(から2日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 符号付き距離場を用いた滑らかな表面をもつText-to-3D生成 |
| サブタイトル（和） | |
| タイトル（英） | Incorporating Signed Distance Fields to Improve Text-to-3D Generation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Text-to-3D / Text-to-3D |
| キーワード(2)（和/英） | Signed Distance Fields / Signed Distance Fields |
| キーワード(3)（和/英） | Neural Radiance Fields / Neural Radiance Fields |
| キーワード(4)（和/英） | CLIP / CLIP |
| キーワード(5)（和/英） | Diffusion models / Diffusion models |
| 第 1 著者 氏名（和/英） | 孫 卓凡 / Zhuofan Sun |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. of Tokyo) |
| 第 2 著者 氏名（和/英） | 堀田 大地 / Daichi Horita |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. of Tokyo) |
| 第 3 著者 氏名（和/英） | 池畑 諭 / Satoshi Ikehata |
| 第 3 著者 所属（和/英） | 国立情報学研究所/東京工業大学/東京大学(略称：NII) National Institute of Informatics/Tokyo Institute of Technology/The University of Tokyo(略称：NII) |
| 第 4 著者 氏名（和/英） | 相澤 清晴 / Kiyoharu Aizawa |
| 第 4 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. of Tokyo) |
| 発表年月日 | 2023-05-19 |
| 資料番号 | PRMU2023-9 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-30 |
| ページ範囲 | pp.45-50(PRMU), |
| ページ数 | 6 |
| 発行日 | 2023-05-11 (PRMU) |