| 講演名 | 2023-05-19 多視点ステレオのためのNeRFを用いたデプスマップ最適化に関する検討 伊藤 慎太郎(東北大), 三浦 幹太(東北大), 伊藤 康一(東北大), 青木 孝文(東北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿では，Neural Radiance Fields (NeRF) を用いた最適化により多視点ステレオ (Multi-View Stereo: MVS) で推定されたデプスマップを洗練するこいとで，多視点画像からデプスマップを高精度に推定する手法を提案する．MVS は，物体表面のデプスを高精度に推定することができるが，テクスチャの乏しい領域や物体境界において推定精度が低くなる問題がある． 一方で，NeRF は，光線空間の推定の過程でデプスを求めるため，テクスチャの乏しい領域や物体境界において高精度にデプスを得ることができるが，物体表面の詳細なデプスを必ずしも得ることができない問題がある．提案手法は，デプスマップ推定における MVS と NeRF の利点を組み合わせて高精度にデプスマップを推定する．また，提案手法は，MVS で推定されたデプスマップを NeRF に基づく繰り返し最適化により洗練するため，学習を必要としない．Redwood-3dscan データセットを用いた性能評価実験を通して，デプスマップ推定における提案手法の有効性を実証する． |
| 抄録(英) | In this paper, we propose a method to improve the accuracy of depth maps estimated by Multi-View Stereo (MVS) by optimizing them using Neural Radiance Fields (NeRF).MVS can estimate the depth of an object surface accurately, while the accuracy of depth map estimation is significantly low in poor-texture regions and at object boundaries.NeRF can estimate the depth in poor-texture regions and at object boundaries accurately because of obtaining the depth in the process of constructing the ray space, while the accuracy of depth is low in object surfaces.The proposed method combines the advantages of MVS and NeRF to improve the accuracy of depth map estimation.The proposed method also does not need any training by refining depth map with iterative optimization of the depth map based on NeRF.We demonstrate the effectiveness of the proposed method through experiments to evaluate the accuracy of depth map estimation using the Redwood-3dscan dataset. |
| キーワード(和) | Neural Radiance Fields / Multi-View Stereo / デプス推定 |
| キーワード(英) | |
| 資料番号 | PRMU2023-6 |
| 発行日 | 2023-05-11 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/5/18(から2日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 多視点ステレオのためのNeRFを用いたデプスマップ最適化に関する検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study of Depth Map Optimization Using NeRF for Multi-View Stereo |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Neural Radiance Fields |
| キーワード(2)（和/英） | Multi-View Stereo |
| キーワード(3)（和/英） | デプス推定 |
| 第 1 著者 氏名（和/英） | 伊藤 慎太郎 / Shintaro Ito |
| 第 1 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 2 著者 氏名（和/英） | 三浦 幹太 / Kanta Miura |
| 第 2 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 3 著者 氏名（和/英） | 伊藤 康一 / Koichi Ito |
| 第 3 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 4 著者 氏名（和/英） | 青木 孝文 / Takafumi Aoki |
| 第 4 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 発表年月日 | 2023-05-19 |
| 資料番号 | PRMU2023-6 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-30 |
| ページ範囲 | pp.27-32(PRMU), |
| ページ数 | 6 |
| 発行日 | 2023-05-11 (PRMU) |