| 講演名 | 2023-05-19 セグメンテーションマスクを利用した動画からの静的なNeRF表現の学習 大隣 嵩(東大), 池畑 諭(NII), 相澤 清晴(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本論文では，人や車などの動く物体を含む動画を入力として，静的な背景シーンの抽出，NeRF表現の学習を行う課題に取り組む．現時点で最も精度良く静的な背景シーンを抽出できるRobustNeRFでは，学習が難しくパッチ内全体で誤差が大きくなる静的な背景を含む実世界のシーンでは，静的な背景と動くオブジェクトの区別ができず，静動分離に失敗してしまう．これに対して，本論文で導入するTest Time Augmentationにより獲得したセグメンテーションマスクを追加することで，既存手法では適用が難しかった学習が難しくパッチ内全体で誤差が大きくなる静的な背景を含む実世界のシーンに対して，効果的に動く物体が取り除かれることを実験を通して示した． |
| 抄録(英) | In this paper, we tackle the problem of extracting static backgrounds from videos containing moving objects, such as people and cars. RobustNeRF, the current state-of-the-art method for extracting static backgrounds, often struggles to separate high-frequency static backgrounds from dynamic foregrounds in real-world scenes. We introduce Test Time Augmentation, and our experiments demonstrate that the additional segmentation masks effectively remove dynamic foregrounds in scenes with high-frequency static backgrounds, an area where existing methods have faced difficulties. |
| キーワード(和) | NeRF / 任意視点画像合成 / シーン分解 / セマンティックセグメンテーション |
| キーワード(英) | neural radiance field / NeRF / novel view synthesis / scene decomposition / semantic segmentation |
| 資料番号 | PRMU2023-7 |
| 発行日 | 2023-05-11 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/5/18(から2日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | セグメンテーションマスクを利用した動画からの静的なNeRF表現の学習 |
| サブタイトル（和） | |
| タイトル（英） | Learning static NeRF representations from video using 2D segmentation masks |
| サブタイトル（和） | |
| キーワード(1)（和/英） | NeRF / neural radiance field |
| キーワード(2)（和/英） | 任意視点画像合成 / NeRF |
| キーワード(3)（和/英） | シーン分解 / novel view synthesis |
| キーワード(4)（和/英） | セマンティックセグメンテーション / scene decomposition |
| キーワード(5)（和/英） | / semantic segmentation |
| 第 1 著者 氏名（和/英） | 大隣 嵩 / Takashi Otonari |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Tokyo Univ.) |
| 第 2 著者 氏名（和/英） | 池畑 諭 / Satoshi Ikehata |
| 第 2 著者 所属（和/英） | 国立情報学研究所(略称：NII) National Institute of Informatics(略称：NII) |
| 第 3 著者 氏名（和/英） | 相澤 清晴 / Kiyoharu Aizawa |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Tokyo Univ.) |
| 発表年月日 | 2023-05-19 |
| 資料番号 | PRMU2023-7 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-30 |
| ページ範囲 | pp.33-38(PRMU), |
| ページ数 | 6 |
| 発行日 | 2023-05-11 (PRMU) |