| 講演名 | 2023-03-03 未知視点に対する疑似特徴量評価によるFew-shot NeRFの検討 金岡 大樹(九工大/理研), 薗頭 元春(理研), 田向 権(九工大/ニューロモルフィックAIハードウェア研究センター), 川西 康友(理研), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 任意視点画像生成においてNeural Radiance Fieldsは非常に強力な手法ではあるが，学習のためには多くの画像が必要である．本発表では，パラメトリック固有空間法のアナロジーとして，教師データが存在しない未知視点において，近傍視点の画像から擬似的に生成した特徴ベクトルを教師信号として学習に用いることで，少数の画像でも学習できるManifoldNeRFを提案する．実験の結果，疑似教師信号を用いることで，データセットが少量でも精度 良く任意視点画像が生成できることを確認した． |
| 抄録(英) | Neural Radiance Fields (NeRF) is a powerful method for novel view synthesis. However, NeRF requires a large number of images for training. In this paper, we propose the Manifold NeRF, which uses the interpolated feature from neighboring viewpoints as pseudo ground truth at each unknown viewpoint for its training in addition to the original NeRF loss for known viewpoints. As a result of the experiments, we confirmed that the interpolated pseudo ground truth helps training of NeRF with a limited number of images. |
| キーワード(和) | 任意視点画像生成 / Few-shot / Neural Radiance Fields |
| キーワード(英) | Novel view synthesis / Few-shot / Neural Radiance Fields |
| 資料番号 | PRMU2022-101,IBISML2022-108 |
| 発行日 | 2023-02-23 (PRMU, IBISML) |
| 研究会情報 | |
| 研究会 | PRMU / IBISML / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/3/2(から2日開催) |
| 開催地（和） | はこだて未来大学 |
| 開催地（英） | Future University Hakodate |
| テーマ（和） | 異分野連携(PRMU)、AutoML (CVIM)、機械学習の理論と応用の広がり(IBISML) |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) / 杉山 将(東大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) / Masashi Sugiyama(Univ. of Tokyo) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) / 神嶌 敏弘(産総研) / 津田 宏治(東大) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) / Toshihiro Kamishima(AIST) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) / 岩田 具治(NTT) / 中村 篤祥(北大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) / Tomoharu Iwata(NTT) / Atsuyoshi Nakamura(Hokkaido Univ.) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) / 河原 吉伸(阪大) / 鈴木 大慈(東工大) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) / Yoshinobu Kawahara(Osaka Univ.) / Taiji Suzuki(Tokyo Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Information-Based Induction Sciences and Machine Learning / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 未知視点に対する疑似特徴量評価によるFew-shot NeRFの検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study of Few-shot NeRF by Pseudo-Feature Vectors Evaluation for Unknown Viewpoints |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 任意視点画像生成 / Novel view synthesis |
| キーワード(2)（和/英） | Few-shot / Few-shot |
| キーワード(3)（和/英） | Neural Radiance Fields / Neural Radiance Fields |
| 第 1 著者 氏名（和/英） | 金岡 大樹 / Daiju Kanaoka |
| 第 1 著者 所属（和/英） | 九州工業大学/理化学研究所(略称：九工大/理研) Kyushu Institute of Technology/RIKEN(略称：Kyutech/RIKEN) |
| 第 2 著者 氏名（和/英） | 薗頭 元春 / Motoharu Sonogashira |
| 第 2 著者 所属（和/英） | 理化学研究所(略称：理研) RIKEN(略称：RIKEN) |
| 第 3 著者 氏名（和/英） | 田向 権 / Hakaru Tamukoh |
| 第 3 著者 所属（和/英） | 九州工業大学/ニューロモルフィックAIハードウェア研究センター(略称：九工大/ニューロモルフィックAIハードウェア研究センター) Kyushu Institute of Technology/Research Center for Neuromorphic AI Hardware(略称：Kyutech/Neumorph Center) |
| 第 4 著者 氏名（和/英） | 川西 康友 / Yasutomo Kawanishi |
| 第 4 著者 所属（和/英） | 理化学研究所(略称：理研) RIKEN(略称：RIKEN) |
| 発表年月日 | 2023-03-03 |
| 資料番号 | PRMU2022-101,IBISML2022-108 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | PRMU-404,IBISML-405 |
| ページ範囲 | pp.220-225(PRMU), pp.220-225(IBISML), |
| ページ数 | 6 |
| 発行日 | 2023-02-23 (PRMU, IBISML) |