| 講演名 | 2024-03-13 ARマーカ消去のための隠消現実感におけるNeRFを用いた鏡面反射の再現の検討 成冨 壱颯(阪工大), 河合 紀彦(阪工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | ARマーカを用いたゲームでは，マーカを認識しそれに応じて3DCGを合成して提示するが，ARマーカが見えたままだと見栄えが悪い．これに対して，リアルタイム映像からARマーカを視覚的に消して違和感なく背景を修復する隠消現実感（DR: Diminished Reality）を用いることで問題を解決することができる．しかし，従来の隠消現実感の手法には鏡面反射などの局所的な輝度変化が含まれる部分の修復品質に難がある．そこで本研究では，2D画像群から自由視点画像を生成するNeRF（Neural Radiance Fields）を用いて，ARにおける現在のカメラ位置に応じた鏡面反射の見え方を再現したテクスチャをマーカ領域に合成することで，鏡面反射にも対応したマーカ消去を実現する隠消現実感手法を提案する． |
| 抄録(英) | In games using AR markers, the markers are recognized and 3DCG is synthesized and presented accordingly. However, if the AR markers remain visible, the game does not look good. The problem can be solved by using Diminished Reality (DR), which visually removes AR markers from the real-time image and show the background without. However, conventional methods of diminished reality have difficulties with dealing with areas containing local luminance changes such as specular reflections. In this study, we propose a method for marker hiding that can handle specular reflections by using Neural Radiance Fields (NeRF), which generates free viewpoint images from a set of 2D images, to synthesize a texture in the marker region that reproduces the appearance of specular reflections according to the current camera position in AR. |
| キーワード(和) | ARマーカ / 鏡面反射 / NeRF / 隠消現実感 / 損失関数 |
| キーワード(英) | AR marker / Specular reflection / NeRF / Diminished reality / Loss function |
| 資料番号 | IMQ2023-20,IE2023-75,MVE2023-49 |
| 発行日 | 2024-03-06 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | IE / MVE / CQ / IMQ |
|---|---|
| 開催期間 | 2024/3/13(から3日開催) |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Sangyo Shien Center |
| テーマ（和） | 五感に訴えるオンラインメディアとその評価，および一般（魅力工学研究会協賛） |
| テーマ（英） | Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc（AC） |
| 委員長氏名（和） | 坂東 幸浩(NTT) / 清川 清(奈良先端大) / 平栗 健史(日本工大) / 工藤 博章(名大) |
| 委員長氏名（英） | Hiroyuki Bandoh(NTT) / Kiyoshi Kiyokawa(NAIST) / Takefumi Hiraguri(Nippon Inst. of Tech.) / Hiroaki Kudo(Nagoya Univ.) |
| 副委員長氏名（和） | 田中 雄一(阪大) / 山崎 俊彦(東大) / 新井田 統(KDDI総合研究所) / 松田 崇弘(都立大) / 長谷川 剛(東北大) / 新井田 統(KDDI総合研究所) / 大橋 剛介(静岡大) |
| 副委員長氏名（英） | Yuichi Tanaka(Osaka Univ.) / Toshihiko Yamazaki(Univ. of Tokyo) / Sumaru Niida(KDDI Research) / Takahiro Matsuda(Tokyo Metropolitan Univ.) / Gou Hasegawa(Tohoku Univ.) / Sumaru Niida(KDDI Research) / Gosuke Ohashi(Shizuka Univ.) |
| 幹事氏名（和） | 岩村 俊輔(NHK) / 三柴 数(鳥取大) / 磯山 直也(大妻女子大) / 原 豪紀(大日本印刷) / 後藤 充裕(NTT) / 恵木 則次(NTT) / 菅沼 睦(多摩大) / 津川 翔(筑波大) / 塚田 正人(筑波大) / 土田 勝(NTT) |
| 幹事氏名（英） | Shunsuke Iwamura(NHK) / Kazu Mishiba(Tottori Univ.) / Naoya Isoyama(Otsuma Women's Univ.) / Takenori Hara(DNP) / Mitsuhiro Goto(NTT) / Noritsugu Egi(NTT) / Mutsumi Suganuma(Tama Univ.) / Shou Tsugawa(Tsukuba Univ.) / Masato Tsukada(Univ. of Tsukuba) / Masaru Tsuchida(NTT) |
| 幹事補佐氏名（和） | 雨車 和憲(工学院大) / 木谷 佳隆(KDDI総合研究所) / 宍戸 英彦(筑波大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) / 畑田 裕二(東大) / 中村 遼(福岡大) / 中平 俊朗(NTT) / 塚常 健太(岡山理科大) / 今井 國治(名大) / 山添 崇(成蹊大) |
| 幹事補佐氏名（英） | Kazunori Uruma(Kogakuin Univ.) / Shinobu Kudo(KDDI Research) / Hidehiko Shishido(Univ. of Tsukuba) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) / Yuji Tatada(Univ. of Tokyo) / Ryo Nakamura(Fukuoka Univ.) / Toshiro Nakahira(NTT) / Kenta Tsukatsune(Okayama Univ. of Science) / Kuniharu Imai(Nagoya Univ.) / Takashi Yamazoe(Seikei Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Communication Quality / Technical Committee on Image Media Quality |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ARマーカ消去のための隠消現実感におけるNeRFを用いた鏡面反射の再現の検討 |
| サブタイトル（和） | |
| タイトル（英） | A study on reproduction of specular reflection using NeRF in dimished reality for AR marker hiding |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ARマーカ / AR marker |
| キーワード(2)（和/英） | 鏡面反射 / Specular reflection |
| キーワード(3)（和/英） | NeRF / NeRF |
| キーワード(4)（和/英） | 隠消現実感 / Diminished reality |
| キーワード(5)（和/英） | 損失関数 / Loss function |
| 第 1 著者 氏名（和/英） | 成冨 壱颯 / Issa Narutomi |
| 第 1 著者 所属（和/英） | 大阪工業大学(略称：阪工大) Osaka Institute of Technology(略称：OIT) |
| 第 2 著者 氏名（和/英） | 河合 紀彦 / Norihiko Kawai |
| 第 2 著者 所属（和/英） | 大阪工業大学(略称：阪工大) Osaka Institute of Technology(略称：OIT) |
| 発表年月日 | 2024-03-13 |
| 資料番号 | IMQ2023-20,IE2023-75,MVE2023-49 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | IMQ-430,IE-432,MVE-433 |
| ページ範囲 | pp.41-44(IMQ), pp.41-44(IE), pp.41-44(MVE), |
| ページ数 | 4 |
| 発行日 | 2024-03-06 (IMQ, IE, MVE) |