| 講演名 | 2022-03-10 観測型と修復型の利点を併せ持つ隠消現実感手法の提案と評価 加藤 太希(奈良先端大), 磯山 直也(奈良先端大), 河合 紀彦(阪工大), 内山 英昭(奈良先端大), 酒田 信親(龍谷大), 清川 清(奈良先端大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 現実世界に視覚的に物体を付与する “拡張現実感 (Augmented Reality: AR)” に対して，視覚的に不要な物体 を隠蔽・消去，もしくは障害となる物体を透過させる技術として，“隠消現実感 (Diminished Reality: DR)” と呼ばれる 技術がある.DR 技術は主に観測型と修復型に分けられる.観測型は過去に観測した色情報によって補完し，修復型は 消去したい領域を周辺の画素から推測することによって補完する.本研究では，観測型と修復型の利点を融合するた めに，深度カメラを用いて消去したい領域を 3 次元的に指定し，カメラデバイスの移動により深度が取得できた領域 には観測型による補完を行う.また，カメラデバイスにより深度を取得できない領域には修復型による補完を行うこ とで，カメラデバイスの移動により修復型から観測型に切り替える手法を提案する.実験では，様々なシーンに対し て DR を行い，従来手法との比較および主観的評価実験を行うことで提案手法の有効性を示す.また結果として，背景が平面と近似できる単純なシーンでは，修復型のみと提案手法では可能な限り違和感のない結果になった.しかし， 背景に文様がある，および背景構造が平面とは近似できないシーンでは，修復型のみに比べ，現実に近い隠背景映像 を生成でき，最終的な品質は自然な結果となり，提案手法の有効性を確認した. |
| 抄録(英) | In contrast to Augmented Reality (AR), which visually adds objects to the real world, there is a technology called Diminished Reality (DR), which hides or erases visually unnecessary objects or allows obstructive objects to pass through. DR technologies are mainly divided into observation and inpainting types. The observation type complements the image by using color information observed in the past, while the inpainting type complements the image by inferring the area to be erased from the surrounding pixels. In this study, in order to combine the advantages of the observation type and the inpainting type, we use a depth camera to specify the area to be erased in three dimensions, and complement the area where the depth is obtained by moving the camera device with the observation type. In this paper, we propose a method to switch from the inpainting type to the observation type by moving the camera device, and the completion by the inpainting type is performed in the area where the depth cannot be acquired by the camera device. |
| キーワード(和) | 隠消現実感 / 複合現実感 / 画像修復 / コンピュータグラフィクス |
| キーワード(英) | Diminished Reality / Mixed Reality / Image Inpainting / Computer Graphics |
| 資料番号 | IMQ2021-47,IE2021-109,MVE2021-76 |
| 発行日 | 2022-03-02 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | CQ / IMQ / MVE / IE |
|---|---|
| 開催期間 | 2022/3/9(から3日開催) |
| 開催地（和） | オンライン開催（Zoom） |
| 開催地（英） | Online (Zoom) |
| テーマ（和） | 変化する生活での五感に訴えるオンラインメディアとその評価、および一般（魅力工学研究会協賛） |
| テーマ（英） | Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc |
| 委員長氏名（和） | 岡本 淳(NTT) / 魚森 謙也(阪大) / 井原 雅行(理研) / 児玉 和也(NII) |
| 委員長氏名（英） | Jun Okamoto(NTT) / Kenya Uomori(Osaka Univ.) / Masayuki Ihara(RIKEN) / Kazuya Kodama(NII) |
| 副委員長氏名（和） | 平栗 健史(日本工大) / 長谷川 剛(東北大) / 前田 充(キヤノン) / 清川 清(奈良先端大) / 坂東 幸浩(NTT) / 山崎 俊彦(東大) |
| 副委員長氏名（英） | Takefumi Hiraguri(Nippon Inst. of Tech.) / Gou Hasegawa(Tohoku Univ.) / Mitsuru Maeda(Canon) / Kiyoshi Kiyokawa(NAIST) / Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) |
| 幹事氏名（和） | アベセカラ ヒランタ(NTT) / 山本 寛(立命館大) / 工藤 博章(名大) / 土田 勝(NTT) / 西口 敏司(阪工大) / 横山 正典(NTT) / 福嶋 政期(東大) / 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) |
| 幹事氏名（英） | Hirantha Abeysekera(NTT) / Hiroshi Yamamoto(Ritsumeikan Univ.) / Hiroaki Kudo(Nagoya Univ.) / Masaru Tsuchida(NTT) / Satoshi Nishiguchi(Oosaka Inst. of Tech.) / Masanori Yokoyama(NTT) / Shogo Fukushima(Univ. of ToKyo) / Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 西川 由明(NEC) / 堅岡 良知(KDDI総合研究所) / 川嶋 喜美子(NTT) / 塚田 正人(NEC) / 山添 崇(成蹊大) / 磯山 直也(奈良先端大) / 原 豪紀(大日本印刷) / 後藤 充裕(NTT) / 岩村 俊輔(NHK) / 工藤 忍(NTT) |
| 幹事補佐氏名（英） | Yoshiaki Nishikawa(NEC) / Ryoichi Kataoka(KDDI Research) / Kimiko Kawashima(NTT) / Masato Tsukada(NEC) / Takashi Yamazoe(Seikei Univ.) / Naoya Isoyama(NAIST) / Takenori Hara(DNP) / Mitsuhiro Goto(NTT) / Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Communication Quality / Technical Committee on Image Media Quality / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Image Engineering |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 観測型と修復型の利点を併せ持つ隠消現実感手法の提案と評価 |
| サブタイトル（和） | |
| タイトル（英） | Diminished reality that combines observation and inpainting based methods |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 隠消現実感 / Diminished Reality |
| キーワード(2)（和/英） | 複合現実感 / Mixed Reality |
| キーワード(3)（和/英） | 画像修復 / Image Inpainting |
| キーワード(4)（和/英） | コンピュータグラフィクス / Computer Graphics |
| 第 1 著者 氏名（和/英） | 加藤 太希 / Taiki Kato |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：Naist) |
| 第 2 著者 氏名（和/英） | 磯山 直也 / Naoya Isoyama |
| 第 2 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：Naist) |
| 第 3 著者 氏名（和/英） | 河合 紀彦 / Norihiko Kawai |
| 第 3 著者 所属（和/英） | 大阪工業大学(略称：阪工大) Osaka Institute of Technology(略称：Oit) |
| 第 4 著者 氏名（和/英） | 内山 英昭 / Hideaki Uchiyama |
| 第 4 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：Naist) |
| 第 5 著者 氏名（和/英） | 酒田 信親 / Nobuchika Sakata |
| 第 5 著者 所属（和/英） | 龍谷大学(略称：龍谷大) Ryukoku University(略称：Ryukoku Univ.) |
| 第 6 著者 氏名（和/英） | 清川 清 / Kiyoshi Kiyokawa |
| 第 6 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：Naist) |
| 発表年月日 | 2022-03-10 |
| 資料番号 | IMQ2021-47,IE2021-109,MVE2021-76 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | IMQ-420,IE-422,MVE-423 |
| ページ範囲 | pp.193-198(IMQ), pp.193-198(IE), pp.193-198(MVE), |
| ページ数 | 6 |
| 発行日 | 2022-03-02 (IMQ, IE, MVE) |