| 講演名 | 2022-01-24 焦点ぼけ画像群を用いた視点補間に基づく 4 次元光線情報の圧縮符号化 梅林 秀朋(東京理科大/NII), 児玉 和也(NII), 浜本 隆之(東京理科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 多視点動画像群からの3次元再構成に基づき立体映像を生成する技術が急速に普及しているが，こうした映像メディアは視点数に応じデータ量が膨大となるため，動画像符号化等を拡張した効率的な圧縮手法が様々に検討 されている．とくに，視点間の冗長性を削減した疎な光線情報から視点補間によって多視点画像全体を予測，高能率な圧縮を実現する枠組が多く提案され，実際，当該の視点補間には深層学習なども活用されている．一方で筆者らも， 焦点ぼけ構造を介しこうした疎な光線情報を安定に補間する手法を既に導出しており，本研究ではこれを用いた多視点画像群の圧縮符号化を考える．具体的には，多視点画像群の一部の視点を選択的に符号化，これらの視点のみから合成された焦点ぼけ画像群に適切なフィルタリングを施すことで密な多視点画像群を再構成する．ビットレートに応じて選択する視点数を決定し，再構成結果に選択視点からのブロックマッチングに基づく補正を行うことで予測のさらなる高品質化をはかる．実多視点画像群を用いたシミュレーションにより，深層学習に基づく補間手法や筆者らにより既提案の焦点ぼけ画像群を介した圧縮符号化との比較実験を行い，本手法の基本的な圧縮品質を検証する． |
| 抄録(英) | Light field reproduction by 3D reconstruction using multi-view videos has been widely developed. For example, while such multi-view videos consist of enormous data due to the increase of viewpoints, various efficient methods for light field compression as extension of video coding are being studied. Actually, model-based or deep-learning-based view interpolation is often introduced into such compression methods because it leads to high efficiency by predicting dense light fields from reduced data of sparse multi-view images. On the other hand, a method of reconstructing dense light fields via multi-focus images synthesized from only sparse multi-view images is successfully derived as a kind of view interpolation by our proposed 3D frequency analysis. In this paper, we study a method of 4D light field compression based on our view interpolation using multi-focus images. We selectively encode some of multi-view images to reconstruct dense light fields via multi-focus images synthesized from only them, where appropriate 2D filters work for such prediction. At any bit-rates, the number of selected viewpoints is determined for effectively improving prediction quality, while they are used as reference views to correct the reconstruction based on block matching. We show experimental results by using real multi-view images, and compression quality of our novel method is compared to that of a deep-learning-based method and our previous method without view interpolation for analyzing characteristics of its performance. |
| キーワード(和) | 光線空間 / 多視点画像群 / 焦点ぼけ画像群 / 符号化 / 圧縮 |
| キーワード(英) | light field / multi-view / multi-focus / encoding / compression |
| 資料番号 | IE2021-28 |
| 発行日 | 2022-01-17 (IE) |
| 研究会情報 | |
| 研究会 | IE |
|---|---|
| 開催期間 | 2022/1/24(から1日開催) |
| 開催地（和） | 国立情報学研究所 |
| 開催地（英） | National Institute of Informatics |
| テーマ（和） | 画像処理・符号化および一般 |
| テーマ（英） | Image Processing, Image Coding, etc. |
| 委員長氏名（和） | 児玉 和也(NII) |
| 委員長氏名（英） | Kazuya Kodama(NII) |
| 副委員長氏名（和） | 坂東 幸浩(NTT) / 山崎 俊彦(東大) |
| 副委員長氏名（英） | Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) |
| 幹事氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) |
| 幹事氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) |
| 幹事補佐氏名（和） | 岩村 俊輔(NHK) / 工藤 忍(NTT) |
| 幹事補佐氏名（英） | Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 焦点ぼけ画像群を用いた視点補間に基づく 4 次元光線情報の圧縮符号化 |
| サブタイトル（和） | |
| タイトル（英） | 4D light field compression based on view interpolation using multi-focus images |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 光線空間 / light field |
| キーワード(2)（和/英） | 多視点画像群 / multi-view |
| キーワード(3)（和/英） | 焦点ぼけ画像群 / multi-focus |
| キーワード(4)（和/英） | 符号化 / encoding |
| キーワード(5)（和/英） | 圧縮 / compression |
| 第 1 著者 氏名（和/英） | 梅林 秀朋 / Shuho Umebayashi |
| 第 1 著者 所属（和/英） | 東京理科大学/大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(略称：東京理科大/NII) Tokyo University of Science/National Institute of Informatics,(略称：TUS/NII) |
| 第 2 著者 氏名（和/英） | 児玉 和也 / Kazuya Kodama |
| 第 2 著者 所属（和/英） | 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(略称：NII) National Institute of Informatics,(略称：NII) |
| 第 3 著者 氏名（和/英） | 浜本 隆之 / Takayuki Hamamoto |
| 第 3 著者 所属（和/英） | 東京理科大学(略称：東京理科大) Tokyo University of Science/National Institute of Informatics,(略称：TUS) |
| 発表年月日 | 2022-01-24 |
| 資料番号 | IE2021-28 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | IE-346 |
| ページ範囲 | pp.5-8(IE), |
| ページ数 | 4 |
| 発行日 | 2022-01-17 (IE) |