| 講演名 | 2022-09-14 機械学習を用いた画像対応付けとStructure from Motionの高精度化 星 秀平(東北大), 伊藤 康一(東北大), 青木 孝文(東北大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本論文では，機械学習を用いた画像対応付け手法を提案するとともに，提案手法を用いることでStructure from Motion (SfM) におけるカメラパラメータ推定を高精度化する．提案手法は，高精度な画像対応付け手法である SuperPoint + SuperGlue と密な画像対応付け手法であるLocal Feature matching with TRansformers (LoFTR) を組み合わせた手法である．LoFTR は，テクスチャが乏しい領域に対しても対応点を得ることができるが，それらの位置決め精度が低い問題がある．そこで，提案手法では，LoFTR の階層数を増やし，特徴量を洗練させることで，位置決め精度を高精度化する．SfM の画像対応付けに提案手法を用いることでカメラパラメータの推定精度を高精度化することができるので，多視点ステレオにおける3 次元復元精度を向上させたり，復元領域を拡大させたりすることができる．ScanNet データセットを用いたカメラの姿勢推定の精度評価実験およびETH3D データセットとRedwood-3dscan を用いた3 次元復元の精度評価実験を通して提案手法の有効性を示す． |
| 抄録(英) | In this paper, we propose an image correspondence method using machine learning and improve the accuracy of camera parameter estimation in Structure from Motion (SfM) using the proposed method. The proposed method consists of the combination of the accurate image correspondence method using SuperPoint + SuperGlue and the dense image correspondence method using Local Feature matching with TRansformers (LoFTR). LoFTR can obtain the correspondence points from poor texture regions, while their localization accuracy is low. To address this problem, we consider improving the localization accuracy of LoFTR by increasing the number of layers and refining the features. The accuracy of camera parameter estimation in SfM can be improved by the proposed method, resulting in improving the accuracy of multi-view stereo in terms of 3D reconstruction accuracy and range. We demonstrate the effectiveness of the proposed method through experiments on camera pose estimation using the ScanNet dataset and experiments on 3D reconstruction using the ETH3D dataset and Redwood-3dscan. |
| キーワード(和) | 画像対応付け / Structure from Motion / Multi-View Stereo / 3次元復元 |
| キーワード(英) | image correspondence / structure from motion / multi-view stereo / 3D reconstruction |
| 資料番号 | PRMU2022-13 |
| 発行日 | 2022-09-07 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2022/9/14(から2日開催) |
| 開催地（和） | 慶應義塾大学 矢上キャンパス |
| 開催地（英） | |
| テーマ（和） | 深層生成モデル |
| テーマ（英） | Deep generative model |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 機械学習を用いた画像対応付けとStructure from Motionの高精度化 |
| サブタイトル（和） | |
| タイトル（英） | Image Correspondence Using Machine Learning and Performance Improvement of Structure from Motion |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 画像対応付け / image correspondence |
| キーワード(2)（和/英） | Structure from Motion / structure from motion |
| キーワード(3)（和/英） | Multi-View Stereo / multi-view stereo |
| キーワード(4)（和/英） | 3次元復元 / 3D reconstruction |
| 第 1 著者 氏名（和/英） | 星 秀平 / Shuhei Hoshi |
| 第 1 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 2 著者 氏名（和/英） | 伊藤 康一 / Koichi Ito |
| 第 2 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 第 3 著者 氏名（和/英） | 青木 孝文 / Takafumi Aoki |
| 第 3 著者 所属（和/英） | 東北大学(略称：東北大) Tohoku University(略称：Tohoku Univ.) |
| 発表年月日 | 2022-09-14 |
| 資料番号 | PRMU2022-13 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | PRMU-181 |
| ページ範囲 | pp.19-24(PRMU), |
| ページ数 | 6 |
| 発行日 | 2022-09-07 (PRMU) |