| 講演名 | 2023-02-22 身体装着型全天球カメラ画像と深層学習による人物全身像の3次元骨格推定手法の検討 荒井 雄太(早大), 大谷 淳(早大), 小方 博之(成蹊大), 瀬尾 燦振(早大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，様々なスポーツ競技におけるトレーニング等のためにモーションキャプチャが活用されるようになってきているものの，広範囲の移動を伴うスポーツ競技では，固定カメラの視野に収まらない等の問題があった．このような問題を解決するため本稿では，身体に全天球カメラを装着することにより獲得される360度視野画像を処理することにより3次元骨格推定を行う新たな手法を提案する. 本提案手法では, 全天球カメラ画像とその画像中の人体の関節点をアノテーションした結果を用いてCNN(Convolutional Neural Network)の学習を行う. 学習済みのCNNモデルに全天球カメラ画像を入力することにより，各関節点の3次元座標を出力する. シミュレーション環境と実環境それぞれにおいてデータを取得し, 3次元骨格推定実験を行った. 実験の結果, 誤差3cm以内のときの信頼度90%以上を達成し, 本研究手法の有効性の見通しを示すことができた. |
| 抄録(英) | In recent years, motion capture has been used for training in various sporting events. However, in sporting events involving extensive movement, there are problems such as the field of view of a fixed camera not being able to fit. To solve such problems, this article proposes a new method for estimating the 3D skeleton by processing 360-degree images acquired by an omnidirectional camera attached to the body. In the proposed method, we do a learning of the CNN (Convolutional Neural Network) using the results of annotating the joint points of the human body in the images and the images from the omnidirectional camera. The 3D coordinates of each joint point are output by inputting the omnidirectional camera images to the trained CNN model. We conducted 3D skeleton estimation experiments by acquiring data in both simulated and real environments. As a result of the experiments, a confidence rate of more than 90% was achieved within an error margin of 3 cm, we have indicated that the method is effective. |
| キーワード(和) | モーションキャプチャ / 骨格推定 / 深層学習 / CNN / 全天球カメラ / Unity / Azure Kinect / 一人称視点 |
| キーワード(英) | Motion Capture / Skeleton Estimation / Deep Learning / CNN / Omnidirectional Camera / Unity / Azure Kinect / First Person View |
| 資料番号 | ITS2022-62,IE2022-79 |
| 発行日 | 2023-02-14 (ITS, IE) |
| 研究会情報 | |
| 研究会 | IE / ITS / ITE-MMS / ITE-ME / ITE-AIT |
|---|---|
| 開催期間 | 2023/2/21(から2日開催) |
| 開催地（和） | 北海道大学 |
| 開催地（英） | Hokkaido Univ. |
| テーマ（和） | 画像処理，一般 |
| テーマ（英） | Image Processing, etc. |
| 委員長氏名（和） | 児玉 和也(NII) / 藤井 雅弘(宇都宮大) / 町田 賢司(NHK) / 新井 啓之(日本工大) / 名手 久貴(東京工芸大) |
| 委員長氏名（英） | Kazuya Kodama(NII) / Masahiro Fujii(Utsunomiya Univ.) / Kenji Machida(NHK) / Hiroyuki Arai(Nippon Inst. of Tech.) / Hisaki Nate(Tokyo Polytechnic Univ.) |
| 副委員長氏名（和） | 坂東 幸浩(NTT) / 山崎 俊彦(東大) / 大野 光平(明治大) / 橋本 尚久(産総研) / / 村松 正吾(新潟大) |
| 副委員長氏名（英） | Hiroyuki Bandoh(NTT) / Toshihiko Yamazaki(Univ. of Tokyo) / Kohei Ohno(Meiji Univ.) / Naohisa Hashimoto(AIST) / / Shogo Muramatsu(Niigata Univ) |
| 幹事氏名（和） | 海野 恭平(KDDI総合研究所) / 福嶋 慶繁(名工大) / 佐保 賢志(富山県立大) / 金 帝演(鶴岡工専) / 文仙 正俊(福岡大) / 望月 貴裕(NHK) / 小川 貴弘(北海道大) / 細井 利憲(NEC) / 小池 崇文(三菱電機) / 小幡 朋和(コニカミノルタ) |
| 幹事氏名（英） | Kyohei Unno(KDDI Research) / Norishige Fukushima(Nagoya Inst. of Tech.) / Kenshi Saho(Toyama Prefectural Univ.) / Kim Jeyeon(NIT, Tsuruoka College) / Masatoshi Bunsen(Fukuoka Univ.) / Takahiro Mochizuki(NHK) / Takahiro Ogawa(Hokkaido Univ.) / Toshinori Hosoi(NEC) / Takafumi Koike(Mitsubishi Electric) / Tomokazu Obata(KONICA MINOLTA) |
| 幹事補佐氏名（和） | 岩村 俊輔(NHK) / 工藤 忍(NTT) / 澤邊 太志(奈良先端大) / 自見 圭司(群馬大) |
| 幹事補佐氏名（英） | Shunsuke Iwamura(NHK) / Shinobu Kudo(NTT) / Taishi Swabe(NAIST) / Keiji Jimi(Gunma Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Intelligent Transport Systems Technology / Technical Group on Multi-media Storage / Technical Group on Media Engineering / Technical Group on Artistic Image Technology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 身体装着型全天球カメラ画像と深層学習による人物全身像の3次元骨格推定手法の検討 |
| サブタイトル（和） | |
| タイトル（英） | A Study of Estimating 3D Skeleton of a Human Full-Body Using Images Acquired by Omnidirectional Cameras Attached to the Human Body and Deep Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | モーションキャプチャ / Motion Capture |
| キーワード(2)（和/英） | 骨格推定 / Skeleton Estimation |
| キーワード(3)（和/英） | 深層学習 / Deep Learning |
| キーワード(4)（和/英） | CNN / CNN |
| キーワード(5)（和/英） | 全天球カメラ / Omnidirectional Camera |
| キーワード(6)（和/英） | Unity / Unity |
| キーワード(7)（和/英） | Azure Kinect / Azure Kinect |
| キーワード(8)（和/英） | 一人称視点 / First Person View |
| 第 1 著者 氏名（和/英） | 荒井 雄太 / Yuta Arai |
| 第 1 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 2 著者 氏名（和/英） | 大谷 淳 / Jun Ohya |
| 第 2 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 3 著者 氏名（和/英） | 小方 博之 / Hiroyuki Ogata |
| 第 3 著者 所属（和/英） | 成蹊大学(略称：成蹊大) Seikei University(略称：Seikei Univ.) |
| 第 4 著者 氏名（和/英） | 瀬尾 燦振 / Seo Chanjin |
| 第 4 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 発表年月日 | 2023-02-22 |
| 資料番号 | ITS2022-62,IE2022-79 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | ITS-384,IE-385 |
| ページ範囲 | pp.112-117(ITS), pp.112-117(IE), |
| ページ数 | 6 |
| 発行日 | 2023-02-14 (ITS, IE) |