| 講演名 | 2024-01-25 手指画像の対照学習による埋め込みに基づいた指先の3次元座標推定 阿部 竜弥(千葉大), 梅澤 猛(千葉大), 大澤 範高(千葉大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 仮想現実/拡張現実 空間内でオブジェクトを手指によって操作するときに必要となる指先の3次元座標を手指画像から推定する手法を評価した．手指画像から指先の3次元座標を推定する方法として深層学習は有効であるが，精度と汎化性能が高い推定モデルの構築には大量のデータ収集が必要となる．自己教師あり学習の一種である対照学習を使ったモデルを基に，少量の手指画像を用いた教師あり学習でファインチューニングした推定モデルと，事前に対照学習していない教師あり学習で構築した推定モデルを比較し，それぞれの推定精度を評価した．対照学習のアーキテクチャとしてSimCLRを採用し，画像サイズやコントラストのランダムな変換によって元のデータを拡張することで，表現学習を行った．手掌画像を用いて指先が 確認できる状態で推定した場合を3次元座標推定の現時点での基準 とし、手背画像を用いて指先が隠れる状態で推定した場合と比較することで，推定精度を評価した．結果から，表現学習を用いた推定モデルによる推定精度向上の可能性と今後の課題を明らかにした． |
| 抄録(英) | This study evaluated a method for estimating the 3D coordinates of fingertips from hand images when manipulating objects in a virtual/mixed reality space. Deep learning is effective for estimating the 3D coordinates of fingertips from hand images, but a large amount of data collection is required to construct an estimation model with high accuracy and generalization performance. We compared an estimation model, which is based on a pre-trained model using contrastive learning and fine-tuned with supervised learning using a small amount of hand images, with an estimation model constructed using supervised learning without contrastive learning and evaluated the estimation accuracy of each. We adopted SimCLR as the architecture for contrastive learning and performed representation learning by augmenting the original data with random transformations of image size and contrast. We used the performance of estimation from palm images which include fingertips as a baseline , and compared it with the performance of estimation from images of the back of hand where the fingertips are hidden. From the results, we have clarified the potential for improving estimation accuracy using a model that employs representation learning, as well as the challenges to be addressed in the future. |
| キーワード(和) | 3Dユーザインターフェース / 画像認識 / 対照学習 / 深層学習 / 座標推定 |
| キーワード(英) | 3D User Interface / Image Recognition / Contrastive Learning / Deep Learning / Coordinate Estimation |
| 資料番号 | PRMU2023-40 |
| 発行日 | 2024-01-18 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / MVE / VRSJ-SIG-MR / IPSJ-CVIM |
|---|---|
| 開催期間 | 2024/1/25(から2日開催) |
| 開催地（和） | 慶應義塾大学 日吉キャンパス(来往舎) |
| 開催地（英） | Keio Univ. (Hiyoshi Campus) |
| テーマ（和） | メタバースと深層学習 |
| テーマ（英） | |
| 委員長氏名（和） | 柏野 邦夫(NTT) / 清川 清(奈良先端大) / / 日浦 慎作(兵庫県立大) |
| 委員長氏名（英） | Kunio Kashio(NTT) / Kiyoshi Kiyokawa(NAIST) / / 日浦 慎作(兵庫県立大) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 入江 豪(東京理科大) / 新井田 統(KDDI総合研究所) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Go Irie(Tokyo Univ. of Science) / Sumaru Niida(KDDI Research) |
| 幹事氏名（和） | 井上 中順(東工大) / 川西 康友(理研) / 磯山 直也(大妻女子大) / 原 豪紀(大日本印刷) / 福嶋 政期(九大) / 後藤 充裕(NTT) / / 出口 大輔(名古屋大) / 高橋 康輔(ウミトロン株式会社) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(大阪大) / 浦西 友樹(大阪大) |
| 幹事氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) / Naoya Isoyama(Otsuma Women's University) / Takenori Hara(DNP) / Shogo Fukushima(Kyushu Univ.) / Mitsuhiro Goto(NTT) / / 出口 大輔(名古屋大) / 高橋 康輔(ウミトロン株式会社) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(大阪大) / 浦西 友樹(大阪大) |
| 幹事補佐氏名（和） | 下西 慶(京大) / 原 健翔(産総研) / 宍戸 英彦(創価大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) / 畑田 裕二(東大) |
| 幹事補佐氏名（英） | Kei Shimonishi(Kyoto Univ.) / Kensho Hara(AIST) / Hidehiko Shishido(Soka University) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) / Yuji Tatada(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Media Experience and Virtual Environment / SIG-MR / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 手指画像の対照学習による埋め込みに基づいた指先の3次元座標推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of 3D Fingertips Coordinates Using Contrastive Embeddings from Hand Images |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 3Dユーザインターフェース / 3D User Interface |
| キーワード(2)（和/英） | 画像認識 / Image Recognition |
| キーワード(3)（和/英） | 対照学習 / Contrastive Learning |
| キーワード(4)（和/英） | 深層学習 / Deep Learning |
| キーワード(5)（和/英） | 座標推定 / Coordinate Estimation |
| 第 1 著者 氏名（和/英） | 阿部 竜弥 / Tatsuya Abe |
| 第 1 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba Univ.) |
| 第 2 著者 氏名（和/英） | 梅澤 猛 / Takeshi Umezawa |
| 第 2 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba Univ.) |
| 第 3 著者 氏名（和/英） | 大澤 範高 / Noritaka Osawa |
| 第 3 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba Univ.) |
| 発表年月日 | 2024-01-25 |
| 資料番号 | PRMU2023-40 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-358 |
| ページ範囲 | pp.7-12(PRMU), |
| ページ数 | 6 |
| 発行日 | 2024-01-18 (PRMU) |