| 講演名 | 2020-09-08 全天球カメラを用いた3Dポーズ推定 三浦 哲平(名工大), 酒向 慎司(名工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 手話は，ろう者が日常のコミュニケーションに用いる言語である．しかし，健聴者で手話を扱えるものは少なく，両者の会話は筆談や手話通訳者を介さなければならない．より対話的で，直接に意思を伝えあうコミュニケーションを日常の生活でおこなうためには，携帯して常に使える手話の認識，翻訳システムが必要である．手話は手指の形や動きだけでなく，目・眉・口や周囲の環境などの空間全体を使って意思を表現する．本研究では，手話の表現に用いる空間の情報を取得できること，手話者が日常的に携帯して使えることを考慮して，ウェアラブルな全天球カメラを用いた手話の認識について検討している．本稿では特に，手話者の動作を認識するために，身体に装着した全天球カメラで取得した画像を入力とした3D ポーズ推定を提案する．3D ポーズ推定には畳込みニューラルネットワーク(CNN) を用いる．全天球カメラで取得した手話の画像と，画像に同期した3D ポーズのデータセットを新たに構築し，そのデータセットによるモデルの学習と評価をおこなう． |
| 抄録(英) | Sign-language is the natural interactive visual language used by deaf people. Most hearing people, however, do not know sign-language. For the reason, they usually talk through writing or interpreters between hearing and deaf people. A portable sign-language recognition and translation system is necessary for interactive and direct communication in daily use. Sign-language is composed of some elements: handshapes, movements, positions, facial expressions, and peripheral information. We intend to propose a sign-language recognition system using a wearable omnidirectional camera for the input device, which is portable for daily use, and capable of obtaining enough elements for sign-language recognition. As a first step for the system, we research 3D human pose estimation methods for RGB images taken by the wearable omnidirectional camera in this paper. We apply a convolutional neural network (CNN) to estimate 3D poses. The model is evaluated on our dataset that we collect 3D poses and RGB equirectangular images by a wearable omnidirectional camera. |
| キーワード(和) | 3Dポーズ推定 / 全天球カメラ / ウェアラブル / 手話 |
| キーワード(英) | 3D pose estimation / Omnidirectional camera / Wearable / Sign-language |
| 資料番号 | WIT2020-7 |
| 発行日 | 2020-09-01 (WIT) |
| 研究会情報 | |
| 研究会 | WIT |
|---|---|
| 開催期間 | 2020/9/8(から1日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online meeting |
| テーマ（和） | 福祉情報工学、一般 |
| テーマ（英） | Well-being Information Technology, etc. |
| 委員長氏名（和） | 若月 大輔(筑波技大) |
| 委員長氏名（英） | Daisuke Wakatsuki(Tsukuba Univ. of Tech.) |
| 副委員長氏名（和） | 酒向 慎司(名工大) |
| 副委員長氏名（英） | Shinji Sakou(Nagoya Inst. of Tech.) |
| 幹事氏名（和） | 半田 隆志(埼玉県産業技術総合センター) / 塩野目 剛亮(帝京大) / 雨宮 智浩(東大) |
| 幹事氏名（英） | Takashi Handa(Saitama Industrial Tech. Center) / Takeaki Shionome(Teikyo Univ.) / Tomohiro Amemiya(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 宮城 愛美(筑波技術大) / 細野 美奈子(産総研) / 菅野 亜紀(名大) |
| 幹事補佐氏名（英） | Manabi Miyagi(Tsukuba Univ. of Tech.) / Minako Hosono(AIST) / Aki Sugano(Nagoya Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Well-being Information Technology |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 全天球カメラを用いた3Dポーズ推定 |
| サブタイトル（和） | 手話認識への応用に向けて |
| タイトル（英） | 3D Human Pose Estimation for Omnidirectional Camera |
| サブタイトル（和） | applying for sign-language recognition |
| キーワード(1)（和/英） | 3Dポーズ推定 / 3D pose estimation |
| キーワード(2)（和/英） | 全天球カメラ / Omnidirectional camera |
| キーワード(3)（和/英） | ウェアラブル / Wearable |
| キーワード(4)（和/英） | 手話 / Sign-language |
| 第 1 著者 氏名（和/英） | 三浦 哲平 / Teppei Miura |
| 第 1 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 第 2 著者 氏名（和/英） | 酒向 慎司 / Shinji Sako |
| 第 2 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 発表年月日 | 2020-09-08 |
| 資料番号 | WIT2020-7 |
| 巻番号（vol） | vol.120 |
| 号番号（no） | WIT-161 |
| ページ範囲 | pp.9-14(WIT), |
| ページ数 | 6 |
| 発行日 | 2020-09-01 (WIT) |