| 講演名 | 2022-10-21 手の軌道特徴を用いた一人称視点料理動画における詳細動作認識 宮本 蒼太(東工大), 八木 拓真(東大), 牛久 祥孝(OSX), 橋本 敦史(OSX), 井上 中順(東工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 料理動画の解析は，自動料理ロボットの実現に向けた重要な課題のひとつである．本研究では，料理動画から人間の動作を詳細に認識することを目的として，手の軌道特徴を用いた詳細動作認識手法を提案する．提案手法は，手の軌道に関する7種類の特徴量を抽出し，Transformerを用いて動作の認識をおこなうものである．評価実験では，EPIC-KITCHENSとEgo4Dの映像データに，野菜や肉などの食材の切り方に関する詳細動作ラベルを付与したデータセットを作成し，提案手法の有効性を検証した．色・オプティカルフロー・音の3つのモダリティを用いた従来手法に，提案の手の軌道特徴を加えることで，詳細動作認識精度が有意に向上することを示した． |
| 抄録(英) | Action recognition in kitchen environments is a crucial topic in computer vision and roboticswith application toward fully automatic cooking. In this paper, we propose a method of fine-grained action recognition usinghand trajectory features. Our method extracts seven low-level features of hand trajectories and feeds them into a Transformer to classify fine-grained actions. In experiments, we annotated fine-grained labels of cuttingmethods such as slice and mince on EPIC-KITCHENS and Ego4D datasets for evaluating our method. We showed that handtrajectory features improve the recognition accuracy over the baseline method using RGB, optical flow, and audio features. |
| キーワード(和) | 詳細動作認識 / 料理動画 / 手の軌道特徴 / マルチモーダル深層学習 |
| キーワード(英) | Fine-grained action recognition / Cooking videos / Hand-trajectory features / Multimodal deep learning |
| 資料番号 | PRMU2022-29 |
| 発行日 | 2022-10-14 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2022/10/21(から2日開催) |
| 開催地（和） | 日本科学未来館 |
| 開催地（英） | Miraikan - The National Museum of Emerging Science and Innovation |
| テーマ（和） | 人に関わる認識・理解 |
| テーマ（英） | Recognition and understanding related to people |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 手の軌道特徴を用いた一人称視点料理動画における詳細動作認識 |
| サブタイトル（和） | |
| タイトル（英） | Fine-grained Motion Recognition in First-person Cooking Videos Using Hand Trajectory Features |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 詳細動作認識 / Fine-grained action recognition |
| キーワード(2)（和/英） | 料理動画 / Cooking videos |
| キーワード(3)（和/英） | 手の軌道特徴 / Hand-trajectory features |
| キーワード(4)（和/英） | マルチモーダル深層学習 / Multimodal deep learning |
| 第 1 著者 氏名（和/英） | 宮本 蒼太 / Sota Miyamoto |
| 第 1 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 2 著者 氏名（和/英） | 八木 拓真 / Yagi Takuma |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：UTokyo) |
| 第 3 著者 氏名（和/英） | 牛久 祥孝 / Ushiku Yoshitaka |
| 第 3 著者 所属（和/英） | オムロンサイニックエックス(略称：OSX) OMRON SINIC X(略称：OSX) |
| 第 4 著者 氏名（和/英） | 橋本 敦史 / Atsushi Hashimoto |
| 第 4 著者 所属（和/英） | オムロンサイニックエックス(略称：OSX) OMRON SINIC X(略称：OSX) |
| 第 5 著者 氏名（和/英） | 井上 中順 / Nakamasa Inoue |
| 第 5 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 発表年月日 | 2022-10-21 |
| 資料番号 | PRMU2022-29 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | PRMU-223 |
| ページ範囲 | pp.41-46(PRMU), |
| ページ数 | 6 |
| 発行日 | 2022-10-14 (PRMU) |