| 講演名 | 2024-01-26 行動認識のための人体部位の動きに基づくDeformable Attention 里 雄二(パナソニック コネクト), 嘉本 海大(パナソニック コネクト), 植田 剛央(パナソニック コネクト), 石井 育規(パナソニックホールディングス), 山下 隆義(中部大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 近年，行動認識タスクにおいて動画像に対応したトランスフォーマーが提案され、高い性能を達成している．既存の動画像対応のトランスフォーマーの多くは，事前設計された固定位置のパッチでアテンションを算出している．そのため，フレーム内とフレーム間の特定の位置同士でパッチを比較することになり，動画内の人物の動きが考慮されない．また，動画フレーム間の動きから，クエリパッチが注意を向けるべき領域を予測する動的なアテンションに基づく手法も提案されているが，動画全体の動きであり，行動クラスに関連する人物の動きが考慮されていない．これらの課題に対し，我々は人の行動認識に寄与する人体部位の動きに基づいた動的なアテンション機構を持つトランスフォーマーを提案する． |
| 抄録(英) | In recent years, video transformers for action recognition have beenproposed and achieve high performance. Most of the existing video transformerscalculate the attention with pre-designed patches at fixed positions. As a result, patches are compared between specific positions within and between frames, and motion is not taken into account. A dynamic attention-based method has also been proposed that predictsthe region to which the query patch should direct attention based onthe motion between video frames, but it is the motion of theentire video and does not take into account the motion related tothe action class. To address these issues, we propose a video transformer with a deformable attention mechanism based on the motion ofhuman body parts that contribute to human action recognition. |
| キーワード(和) | 行動認識 / 動作認識 / トランスフォーマー / 動的アテンション / 人体部位の動き |
| キーワード(英) | Action Recognition / Video Transformers / Deformable Attention / Body Parts Motion |
| 資料番号 | PRMU2023-44 |
| 発行日 | 2024-01-18 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / MVE / VRSJ-SIG-MR / IPSJ-CVIM |
|---|---|
| 開催期間 | 2024/1/25(から2日開催) |
| 開催地（和） | 慶應義塾大学 日吉キャンパス(来往舎) |
| 開催地（英） | Keio Univ. (Hiyoshi Campus) |
| テーマ（和） | メタバースと深層学習 |
| テーマ（英） | |
| 委員長氏名（和） | 柏野 邦夫(NTT) / 清川 清(奈良先端大) / / 日浦 慎作(兵庫県立大) |
| 委員長氏名（英） | Kunio Kashio(NTT) / Kiyoshi Kiyokawa(NAIST) / / 日浦 慎作(兵庫県立大) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 入江 豪(東京理科大) / 新井田 統(KDDI総合研究所) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Go Irie(Tokyo Univ. of Science) / Sumaru Niida(KDDI Research) |
| 幹事氏名（和） | 井上 中順(東工大) / 川西 康友(理研) / 磯山 直也(大妻女子大) / 原 豪紀(大日本印刷) / 福嶋 政期(九大) / 後藤 充裕(NTT) / / 出口 大輔(名古屋大) / 高橋 康輔(ウミトロン株式会社) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(大阪大) / 浦西 友樹(大阪大) |
| 幹事氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) / Naoya Isoyama(Otsuma Women's University) / Takenori Hara(DNP) / Shogo Fukushima(Kyushu Univ.) / Mitsuhiro Goto(NTT) / / 出口 大輔(名古屋大) / 高橋 康輔(ウミトロン株式会社) / 田中 賢一郎(立命館大) / 波部 斉(近畿大) / 槇原 靖(大阪大) / 浦西 友樹(大阪大) |
| 幹事補佐氏名（和） | 下西 慶(京大) / 原 健翔(産総研) / 宍戸 英彦(創価大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) / 畑田 裕二(東大) |
| 幹事補佐氏名（英） | Kei Shimonishi(Kyoto Univ.) / Kensho Hara(AIST) / Hidehiko Shishido(Soka University) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) / Yuji Tatada(Univ. of Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Media Experience and Virtual Environment / SIG-MR / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 行動認識のための人体部位の動きに基づくDeformable Attention |
| サブタイトル（和） | |
| タイトル（英） | Body Parts Motion Guided Deformable Attention for Action Recognition |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 行動認識 / Action Recognition |
| キーワード(2)（和/英） | 動作認識 / Video Transformers |
| キーワード(3)（和/英） | トランスフォーマー / Deformable Attention |
| キーワード(4)（和/英） | 動的アテンション / Body Parts Motion |
| キーワード(5)（和/英） | 人体部位の動き |
| 第 1 著者 氏名（和/英） | 里 雄二 / Yuji Sato |
| 第 1 著者 所属（和/英） | パナソニックコネクト株式会社(略称：パナソニック コネクト) Panasonic Connect Co., Ltd.(略称：Panasonic Connect) |
| 第 2 著者 氏名（和/英） | 嘉本 海大 / Umihiro Kamoto |
| 第 2 著者 所属（和/英） | パナソニックコネクト株式会社(略称：パナソニック コネクト) Panasonic Connect Co., Ltd.(略称：Panasonic Connect) |
| 第 3 著者 氏名（和/英） | 植田 剛央 / Takeo Ueta |
| 第 3 著者 所属（和/英） | パナソニックコネクト株式会社(略称：パナソニック コネクト) Panasonic Connect Co., Ltd.(略称：Panasonic Connect) |
| 第 4 著者 氏名（和/英） | 石井 育規 / Yasunori Ishii |
| 第 4 著者 所属（和/英） | パナソニックホールディングス株式会社(略称：パナソニックホールディングス) Panasonic Holdings Corporation(略称：Panasonic Holdings) |
| 第 5 著者 氏名（和/英） | 山下 隆義 / Takayoshi Yamashita |
| 第 5 著者 所属（和/英） | 中部大学(略称：中部大) Chubu University(略称：Chubu Univ.) |
| 発表年月日 | 2024-01-26 |
| 資料番号 | PRMU2023-44 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-358 |
| ページ範囲 | pp.26-31(PRMU), |
| ページ数 | 6 |
| 発行日 | 2024-01-18 (PRMU) |