| 講演名 | 2023-03-03 Eye-contact Transformer：骨格系列とシーン特徴による遠方歩行者のアイコンタクト検出 畑 隆聖(名大), 出口 大輔(名大), 平山 高嗣(人間環境大/名大), 川西 康友(理研/名大), 村瀬 洋(名大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 車両の運転において，歩行者からのアイコンタクトは自車への気付きを判断する重要な要素である．従来のアイコンタクト検出手法の多くは眼球計測に依存しており，道路環境のように車両と歩行者の距離が遠い場合は適用が困難である．この問題を解決するために，歩行者の骨格系列を用いた手法も提案されており，高精度なアイコンタクト検出を実現している．しかし，これらはいずれも歩行者のみに着目しており，他車両の存在等の周辺環境情報を考慮できていない．本報告では，歩行者だけでなく周辺環境情報も加味したアイコンタクト検出手法であるEye-contact Transformer（EyeT）を提案する．EyeTは，歩行者の骨格系列とシーン画像，シーン内での歩行者の位置を表す外接矩形をベクトル化して入力することで，大きく性質の異なる3種類の特徴量を同一のTransformerで扱う．そして，Transformerでベクトル間，すなわち歩行者と周辺環境との関係性を捉え，周辺環境情報を加味したアイコンタクト検出を実現する．車載カメラ画像を用いた実験により，その有効性を確認した． |
| 抄録(英) | While driving, eye-contact from pedestrians is an important factor in determining whether they are aware of own vehicle or not. Most conventional eye-contact detection methods rely on eye measurement, which is difficult to apply against pedestrians who are distant from the vehicle, such as in a road environment. To solve this problem, we propose Eye-contact Transformer (EyeT), a method for eye-contact detection considering not only the pedestrian but also the surrounding environment. Through the experiments using in-vehicle camera images, we confirmed the effectiveness of the proposed method. |
| キーワード(和) | アイコンタクト検出 / 骨格系列 / シーンコンテキスト / Transformer / self-attention |
| キーワード(英) | eye-contact detection / a sequence of skeletons / scene context / Transformer / self-attention |
| 資料番号 | PRMU2022-112,IBISML2022-119 |
| 発行日 | 2023-02-23 (PRMU, IBISML) |
| 研究会情報 | |
| 研究会 | PRMU / IBISML / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/3/2(から2日開催) |
| 開催地（和） | はこだて未来大学 |
| 開催地（英） | Future University Hakodate |
| テーマ（和） | 異分野連携(PRMU)、AutoML (CVIM)、機械学習の理論と応用の広がり(IBISML) |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) / 杉山 将(東大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) / Masashi Sugiyama(Univ. of Tokyo) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) / 神嶌 敏弘(産総研) / 津田 宏治(東大) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) / Toshihiro Kamishima(AIST) / Koji Tsuda(Univ. of Tokyo) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) / 岩田 具治(NTT) / 中村 篤祥(北大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) / Tomoharu Iwata(NTT) / Atsuyoshi Nakamura(Hokkaido Univ.) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) / 河原 吉伸(阪大) / 鈴木 大慈(東工大) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) / Yoshinobu Kawahara(Osaka Univ.) / Taiji Suzuki(Tokyo Inst. of Tech.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Technical Committee on Information-Based Induction Sciences and Machine Learning / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | Eye-contact Transformer：骨格系列とシーン特徴による遠方歩行者のアイコンタクト検出 |
| サブタイトル（和） | |
| タイトル（英） | Eye-contact Transformer: Eye contact detection of distant pedestrians using a sequence of skeletons and scene features |
| サブタイトル（和） | |
| キーワード(1)（和/英） | アイコンタクト検出 / eye-contact detection |
| キーワード(2)（和/英） | 骨格系列 / a sequence of skeletons |
| キーワード(3)（和/英） | シーンコンテキスト / scene context |
| キーワード(4)（和/英） | Transformer / Transformer |
| キーワード(5)（和/英） | self-attention / self-attention |
| 第 1 著者 氏名（和/英） | 畑 隆聖 / Ryusei Hata |
| 第 1 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ) |
| 第 2 著者 氏名（和/英） | 出口 大輔 / Daisuke Deguchi |
| 第 2 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ) |
| 第 3 著者 氏名（和/英） | 平山 高嗣 / Takatsugu Hirayama |
| 第 3 著者 所属（和/英） | 人間環境大学/名古屋大学(略称：人間環境大/名大) University of Human Environments/Nagoya University(略称：UHE/Nagoya Univ) |
| 第 4 著者 氏名（和/英） | 川西 康友 / Yasutomo Kawanishi |
| 第 4 著者 所属（和/英） | 理化学研究所/名古屋大学(略称：理研/名大) RIKEN/Nagoya University(略称：RIKEN/Nagoya Univ) |
| 第 5 著者 氏名（和/英） | 村瀬 洋 / Hiroshi Murase |
| 第 5 著者 所属（和/英） | 名古屋大学(略称：名大) Nagoya University(略称：Nagoya Univ) |
| 発表年月日 | 2023-03-03 |
| 資料番号 | PRMU2022-112,IBISML2022-119 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | PRMU-404,IBISML-405 |
| ページ範囲 | pp.281-286(PRMU), pp.281-286(IBISML), |
| ページ数 | 6 |
| 発行日 | 2023-02-23 (PRMU, IBISML) |