| 講演名 | 2022-10-06 視界外の注意領域の推定 原 航基(京大), 中澤 篤志(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 注視行動は人間の外界に対する注意機能にとって重要な要素の一つである．機械学習等による顕著性推定の研究は，与えられた画像や動画のどこに意識を向けているかを推定するものである．一方で日常生活において，人の注意は必ずしも限られた視野領域のみでなく，状況に応じて周辺領域に移動することがある．このような機能が機械学習等で実現できれば，入力された映像外にある重要な情報を予測すること等が可能になる．これを実現するため本研究では，一人称映像の中心部分の画像のみから，広範囲のシーンにおける注視領域を推定するアルゴリズムについて研究を行った．DR(eye)VEによる映像＋注視点データセットに対し，中心部領域の映像のみを入力として，画面外を含んだ注視領域を推定するアルゴリズムを実装した．RGB画像のみを入力するネットワークと，RGB画像とオプティカルフローを両方用いる手法を実装し，従来法（SP Module）と比較した．その結果，RGB画像のみを入力とした提案法が平均精度0.957 ($F$-1 = 0.846)で最もよい結果を示した．このことから，中心領域の画像特徴のみから，画像外に対する注視行動が予測可能であることが確認できた． |
| 抄録(英) | Gazing behavior is one of the most important elements of human attention to the outward things. The study of saliency estimation using machine learning is to estimate the location of attention in a given image or video. On the other hand, in daily life, people's attention is not necessarily limited to the field of view, but may shift to the surrounding areas depending on the situation. If such function can be realized by machine learning, etc., it will be possible to predict important information located outside of the input video. To realize this function, we studied an algorithm for estimating the gaze area of an entire egocentric video image from only the central part of the image. We implemented the algorithm for estimating the gaze area including outside of the image from the DR(eye)VE video + gaze point dataset, using only the central part video as input. We implemented two networks using only RGB images and using both RGB images and optical flow as input, and compared them with a conventional method (SP Module). The results show that the proposed method with only RGB images as input has the best results with an average accuracy of 0.957 ($F$-1 = 0.846). This confirms that the proposed method can predict gaze behavior including outside of the image from the image features of the central area only. |
| キーワード(和) | 視線推定 / 一人称映像 / 能動視覚 |
| キーワード(英) | gaze estimation / egocentric video / active vision |
| 資料番号 | MVE2022-18 |
| 発行日 | 2022-09-29 (MVE) |
| 研究会情報 | |
| 研究会 | MVE / VRSJ-SIG-MR / IPSJ-EC / HI-SIG-DeMO / VRSJ-SIG-CS |
|---|---|
| 開催期間 | 2022/10/6(から2日開催) |
| 開催地（和） | 北海道釧路市 阿寒湖まりむ館（仮）＋オンライン開催 |
| 開催地（英） | |
| テーマ（和） | AR/MR技術、ヒューマンインタフェース技術、メディア情報処理技術に関する基礎/応用 |
| テーマ（英） | |
| 委員長氏名（和） | 清川 清(奈良先端大) |
| 委員長氏名（英） | Kiyoshi Kiyokawa(NAIST) |
| 副委員長氏名（和） | 新井田 統(KDDI総合研究所) |
| 副委員長氏名（英） | Sumaru Niida(KDDI Research) |
| 幹事氏名（和） | 磯山 直也(奈良先端大) / 原 豪紀(慶大/大日本印刷) / 福嶋 政期(東大) / 後藤 充裕(NTT) |
| 幹事氏名（英） | Naoya Isoyama(NAIST) / Takenori Hara(DNP) / Shogo Fukushima(Univ. of ToKyo) / Mitsuhiro Goto(NTT) |
| 幹事補佐氏名（和） | 宍戸 英彦(筑波大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) |
| 幹事補佐氏名（英） | Hidehiko Shishido(Univ. of Tsukuba) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Media Experience and Virtual Environment / SIG-MR / Special Interest Group on Entertainment Computing / Special Interest Group on De-vice Media Oriented UI / SIG-CS |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 視界外の注意領域の推定 |
| サブタイトル（和） | |
| タイトル（英） | Estimation of out-of-view attention region |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 視線推定 / gaze estimation |
| キーワード(2)（和/英） | 一人称映像 / egocentric video |
| キーワード(3)（和/英） | 能動視覚 / active vision |
| 第 1 著者 氏名（和/英） | 原 航基 / Koki Hara |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto Unversity(略称：Kyoto Univ) |
| 第 2 著者 氏名（和/英） | 中澤 篤志 / AtsuShi Nakazawa |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto Unversity(略称：Kyoto Univ) |
| 発表年月日 | 2022-10-06 |
| 資料番号 | MVE2022-18 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | MVE-200 |
| ページ範囲 | pp.1-6(MVE), |
| ページ数 | 6 |
| 発行日 | 2022-09-29 (MVE) |