講演名 1999/7/15
ジェスチャ動画像と意味記述単語系列とのネットワーク構造対応に基づくジェスチャ認識
矢部 博明, 西村 拓, 向井 理朗, 岡 隆一,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 動画系列とその意味する単語の記号列に基づくジェスチャ認識手法を提案する。まず、Incremental Path Methodと呼ぶ方式で、ジェスチャー動画像データからそのnetworkモデルの自動作成を行い、ネットワークのトポロジ解析によりジェスチャの部分共通性、特異性を抽出することで、ジェスチャ動画像の自動文節をする。ジェスチャ動画像系列に現れるジェスチャの順序と、その意味する単語記号の記号系列の順番が一致しているとき、テキストデータについても、同様に自動的に文節化する。それぞれのネットワークの間で部分的対応を取ることで、ジェスチャ動画像について自動的に意味付けを行う認識方法を提案する。さらに、本方式の有効性を検証するために、テキスト付き手話データを対象とした認識実験を行い、本手法の有効性を検証する。
抄録(英) We propose a method to recognize human gestures using both motion images and texts. The method uses two kinds of network models obtained from two kinds of sequences in a style of self-organization. We can extract both so-called common and singular parts of gesture by analyzing the topology of the network. If the order of movements in a gesture motion image matches with that of words included in a corresponded sentences, then we can also extract both so-called common and singular parts of the network model of text. The proposed method for recognizing gestures uses morphological features between two networks made of gesture motion images and word sequences. We showed the usefulness of the method through an experiment using database composed of pairs of gesture motion image and text.
キーワード(和) ジェスチャ認識 / 動画像 / 自己組織化 / ネットワーク / 動作素
キーワード(英) Gesture recoginition / motion images / self organization / network / elemental motion unit
資料番号 MVE99-36
発行日

研究会情報
研究会 MVE
開催期間 1999/7/15(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Media Experience and Virtual Environment (MVE)
本文の言語 JPN
タイトル(和) ジェスチャ動画像と意味記述単語系列とのネットワーク構造対応に基づくジェスチャ認識
サブタイトル(和)
タイトル(英) Recognition of gestures using morphological features of networks made of gest ure motion images and word sequences
サブタイトル(和)
キーワード(1)(和/英) ジェスチャ認識 / Gesture recoginition
キーワード(2)(和/英) 動画像 / motion images
キーワード(3)(和/英) 自己組織化 / self organization
キーワード(4)(和/英) ネットワーク / network
キーワード(5)(和/英) 動作素 / elemental motion unit
第 1 著者 氏名(和/英) 矢部 博明 / Hiroaki Yabe
第 1 著者 所属(和/英) 新情報処理開発機構筑波研究センタ
Real World Computing Partnership
第 2 著者 氏名(和/英) 西村 拓 / Takuichi Nishimura
第 2 著者 所属(和/英) 新情報処理開発機構筑波研究センタ
Real World Computing Partnership
第 3 著者 氏名(和/英) 向井 理朗 / Toshiro Mukai
第 3 著者 所属(和/英) 新情報処理開発機構マルチモーダル機能シャープ研究室
Multimodal Functions Sharp Lab. ,RWCP
第 4 著者 氏名(和/英) 岡 隆一 / Ryuichi Oka
第 4 著者 所属(和/英) 情報処理開発機構筑波研究センタ
Real World Computing Partnership
発表年月日 1999/7/15
資料番号 MVE99-36
巻番号(vol) vol.99
号番号(no) 183
ページ範囲 pp.-
ページ数 8
発行日