講演名 2012-08-18
映像対話型行動記録におけるモダリティ間の関係と凝集性(「行為のタイミングとコミュニケーション」及び一般)
小泉 敬寛, 中村 裕一, 近藤 一晃, 小幡 佳奈子, 渡辺 靖彦,
PDFダウンロードページ PDFダウンロードページへ
抄録(和) 「映像対話型行動記録」は,身体にカメラを装着した作業者と遠隔地にいる支援者との間で映像を使って対話しながら作業を進める様子を記録するものである.作業の対象や状況についての様々な説明や指示,報告が行われる様子が動画と音声で記録される.本研究では,このような映像対話型行動記録の性質を調査し,重要なシーンを検出したりインデキシングを行う手法を検討した.まず,画像と発話の特徴や相互参照の密度を「モダリティ間の凝集性」と考え,シーンと凝集性との関係を調査した.さらに,凝集性が高くなる頻出パターンをチェックし,これらのパターンの持つ性質を調べた.また,これらをシーン検出や要約のために用いることの有効性を確認した.
抄録(英) This paper introduces a novel scheme of "working log through video communication", and key scene detection based on "intermodal cohesion and coherence". This working log is a record of video communication when a person wearing a camera is working under the guidence of an experienced person at distant place through video communication. The images and dialogues in a recorded video log contain important information such as instruction, explanation, object names, report, etc. In this situation, one of the useful clues for important scenes is intermodal coherence between images and speeches. Scene selection by detecting the coherence, therefore, improves indexing and browsing of video records. This paper first introduce the framework and shows experimental results for verifying the idea.
キーワード(和) ライフログ / 映像対話型行動記録 / インデキシング / モダリティ間の凝集性 / 要約
キーワード(英) lifelog / video chat / indexing / intermodal cohesion and coherence / summarization
資料番号 HCS2012-33
発行日

研究会情報
研究会 HCS
開催期間 2012/8/11(から1日開催)
開催地(和)
開催地(英)
テーマ(和)
テーマ(英)
委員長氏名(和)
委員長氏名(英)
副委員長氏名(和)
副委員長氏名(英)
幹事氏名(和)
幹事氏名(英)
幹事補佐氏名(和)
幹事補佐氏名(英)

講演論文情報詳細
申込み研究会 Human Communication Science (HCS)
本文の言語 JPN
タイトル(和) 映像対話型行動記録におけるモダリティ間の関係と凝集性(「行為のタイミングとコミュニケーション」及び一般)
サブタイトル(和)
タイトル(英) Intermodal Relationships and their Cohesiveness in Working Logs with FPV Communication
サブタイトル(和)
キーワード(1)(和/英) ライフログ / lifelog
キーワード(2)(和/英) 映像対話型行動記録 / video chat
キーワード(3)(和/英) インデキシング / indexing
キーワード(4)(和/英) モダリティ間の凝集性 / intermodal cohesion and coherence
キーワード(5)(和/英) 要約 / summarization
第 1 著者 氏名(和/英) 小泉 敬寛 / Takahiro KOIZUMI
第 1 著者 所属(和/英) 京都大学工学研究科
Dept. of Engineering, Kyoto University
第 2 著者 氏名(和/英) 中村 裕一 / Yuichi NAKAMURA
第 2 著者 所属(和/英) 京都大学学術情報メディアセンタ
ACCMS, Kyoto University
第 3 著者 氏名(和/英) 近藤 一晃 / Kazuaki KONDO
第 3 著者 所属(和/英) 京都大学学術情報メディアセンタ
ACCMS, Kyoto University
第 4 著者 氏名(和/英) 小幡 佳奈子 / Kanako OBATA
第 4 著者 所属(和/英) 京都大学学術情報メディアセンタ
ACCMS, Kyoto University
第 5 著者 氏名(和/英) 渡辺 靖彦 / Yasuhiko WATANABE
第 5 著者 所属(和/英) 龍谷大学理工学部
Faculty of Science and Technology, Ryukoku University
発表年月日 2012-08-18
資料番号 HCS2012-33
巻番号(vol) vol.112
号番号(no) 176
ページ範囲 pp.-
ページ数 6
発行日