HCGシンポジウム2011 VNV企画セッション

多人数・マルチモーダルインタラクションのビデオ分析
ー開発目的と分析手法のマッチングー

第32回VNV研究会(2011月12月7日 高松)

趣旨

マルチモーダルコミュニケーションのモデル構築とヒューマンコンピュータインタラクションの円滑化技術の開発を活動目的としているVNV研究会は設立6年を経過し,独自のスタイルによって多彩な分野の研究者が集まる場として確立した.今後はVNV研究会ならではのアウトプットとして,システム開発のための要素抽出を行う工学的分析と,人と人の対話構造のモデリングを行う人文社会学的分析の対応関係を整理し,双方を連携した有機的な分析アプローチの提案を重要視している.HCGシンポジウム2011における企画セッションでは,その取り組みのキックオフとして,多人数による共食コミュニケーションと遠隔コミュニケーションのビデオを分析対象としたデータ分析セッションを開催し,参加者の多様な視点によって様々なシステム開発にも応用可能な特徴的事象を抽出した.
発表資料

プログラム

  1. 趣旨説明 … 平山 高嗣(名古屋大学)
  2. データ提供
    1. 遠隔対話映像 … 菊地 浩平(NII) & 坊農 真弓(NII)
    2. 共食映像 … 湯浅 将英(東京電機大学)
  3. 開発要求 … 尾関 基行(京都工芸繊維大学) & 平山 高嗣(名古屋大学)
  4. データ分析&議論
    1. 遠隔対話映像 … 東山 英治(千葉大学)
    2. 共食映像 … 榎本 美香(東京工科大学)
  5. まとめ … 尾関 基行(京都工芸繊維大学)

データ提供

遠隔対話映像

CISCOの遠隔会議システムを用いた会話場面(聴者/ろう者;4対4)のデータを提供した.近年の技術的発展に伴って遠隔地間をつないで会話することが容易にできるようになってきたがシステムを用いた遠隔通信会話が,具体的にどのようなものなのかについては充分に議論されていないように思われる.そこで聴者とろう者それぞれがどのような言語使用,空間使用をしているのかを観察することから遠隔通信環境での基本的な会話の成り立ちを議論する契機としたいと考えた.
発表資料

共食映像

30代・40代・50代の女性3人の会話場面(食事あり/食事なし)のデータを提供した.この電機大で収録したビデオデータについて,会話における課題(「ストレス発散法!どんなことをしてる?」「子供の受験にやっぱり塾が必要なのか? 」 )や,その形式(最後に結論を出す会話/出さない会話)を説明した.ビデオを閲覧して「複数の人がいて,話が盛り上がる」ことが何かに興味が向いた.
発表資料

開発要求

比較する映像データがあると,一方を見ただけでは思いつかなかった新しいアイデアが生まれる.開発者にも,適切な条件の下で映像を撮って調べるという姿勢が重要である.

遠隔対話映像:
ろう者同士と聴者同士の遠隔対話映像を比較することで視線配布の差異が明確化されると考える.多人数遠隔対話では,対話相手の振る舞いへの気づきが抑制されると考え,ろう者の視線配布をサポートするシステム開発のために有用な知見を得たい.
共食映像:
なぜ人は食事しながら楽しく会話できるのか? 食べたいときや話したいときに無意識的に表出する振る舞いを抽出し,会話権の制御の仕組みを理解することができれば,食事も会話も弾む共食エージェントによる会話場設計に応用できる.

これらの開発要求を実現するために,何を認識してどう行動するシステムを作ればよいか.綿密なデータ分析に基づくボトムアップな知見が得られれば,より効率的なシステム開発につながる.
(2人での対話形式のため発表資料なし)

データ分析&議論

遠隔対話映像

遠隔会議システムのビデオデータにおいて,発話量の比較から,座席の両端に位置する参与者が主たる説明者となっていることがわかった.この傾向は,座席両端が,現地の参与者と遠隔地の参与者への視線配布を容易に行える位置であったためと考えられる.発表では,座席中央の参与者と座席端の参与者との重複発話から,座席端の参与者が主たる説明者となるまでの過程を事例で示した.また,座席端の参与者のターン保持テクニック,座席中央の参与者が後発して話者となる事例を紹介し,座席両端の参与者がいかに主たる説明者となり,座席中央の参与者もそれを受け入れているかを例示した.以上の分析から,この遠隔会議システムにおいて,主たる説明者となりうる議長やプレゼン発表者は座席両端に座ることを提案した.
発表資料

議論:端に座ったほうが会話の主導権を握れることは経験的に知っており,秘密にしていたが,それが映像分析によって明らかにされてしまった.

共食映像

湯浅氏が「発話が重複してしまっていても許容されて,それで場が盛り上がる」箇所としてピックアップしたデータの事例分析を行う.発話末への軽微な重複,相槌や笑いによる重複を除外し,相手発話を遮る位置での重複に焦点を当てる.分析の結果,他者からの誉めに対する謙遜(事例1,事例4),他者の自己卑下に対する誉め(事例2)といった特定の連鎖状のにある特定の対話機能を担った発話においてそうした重複が見られることが分かった.誉めに対する謙遜,自己卑下に対する誉めといった行為は,相手発話を遮ってでも直ちに行うことが社会的に好まれていることがみてとれる.
発表資料

議論:盛り上がる会話は,発話の重複であり,その中には「誉めー謙遜連鎖」という仕組みがあり,その共業関係でさらに盛り上がる,とした分析結果は非常に興味深い.日常の会話で経験している盛り上がりが「誉めー謙遜連鎖」(やその拒否)で成り立っていることは,会話分析が無ければ全く気が付かないことである.これを考慮したエージェントやロボットを作成すると人と盛り上がった会話ができる可能性がある.盛り上がる仕組みをもう少し構造的に(開発者が)理解できれば,盛り上がる会話の詳細なアルゴリズムを作成できる可能性もある.