VNV研究会では、下西 慶 氏 (京都大学) と臼田 泰如 氏 (静岡理工科大学) による話題提供をいただき、以下の通り定例研究会を開催いたします。
対話における各参与者の心の状態は、対話行動を分析・理解する上で重要な手がかりとなる。しかし、直接観測できない内面情報を推測することは困難であり、従来の会話分析においては研究対象として扱われにくい傾向があった。一方、情報学の分野では「感情認識」に関する研究が進められているものの、演技による対話や感情カテゴリの分類など、自然な日常会話とは異なる条件設定に依存していることが多い。したがって、自然な対話における心の状態の解明は、人文社会科学および情報学の双方において依然として困難な課題となっている。この課題にアプローチするための対話データ収集の枠組みとして「メタ対話」の研究が進められている。これは、ある対話を実施した後にその過程を振り返りながら、当時の心情や意図について参与者自身にメタ的な対話を行わせる手法である。本研究会では、これまで構築を進めてきたメタ対話データセットの概要およびその分析結果について、情報学と会話分析のそれぞれの観点から二部構成で報告する。
本研究では、自然な対話における参与者の心の状態を理解するため、本対話の直後に当事者どうしがその映像を見ながら当時の心情や意図を振り返る「メタ対話」を提案し、一般参加者を対象とした収録によるデータセットの構築を進めている。本発表ではまず、発話・表情・身体動作などを含む本対話のマルチモーダル情報と、その際の心情とを対応付けるための収録の枠組みを紹介する。さらに、収録したメタ対話を対象に、話題の分類や明示的な心情表現の抽出を行った分析結果を示す。加えて、本対話の発話情報のみから大規模言語モデルを用いて心情を推定する予備的検討を通して、発話から推定しやすい心情と、聞き手の内面や意外感・違和感のように推定が難しい心情の違いについて考察する。これらをもとに、メタ対話データを心の状態の理解にどのように利用できるか、その可能性と課題を議論する。
本研究は、本対話とその録画を視聴しながら行うメタ対話を収録し、メタ対話の話題の種類・内容に手動でアノテーションを付したデータを用いて、参与者による対話中の心的状態への言及を検討する。会話分析では、参与者が相互に観察可能な言語的・非言語的表示を通じて、理解や感情をどのように示すかが扱われる。一方、本研究のプロトコルは、本対話では必ずしも明示されない心的状態についても、参与者自身が振り返り、互いに語り合う機会を設けるものである。データからは、驚きや意外さ、話しやすさや案を思いつくことの難しさ、発言時の意図や疑問などへの言及が見いだされた。本発表では、これらを参照先となる本対話のやりとりと結びつけ、そこでの表示とメタ対話での説明との関係を探索的に検討する。回顧的な語りとしての性質を踏まえつつ、本対話とメタ対話を併せて分析することが、やりとりにおける微細な心情や認識の理解・可視化にどのような手掛かりをもたらすかを考察する。