| 講演名 | 1998/3/13 マルチモーダル対話のためのジェスチャ生成に関する考察 石橋 雄二, 賀川 経夫, 遠藤 勉, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 対象を小学校1年算数の世界に絞り込み, 問題文と図表が混在しているドリルテキストならびに人間(教師)との対話を相互参照しながら算数の問題解決と知識獲得を行うシステムの開発を進めている.対話形式としては言語とジェスチャを併用したマルチモーダル対話を考えている.本論文では, システムが発話と並行して行うジェスチャの生成方式について考察する.本論文で扱うジェスチャはテキスト上の対象物に対する指示操作やテキスト上への描画操作で, ペン先や指先の2次元的な動きとして表現される.まず, 対話支援型問題解決システムの構成を概観した後, ジェスチャの内部表現となるポインタ系列とジェスチャコマンドを定義する.次に, 発話文生成と協調したジェスチャコマンドの抽出法とジェスチャコマンドからポインタ系列への変換法を提案する.最後に, シミュレーション実験によりジェスチャ生成の有効性を確かめる. |
| 抄録(英) | We are now developing a problem solving and knowledge acquisition system based on co-reference between drill texts and dialogue with a teacher, focusing on first grade mathematics. The system offers multiple input and output channels such as natural language, gestures, and graphics. This paper discusses a method of generating gestures in cooperation with utterance generation. A gesture in this case means pointing of objects on the drill text or drawing pictures. It is represented by the movement of a pen, and is displayed as 2-D graphical data. First, the architecture of the dialogue-based problem solving system is summarized. Then the pointer sequence and gesture command are defined in order to describe the structure and meaning of gesture. Next, the extraction procedures of commands and pointer sequence are presented. Lastly, results of the simulation are shown. |
| キーワード(和) | マルチモーダル対話 / 自然言語生成 / ジェスチャ生成 / 問題解決 / ユーザインタフェース |
| キーワード(英) | multimodal dialogue / natural language generation / gesture generation / problem solving / user interface |
| 資料番号 | |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 1998/3/13(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Natural Language Understanding and Models of Communication (NLC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | マルチモーダル対話のためのジェスチャ生成に関する考察 |
| サブタイトル（和） | |
| タイトル（英） | A Study on Method of Gesture Generation for Multimodal Dialogue System |
| サブタイトル（和） | |
| キーワード(1)（和/英） | マルチモーダル対話 / multimodal dialogue |
| キーワード(2)（和/英） | 自然言語生成 / natural language generation |
| キーワード(3)（和/英） | ジェスチャ生成 / gesture generation |
| キーワード(4)（和/英） | 問題解決 / problem solving |
| キーワード(5)（和/英） | ユーザインタフェース / user interface |
| 第 1 著者 氏名（和/英） | 石橋 雄二 / Yuji ISHIBASHI |
| 第 1 著者 所属（和/英） | 大分大学工学部知能情報システム工学科 Department of Computer Science and Intelligent Systems Faculty of Engineering, Oita University |
| 第 2 著者 氏名（和/英） | 賀川 経夫 / Tsuneo KAGAWA |
| 第 2 著者 所属（和/英） | 大分大学工学部知能情報システム工学科 Department of Computer Science and Intelligent Systems Faculty of Engineering, Oita University |
| 第 3 著者 氏名（和/英） | 遠藤 勉 / Tsutomu ENDO |
| 第 3 著者 所属（和/英） | 大分大学工学部知能情報システム工学科 Department of Computer Science and Intelligent Systems Faculty of Engineering, Oita University |
| 発表年月日 | 1998/3/13 |
| 資料番号 | |
| 巻番号（vol） | vol.97 |
| 号番号（no） | 594 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |