| 講演名 | 2006/10/12 HMMによる非タスク指向型対話システムの評価(ヒューマンインタラクションとパターン認識・メディア解理・言語理解,ヒューマンインタラクションとパターン認識・メディア解理・言語理解,一般) 磯村 直樹, 鳥海 不二夫, 石井 健一郎, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 近年、コンピュータが人間と対話するシステム(対話システム)は様々な分野で研究、利用されている。このようなシステムの実現のためには、性能の定量的評価が不可欠である。チケット、切符の予約などを目的としたタスク指向型対話システムでは、客観的・定量的な評価法がある程度確立されているのに対し、非タスク指向型対話システムにはアンケートなどの主観的な評価法が主に用いられている。本研究では、非タスク指向型対話システムの客観的・定量的な評価法を提案する。本手法では、人間同士の対話は自然で理想的な対話であると仮定し、人間同士の対話に発話タグを自動的に付与し、付与したタグの列を学習したHMMを作成する。タグの自動付与にはn-gramを用いる。学習したHMMにより、対話の自然さを評価する。実験の結果、タグの自動付与の正解率は54%、意味的に近いものを許容した場合で82%であった。また、HMMを用いた自然さの評価では、出力確率の大小によって対話の自然さを評価可能であることが確認された。 |
| 抄録(英) | Recently, computerized dialogue systems are researched and used in various fields. In order to realize a practical system, the performance should be evaluated quantitatively. The objective and quantitative evaluation method for dialogue systems for reservation services has already been established, non-task-oriented dialogue systems, however, have been evaluated only by subjective method, like a questionnaire. In this paper, we propose a new criterion which can evaluate non-task-oriented dialogue systems objectively and quantitatively. We assume a human-human dialogue is an ideal dialogue. We build a HMM by learning a sequence of human-human dialogue utterance tag which is automatically assigned. We apply n-gram for auto-tagging and evaluate naturality of a dialogue using HMM. In this simulation, a correct rate apply auto-tagging is 54%. If we relax semantic conditions, a correct rate is 82%. And it was clarified that a HMM method can evaluate the naturality of a dialogue. |
| キーワード(和) | 対話システム / HMM / 評価法 / DAMSLタグ / 非タスク指向 |
| キーワード(英) | Dialogue System / HMM / Evaluation Method / DAMSL Tag / non-task-oriented |
| 資料番号 | TL2006-24,NIC2006-20,PRMU2006-101 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2006/10/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | HMMによる非タスク指向型対話システムの評価(ヒューマンインタラクションとパターン認識・メディア解理・言語理解,ヒューマンインタラクションとパターン認識・メディア解理・言語理解,一般) |
| サブタイトル（和） | |
| タイトル（英） | Evaluation method of Non-task-oriented dialogue system by HMM |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 対話システム / Dialogue System |
| キーワード(2)（和/英） | HMM / HMM |
| キーワード(3)（和/英） | 評価法 / Evaluation Method |
| キーワード(4)（和/英） | DAMSLタグ / DAMSL Tag |
| キーワード(5)（和/英） | 非タスク指向 / non-task-oriented |
| 第 1 著者 氏名（和/英） | 磯村 直樹 / Naoki ISOMURA |
| 第 1 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 2 著者 氏名（和/英） | 鳥海 不二夫 / Fujio TORIUMI |
| 第 2 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 3 著者 氏名（和/英） | 石井 健一郎 / Kenichiro ISHII |
| 第 3 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 発表年月日 | 2006/10/12 |
| 資料番号 | TL2006-24,NIC2006-20,PRMU2006-101 |
| 巻番号（vol） | vol.106 |
| 号番号（no） | 300 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |