| 講演名 | 2007/9/28 HMMによる非タスク指向型対話システムの性能の比較評価(言語理解のためのコーパスからの知識獲得) 磯村 直樹, 鳥海 不二夫, 石井 健一郎, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 近年,人間と対話のできるコンピュータ(対話システム)は様々な分野で利用されている.このようなシステムの実現のためには,性能の定量的評価が不可欠である.チケット,切符の予約などを目的としたタスク指向型対話システムでは,客観的・定量的な評価法がある程度確立されているのに対し,非タスク指向型対話システムではアンケートなどの主観的な評価法が用いられているに過ぎない.本論文ではテキスト対話を取り上げ,非タスク指向型対話システムの客観的・定量的な評価法を提案する.本手法では,人間同士の対話は自然で理想的な対話であると仮定し,人間同士の対話に発話タグを自動的に付与し,付与したタグの系列を学習したHMMを作成する.自動タグ付与には2-gramを用いる.学習したHMMの出力確率の大小により,対話の自然さを評価する.実験の結果,自動タグ付与の正解率は71%,意味的に近いものを許容した場合で87%であった.また,HMMによって複数の非タスク指向型対話システムの性能を比較評価できることが確認された. |
| 抄録(英) | Recently, computerized dialogue systems are researched and used in various fields. In order to realize a practical system, the performance should be evaluated quantitatively. The objective and quantitative evaluation method for dialogue systems for reservation services has already been established, non-task-oriented dialogue systems, however, have been evaluated only by subjective method, like a questionnaire. In this paper, we propose a new criterion which can evaluate non-task-oriented dialogue systems objectively and quantitatively. We assume a human-human dialogue is an ideal dialogue. We build a HMM by learning a sequence of human-human dialogue utterance tag which is automatically assigned. We apply 2-gram for auto-tagging and evaluate naturality of a dialogue using HMM. In this simulation, a correct rate applying auto-tagging is 71%. If we relax semantic conditions, a correct rate is 87%. It was clarified that a HMM method can evaluate the naturality of dialogue systems. |
| キーワード(和) | 対話システム / HMM / 評価法 / DAMSLタグ / 非タスク指向 |
| キーワード(英) | Dialogue System / HMM / Evaluation Method / DAMSL Tag / non-task-oriented |
| 資料番号 | NLC2007-29 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2007/9/28(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Natural Language Understanding and Models of Communication (NLC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | HMMによる非タスク指向型対話システムの性能の比較評価(言語理解のためのコーパスからの知識獲得) |
| サブタイトル（和） | |
| タイトル（英） | Comparison of non-task-oriented dialogue systems by HMM |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 対話システム / Dialogue System |
| キーワード(2)（和/英） | HMM / HMM |
| キーワード(3)（和/英） | 評価法 / Evaluation Method |
| キーワード(4)（和/英） | DAMSLタグ / DAMSL Tag |
| キーワード(5)（和/英） | 非タスク指向 / non-task-oriented |
| 第 1 著者 氏名（和/英） | 磯村 直樹 / Naoki ISOMURA |
| 第 1 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 2 著者 氏名（和/英） | 鳥海 不二夫 / Fujio TORIUMI |
| 第 2 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 第 3 著者 氏名（和/英） | 石井 健一郎 / Kenichiro ISHII |
| 第 3 著者 所属（和/英） | 名古屋大学大学院情報科学研究科 Graduate School of Information Science, Nagoya University |
| 発表年月日 | 2007/9/28 |
| 資料番号 | NLC2007-29 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | 246 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |