| 講演名 | 2003/12/12 ユーザ評価と達成度との相関に基づく音声対話システムの品質評価の予備的検討(第5回音声言語シンポジウム : 対話インタフェース) 白勢 彩子, 原 直, 藤村 浩司, 伊藤 克亘, 武田 一哉, 板倉 文忠, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 本研究は,音声対話システムの利用に必要な知識,技術の学習過程および問題点を明らかとし,これらがシステム評価に与える影響を検討するため,実システムを用いた観察実験を行ない,それによって得られた結果に基づいて,ユーザの達成度とアンケートによるシステム評価との関連性に関する基礎的な議論を行なった.分析の結果,発話認識率と発話数とに相関がある評価項目はほとんどなく,むしろ,会話満足度,システム理解度と多く関連することが明らかとなった.従来,認識率とシステム評価とがよく一致することが知られているが,他の観点からの評価も考慮する必要があることが示唆された.今後は,被験者数を増大させて条件を統制した実験を行ない,より詳細な議論をしていきたい. |
| 抄録(英) | This study aims to describe user problems and process of learning skill in using spoken dialogue systems and to reveal how these impact on the evaluation of the system usefulness. For this aim, we designed a new dialogue system and carried out a field test for a large number of subjects and asked them to evaluate the usefulness of the system. The results showed that the evaluation of the system did not correlate a recognition rate but user satisfaction and comprehension. This suggested that the spoken dialogue systems should be evaluated in terms of user factors. Controlled experiments are needed to discuss in detail. |
| キーワード(和) | 音声対話システム / 品質評価 / ユーザ達成度 / 利用技術 / 相関性 |
| キーワード(英) | Spoken Dialogue System / Evaluation of a Quality of System / Task Completion / User Skill / Correlation |
| 資料番号 | NLC2003-92 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2003/12/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Natural Language Understanding and Models of Communication (NLC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ユーザ評価と達成度との相関に基づく音声対話システムの品質評価の予備的検討(第5回音声言語シンポジウム : 対話インタフェース) |
| サブタイトル（和） | |
| タイトル（英） | Preliminary study on the evaluation of a quality of spoken dialogue system in terms of user factors |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 音声対話システム / Spoken Dialogue System |
| キーワード(2)（和/英） | 品質評価 / Evaluation of a Quality of System |
| キーワード(3)（和/英） | ユーザ達成度 / Task Completion |
| キーワード(4)（和/英） | 利用技術 / User Skill |
| キーワード(5)（和/英） | 相関性 / Correlation |
| 第 1 著者 氏名（和/英） | 白勢 彩子 / Ayako SHIROSE |
| 第 1 著者 所属（和/英） | 名古屋大学大学院情報科学研究科/CIAIR Department of Information Science/CIAIR, Nagoya University |
| 第 2 著者 氏名（和/英） | 原 直 / Sunao HARA |
| 第 2 著者 所属（和/英） | 名古屋大学大学院情報科学研究科/CIAIR Department of Information Science/CIAIR, Nagoya University |
| 第 3 著者 氏名（和/英） | 藤村 浩司 / Hiroshi FUJIMURA |
| 第 3 著者 所属（和/英） | 名古屋大学大学院情報科学研究科/CIAIR Department of Information Science/CIAIR, Nagoya University |
| 第 4 著者 氏名（和/英） | 伊藤 克亘 / Katsunobu ITO |
| 第 4 著者 所属（和/英） | 名古屋大学大学院情報科学研究科/CIAIR Department of Information Science/CIAIR, Nagoya University |
| 第 5 著者 氏名（和/英） | 武田 一哉 / Kauya TAKEDA |
| 第 5 著者 所属（和/英） | 名古屋大学大学院情報科学研究科/CIAIR Department of Information Science/CIAIR, Nagoya University |
| 第 6 著者 氏名（和/英） | 板倉 文忠 / Fumitada ITAKURA |
| 第 6 著者 所属（和/英） | 名古屋大学大学院情報科学研究科/CIAIR Department of Information Science/CIAIR, Nagoya University |
| 発表年月日 | 2003/12/12 |
| 資料番号 | NLC2003-92 |
| 巻番号（vol） | vol.103 |
| 号番号（no） | 518 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |