| 講演名 | 2005/7/15 質問応答システムの正解順位とユーザ満足率の関係について(言い換え・質問応答) 國分 智晴, 酒井 哲也, 齋藤 佳美, 筒井 秀樹, 真鍋 俊彦, 藤井 寛子, 小山 誠, |
|---|---|
| PDFダウンロードページ | PDFダウンロードページへ |
| 抄録(和) | 近年, 質問応答システムに関する研究が盛んに行われているが, システムの回答精度と, どれぐらいのユーザが満足するかとの関係が明確になっていなかった.そこで, 質問応答の利用シーンとしてデスクトップ型およびモバイル型の2種類を想定し, シーン別に正解順位に対する満足の度合いを評価するアンケートを行った.この結果, 回答候補を一括提示するデスクトップ型におけるユーザ満足率は質問応答の一般的な評価尺度である逆数順位と似た曲線となるが, 回答候補をひとつずつ提示するモバイル型におけるそれは順位とほぼ比例することが分かった.このため, ユーザ満足率の観点からシステムの目標精度を設定するには, 平均逆数順位ではなく正解順位の分布を決定することが望ましいことを示す. |
| 抄録(英) | Although research in effective Question Answering (QA) has become active in recent years, it was not clear how system accuracy affects user satisfaction in practice. We therefore devised two practical scenarios in which QA may be useful (namely, desktop and mobile) and conducted a questionnaire survey for each scenario. The objective was to clarify the relationship between the rank of a correct answer and the proportion of satisfied users. Results show that, while the graph of the proportion of satisfied users resembles that of Reciprocal Rank for the desktop case, it is almost proportional to the rank for the mobile case. Thus, from the viewpoint of user satisfaction, one should set a goal in terms of the distribution of the correct answers instead of a single Mean Reciprocal Rank value. |
| キーワード(和) | 質問応答 / アンケート / ユーザ満足率 |
| キーワード(英) | Question Answering / questionnaire / user satisfaction |
| 資料番号 | NLC2005-8 |
| 発行日 |
| 研究会情報 | |
| 研究会 | NLC |
|---|---|
| 開催期間 | 2005/7/15(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Natural Language Understanding and Models of Communication (NLC) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 質問応答システムの正解順位とユーザ満足率の関係について(言い換え・質問応答) |
| サブタイトル（和） | |
| タイトル（英） | The Relationship between Answer Ranking and User Satisfaction in a Question Answering System |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 質問応答 / Question Answering |
| キーワード(2)（和/英） | アンケート / questionnaire |
| キーワード(3)（和/英） | ユーザ満足率 / user satisfaction |
| 第 1 著者 氏名（和/英） | 國分 智晴 / Tomoharu KOKUBU |
| 第 1 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 第 2 著者 氏名（和/英） | 酒井 哲也 / Tetsuya SAKAI |
| 第 2 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 第 3 著者 氏名（和/英） | 齋藤 佳美 / Yoshimi SAITO |
| 第 3 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 第 4 著者 氏名（和/英） | 筒井 秀樹 / Hideki TSUTSUI |
| 第 4 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 第 5 著者 氏名（和/英） | 真鍋 俊彦 / Toshihiko MANABE |
| 第 5 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 第 6 著者 氏名（和/英） | 藤井 寛子 / Hiroko FUJII |
| 第 6 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 第 7 著者 氏名（和/英） | 小山 誠 / Makoto KOYAMA |
| 第 7 著者 所属（和/英） | (株)東芝研究開発センター R&D Center, Toshiba Corporation |
| 発表年月日 | 2005/7/15 |
| 資料番号 | NLC2005-8 |
| 巻番号（vol） | vol.105 |
| 号番号（no） | 203 |
| ページ範囲 | pp.- |
| ページ数 | 8 |
| 発行日 | |