大会名称 |
---|
2010年 情報科学技術フォーラム(FIT) |
大会コ-ド |
F |
開催年 |
2010 |
発行日 |
2010/8/20 |
セッション番号 |
6R |
セッション名 |
情報抽出と情報検索 |
講演日 |
2010/09/09 |
講演場所(会議室等) |
R会場(ウエスト2号館3F 第6講義室) |
講演番号 |
RD-003 |
タイトル |
コミュニティQAにおける良質な回答の選定タスク : 評価方法に関する考察 |
著者名 |
酒井 哲也, 石川 大介, 栗山 和子, 関 洋平, 神門 典子, |
キーワード |
コミュニティQA, NTCIR, 評価指標 |
抄録 |
本研究では,コミュニティQAの質問と回答群を対象とし,各質問に対する良質な回答を選出するタスクの評価方法について検討する.題材として,Yahoo!知恵袋データ,これをもとに構築したNTCIR-8 community QA pilot taskのテストコレクションおよび参加チームのシステム出力結果を用いる.質問者自身が選定したベストアンサーには信頼性・網羅性の問題があるため,4名の判定者による回答判定結果をもとに多値適合性データを構築し,これにより評価を行う.この方法により,複数の個人の見解を反映した評価が可能になり,ベストアンサーによる評価では得られない知見が得られる場合があることがわかった. |
本文pdf |
PDF download (240.9KB) |