講演抄録/キーワード |
講演名 |
2021-08-22 10:05
クラウドソーシングにおける成果物評価の提示と追加報酬に関する研究 ○土方嘉徳(関西学院大) HCS2021-25 |
抄録 |
(和) |
近年の働き方の多様化と業務効率の効率化に伴い,クラウドソーシングサービスが利用されるようになっている.特に近年のIT分野においては,機械学習を用いた高度な知的システムを取り入れたサービスが多くなりつつある.学習データを作成するには,多数のオブジェクトに対して正解ラベルを人手で付与する必要があるが,この作業をクラウドソーシングで実施することが多い.本研究では,上記のタスクを想定して,クラウドソーシングサービスにおける,成果物評価の提示と追加報酬の支給が,作業者の正解データラベル付けのタスクの継続率とパフォーマンス(正答率)の向上に寄与するかどうかを明らかにする.実際のクラウドソーシングサービス上で被験者実験を行ったところ,成果物評価の提示は,質の高い作業者の継続率を高めることと,追加報酬の支給は質の低い作業者の継続率を低くし,結果として継続した作業者全体の正答率を高く維持できることが分かった. |
(英) |
In recent years, crowdsourcing services have been used to diversify work styles of people and improve work efficiency in companies. Services in the IT field particularly have become to incorporate intelligent systems using machine learning techniques. In order to create training data, it is necessary to manually assign correct labels to a large number of objects, and this task is often performed by crowdsourcing. In this study, assuming the above task, the author investigates whether the presentation of the deliverable (or outcome) evaluation and the provision of additional rewards contribute to the improvement of workers’ persistence and performance (correct answer rate). The author conducted a user experiment on a real crowdsourcing service and found that the presentation of deliverable evaluations increased the persistence rate of high-quality workers, while the provision of additional rewards decreased the persistence rate of low-quality workers and kept high correctness of their deliverables. |
キーワード |
(和) |
クラウドソーシング / 品質保証 / 成果物評価 / 報酬 / モチベーション / 正答率 / / |
(英) |
Crowdsourcing / Quality Assurance / Deliverable Assessment / Bonus Payment / Motivation / Correctness / / |
文献情報 |
信学技報, vol. 121, no. 143, HCS2021-25, pp. 45-50, 2021年8月. |
資料番号 |
HCS2021-25 |
発行日 |
2021-08-14 (HCS) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
HCS2021-25 |