講演抄録/キーワード |
講演名 |
2022-07-04 16:00
クラウドソーシングにおける動的タスク発注モデルの教師なし学習 ○柳澤 遼(早大)・斎藤 奨・中野鐵兵(知能フレームワーク研)・小林哲則・小川哲司(早大) AI2022-14 |
抄録 |
(和) |
クラウドソーシングによるアノテーション品質を効率的に担保する枠組みとして,データの難易度に応じて発注数を最適化する動的タスク発注モデルを教師なしで学習する方式を提案した.クラウドソーシングにより収集される回答は誤りを含むため,サンプルごとに複数のワーカから回答を収集し,多数決などにより集約することで信頼性を担保する.このとき,一般的に多数決を行うワーカ数が多いほど高品質なラベルが得られるが,発注数の増加に伴い発注費用も増大するため,最終的なラベルの精度を高く維持したまま,多数決を行うワーカ数を削減することが望ましい.そこで,複数ワーカによる回答のばらつきが小さいほど多数決の信頼性が高いという仮定のもと,回答のばらつきが十分小さくなるまでワーカへの発注を続ける動的タスク発注モデルに着目し,ラベルの誤りと発注費用を最小にするようなモデルパラメータを教師なしで学習する方式を提案した.家畜の監視画像に対するアノテーションタスクにおいて提案方式の有効性を検証したところ,教師あり学習と同等の性能を達成するとともに,精度を重視した単純多数決と比較して精度を大きく劣化させることなく発注数を大幅に削減できることを明らかにした. |
(英) |
An unsupervised learning method for a dynamic task ordering model that optimizes the number of orders according to the difficulty of the data was proposed as a framework for efficiently ensuring annotation quality through crowdsourcing. Since responses collected by crowdsourcing contain errors, the responses were collected from multiple workers for each sample and then aggregated by majority voting to ensure reliability. However, since the monetary cost increases as the number of orders increases, it is desirable to reduce the number of workers who perform majority voting while maintaining the high accuracy of the final label. Therefore, we focus on a dynamic task ordering model that continues to place orders to workers until the variation in responses becomes sufficiently small, based on the assumption that the smaller the variation in responses by multiple workers, the more reliable the majority decision is. The present study proposed a method for unsupervised learning of model parameters such that label errors and ordering costs are minimized. Experimental comparisons on an annotation task for livestock surveillance images demonstrated the effectiveness of the proposed method: it achieved performance comparable to supervised learning and significantly reduced the number of orders without significantly degrading accuracy compared to simple majority voting, which emphasizes accuracy. |
キーワード |
(和) |
クラウドソーシング / 品質管理 / 教師なし学習 / 動的タスク発注 / / / / |
(英) |
Crowdsourcing / Quality control / Unsupervised learning / Dynamic task ordering / / / / |
文献情報 |
信学技報, vol. 122, no. 94, AI2022-14, pp. 72-76, 2022年7月. |
資料番号 |
AI2022-14 |
発行日 |
2022-06-27 (AI) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
AI2022-14 |