| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2022-06-18 15:00 ［ポスター講演］クラウドソーシングを用いた合成音声の音質主観評価のためのワーカ選抜基準 ○八重樫萌絵（早大）・斎藤 奨・中野鐵兵（早大/知能フレームワーク研）・小川哲司（早大）  SP2022-24 |
|
| 抄録 | （和） | クラウドソーシングを用いた合成音声の主観評価において， クラウドワーカの選抜基準が評価結果に与える影響を調査した． 現在，合成音声の主観評価においてクラウドソーシングの利活用が進んでいる． その際，所望する条件を満たすワーカに対してのみ評価を依頼できることが望ましいが， 合成音声の主観評価においてそのようなワーカ選抜基準は確立されていない． それに対し本研究では， 音質（歪みの度合い）の評価に焦点を当て，合成音声主観評価のためのワーカ選抜基準について検討を行った． 選抜試験では，音質の違いを聞き分ける能力を評価可能にするために，抑揚，音質以外の属性は同一となるように比較タスクを設計した． さらに，ワーカが音質の違いを直感的に理解できるように， 選抜試験の冒頭で歪みの多い音声を複数回連続して提示した． Amazon Mechanical Turk 上で音質評価実験を行い， textit{i)}歪みの量に着目して評価をしているか（意図理解度）， textit{ii)}回答に整合性はあるか（回答整合率）， textit{iii)}確信をもって回答しているか（回答確信度）， といった選抜基準が主観評価結果に与える影響を調査した． その結果，意図理解や回答に対する確信の度合いの測定はワーカの選抜において有効であり， そのためには，意図理解に役立つサンプル（ここでは，音質が悪い音声）を数サンプル用意して比較タスクに含めれば良いことが明らかになった． |
| （英） | We investigate the effect of filtering criteria of crowdworkers on the subjective evaluation results of synthesized voice using crowdsourcing. Currently, crowdsourcing has been used for subjective evaluation of synthesized voice. Although it is desirable to remove workers who do not satisfy the client's requirements, worker filtering criteria have not yet been defined. In this study, we focused on subjective evaluation of sound quality (amount of distortion) and examined filtering criteria. In the filtering test, the comparison task was designed so that attributes other than intonation and sound quality were identical in order to enable evaluation of the ability to distinguish differences in sound quality. In order for the worker to understand the difference in sound quality intuitively, we showed the workers the highly distorted voice several times repeatedly at the beginning of the evaluation. We conducted sound quality evaluation experiments on Amazon Mechanical Turk to investigate the effects of the following filtering criteria on the subjective evaluation results: textit{i)} whether the evaluation was focused on the amount of distortion (Understanding of Intent), textit{ii)} whether the responses were consistent (Response Consistency Rate), textit{iii) }whether the responses were given with confidence (Response Confidence). The results showed that measuring the degree of Understanding of Intentions and Response Confidence is effective in worker selection, and this can be achieved by including a few samples that are useful for Understanding of Intention (in this study, low sound quality voice) in the comparison task. | |
| キーワード | （和） | クラウドソーシング / 音声合成 / ワーカフィルタリング / 主観評価 / / / / |
| （英） | crowdsourcing / speech synthesis / worker filtering / subjective evaluation / / / / | |
| 文献情報 | 信学技報, vol. 122, no. 81, SP2022-24, pp. 104-109, 2022年6月. | |
| 資料番号 | SP2022-24 | |
| 発行日 | 2022-06-10 (SP) | |
| ISSN | Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | SP2022-24 |
|
| 研究会情報 | |
| 研究会 | SP IPSJ-MUS IPSJ-SLP |
| 開催期間 | 2022-06-17 - 2022-06-18 |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 音学シンポジウム2022 |
| テーマ（英） | |
| 講演論文情報の詳細 | |
| 申込み研究会 | SP |
| 会議コード | 2022-06-SP-MUS-SLP |
| 本文の言語 | 日本語 |
| タイトル（和） | クラウドソーシングを用いた合成音声の音質主観評価のためのワーカ選抜基準 |
| サブタイトル（和） | |
| タイトル（英） | Worker Filtering Criteria for Subjective Evaluation of Synthesized Voice Sound Quality Using Crowdsourcing |
| サブタイトル（英） | |
| キーワード(1)（和/英） | クラウドソーシング / crowdsourcing |
| キーワード(2)（和/英） | 音声合成 / speech synthesis |
| キーワード(3)（和/英） | ワーカフィルタリング / worker filtering |
| キーワード(4)（和/英） | 主観評価 / subjective evaluation |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 八重樫 萌絵 / Moe Yaegashi / ヤエガシ モエ |
| 第1著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第2著者 氏名（和/英/ヨミ） | 斎藤 奨 / Susumu Saito / サイトウ ススム |
| 第2著者 所属（和/英） | 早稲田大学/株式会社知能フレームワーク研究所 (略称： 早大/知能フレームワーク研) Waseda University/Intelligent Framework Lab Inc. (略称： Waseda Univ./ifLab.) |
| 第3著者 氏名（和/英/ヨミ） | 中野 鐵兵 / Teppei Nakano / ナカノ テッペイ |
| 第3著者 所属（和/英） | 早稲田大学/株式会社知能フレームワーク研究所 (略称： 早大/知能フレームワーク研) Waseda University/Intelligent Framework Lab Inc. (略称： Waseda Univ./ifLab.) |
| 第4著者 氏名（和/英/ヨミ） | 小川 哲司 / Tetsuji Ogawa / オガワ テツジ |
| 第4著者 所属（和/英） | 早稲田大学 (略称： 早大) Waseda University (略称： Waseda Univ.) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2022-06-18 15:00:00 |
| 発表時間 | 120分 |
| 申込先研究会 | SP |
| 資料番号 | SP2022-24 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | no.81 |
| ページ範囲 | pp.104-109 |
| ページ数 | 6 |
| 発行日 | 2022-06-10 (SP) |
[研究会発表申込システムのトップページに戻る]