| 講演名 | 2023-03-14 条件付きVAEによる印象情報を反映した音色合成手法 渡邉 健(名工大), 黒柳 奨(名工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 音色と人間が抱く印象の関係性を体系立てて説明することは難しく，音色のデザインにおいては経験や感 覚に大きく依存している側面が強い．この現状を踏まえ，本稿では人間が想起する印象にもとづいた音色合成手法の 提案を目的とする．具体的には深層生成モデルの一種である条件付き変分オートエンコーダ (Conditional Variational Auto Encoder:CVAE) を用いて，印象情報で条件付けを行い音の波形を生成する手法を提案する．本提案モデルは，主 となる一波長分の波形を直接生成する波形生成モデルと学習時に補助的に用いられる印象推定モデルの二部で構成さ れる．このような二部構成を採用することで，大量のラベル付きデータセットを用意することなく印象の条件付けを 可能とし，多様な波形生成と印象の反映の両立を目指す．本稿では波形の概形の変化に対する検証と被験者による聴 取実験を行い，本提案手法の有効性を示した． |
| 抄録(英) | In This paper, we aim to propose a method of timbre synthesis based on impressions recalled by humans. We worked on this study with the aim of alleviating the current situation in which designers are forced to rely heavily on their experience and senses when designing tones due to the difficulty of systematically explaining the relationship between tones and human impressions of them. Specifically, we propose a method for generating sound waveforms using a conditional variational autoencoder(CVAE), a type of deep generative model, by further conditioning with impression information. The proposed model consists of two parts: a main waveform generation model that directly generates a waveform for one wavelength, and an impression estimation model that is used as an auxiliary model during training. This two-part structure enables impression conditioning without preparing a large amount of labeled data sets, and is expected to both generate a variety of waveforms and reflect impressions. Finally, verification against changes in the approximate shape of the waveform and listening experiments with subjects are conducted to demonstrate the effectiveness of the proposed method. |
| キーワード(和) | 音色合成 / 条件付き変分自己符号化器 / 印象 |
| キーワード(英) | Timbre synthesis / Conditional variational autoencoder / Impression |
| 資料番号 | NC2022-106 |
| 発行日 | 2023-03-06 (NC) |
| 研究会情報 | |
| 研究会 | NC / MBE |
|---|---|
| 開催期間 | 2023/3/13(から3日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | The Univ. of Electro-Communications |
| テーマ（和） | 脳アーキテクチャー, 一般（NC, ME） |
| テーマ（英） | Brain architecture, General |
| 委員長氏名（和） | 山川 宏(東大) / 堀 潤一(新潟大) |
| 委員長氏名（英） | Hiroshi Yamakawa(Univ of Tokyo) / Junichi Hori(Niigata Univ.) |
| 副委員長氏名（和） | 田中 宏和(東京都市大学) / 吉田 久(近畿大) |
| 副委員長氏名（英） | Hirokazu Tanaka(Tokyo City Univ.) / Hisashi Yoshida(Kinki Univ.) |
| 幹事氏名（和） | 寺島 裕貴(NTT) / 西田 知史(NICT) / 奥野 竜平(摂南大) / 辛島 彰洋(東北工大) |
| 幹事氏名（英） | Hiroki Terashima(NTT) / Satoshi Nishida(NICT) / Ryuhei Okuno(Setsunan Univ) / Akihiro Karashima(Tohoku Inst. of Tech.) |
| 幹事補佐氏名（和） | 田和辻 可昌(早大) / 栗川 知己(関西医科大) / 湯田 恵美(東北大) / 金子 美樹(阪大) |
| 幹事補佐氏名（英） | Yoshimasa Tawatsuji(Waseda Univ.) / Tomoki Kurikawa(KMU) / Emi Yuda(Tohoku Univ) / Miki Kaneko(Osaka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Neurocomputing / Technical Committee on ME and Bio Cybernetics |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 条件付きVAEによる印象情報を反映した音色合成手法 |
| サブタイトル（和） | 印象による条件付けと音波形の生成 |
| タイトル（英） | A Method of Timbre Synthesis Reflecting Impression Using Conditional-VAE |
| サブタイトル（和） | Conditioning by Impression and Generating Sound Waveforms |
| キーワード(1)（和/英） | 音色合成 / Timbre synthesis |
| キーワード(2)（和/英） | 条件付き変分自己符号化器 / Conditional variational autoencoder |
| キーワード(3)（和/英） | 印象 / Impression |
| 第 1 著者 氏名（和/英） | 渡邉 健 / Takeru Watanabe |
| 第 1 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 第 2 著者 氏名（和/英） | 黒柳 奨 / Susumu Kuroyanagi |
| 第 2 著者 所属（和/英） | 名古屋工業大学(略称：名工大) Nagoya Institute of Technology(略称：NIT) |
| 発表年月日 | 2023-03-14 |
| 資料番号 | NC2022-106 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | NC-425 |
| ページ範囲 | pp.84-89(NC), |
| ページ数 | 6 |
| 発行日 | 2023-03-06 (NC) |