| 講演名 | 2022-03-07 ［ポスター講演］矩形の列での単旋律の画像表現と画像補完に基づいた旋律生成手法 小野 雄大(京大), 日置 尋久(京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，既存の楽曲の旋律に類似した旋律を生成する手法を提案する．提案手法は，単旋律の楽曲を対象として，まず旋律データを画像に変換する．画像では音符を矩形で表すことにして，音高と音符の長さを矩形の高さと幅，音名を矩形の色に対応させた．次に画像において，左から順に，1 小節分の領域で矩形を欠落させ，予め学習しておいた pix2pix ネットワークでその領域を補完して，矩形の列として解釈し直した画像を生成することを繰り返し，最終的に生成された画像から旋律を得る．本研究では，民族音楽のデータセットを用いて7名の被験者による主観評価を行い，データセットのものと類似性が高いと評価される旋律を生成することができた． |
| 抄録(英) | We propose a method for generating monophonic melodies that are similar to those in a music dataset. Our method takes a monophonic melody and converts it to an image where each note is represented by a rectangle whose height and width encode the pitch and length, and color encodes the pitch name. By dropping rectangles, performing inpainting via pix2pix network and making adjustments for each bar region in the image one by one, we generate an image representing a new melody. For evaluating our method, we employed a dataset of fork music and performed experiments for seven subjects. As a result, several melodies were evaluated to be similar to those in the dataset. |
| キーワード(和) | 旋律生成 / 画像補完 / GAN / pix2pix |
| キーワード(英) | Melody Generation / Image Inpainting / GAN / pix2pix |
| 資料番号 | EMM2021-98 |
| 発行日 | 2022-02-28 (EMM) |
| 研究会情報 | |
| 研究会 | EMM |
|---|---|
| 開催期間 | 2022/3/7(から2日開催) |
| 開催地（和） | 長崎大学 文教スカイホール |
| 開催地（英） | (Primary: Online, Secondary: On-site) |
| テーマ（和） | 画質・音質評価，知覚・認知メトリクス，人間視聴覚システム，一般 |
| テーマ（英） | Image and Sound Quality, Metrics for Perception and Recognition, Human Auditory and Visual System, etc. |
| 委員長氏名（和） | 西村 竜一(NICT) |
| 委員長氏名（英） | Ryoichi Nishimura(NICT) |
| 副委員長氏名（和） | 藤吉 正明(都立大) / 市野 将嗣(電通大) |
| 副委員長氏名（英） | Masaaki Fujiyoshi(Tokyo Metropolitan Univ.) / Masatsugu Ichino(Univ. of Electro-Comm.) |
| 幹事氏名（和） | 長谷川 まどか(宇都宮大) / 吉田 真紀(NICT) |
| 幹事氏名（英） | Madoka Hasegawa(Utsunomiya Univ.) / Maki Yoshida(NICT) |
| 幹事補佐氏名（和） | 今泉 祥子(千葉大) / 高嶋 洋一(開志専門職大) |
| 幹事補佐氏名（英） | Shoko Imaizumi(Chiba Univ.) / Youichi Takashima(Kaishi Professional Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Enriched MultiMedia |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［ポスター講演］矩形の列での単旋律の画像表現と画像補完に基づいた旋律生成手法 |
| サブタイトル（和） | |
| タイトル（英） | [Poster Presentation] A Melody Generation Method based on An Image Representation of Monophonic Melodies as Rectangle Sequences and Image Inpainting. |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 旋律生成 / Melody Generation |
| キーワード(2)（和/英） | 画像補完 / Image Inpainting |
| キーワード(3)（和/英） | GAN / GAN |
| キーワード(4)（和/英） | pix2pix / pix2pix |
| 第 1 著者 氏名（和/英） | 小野 雄大 / Yudai Ono |
| 第 1 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 第 2 著者 氏名（和/英） | 日置 尋久 / Hirohisa Hioki |
| 第 2 著者 所属（和/英） | 京都大学(略称：京大) Kyoto University(略称：Kyoto Univ.) |
| 発表年月日 | 2022-03-07 |
| 資料番号 | EMM2021-98 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | EMM-417 |
| ページ範囲 | pp.34-39(EMM), |
| ページ数 | 6 |
| 発行日 | 2022-02-28 (EMM) |