| 講演名 | 2024-03-13 MediaPipe Handsとゲートタイム情報を利用したピアノ演奏の運指認識に関する研究 倉地 明陽(神戸大), 黒木 修隆(神戸大), 沼 昌宏(神戸大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿ではピアノ演奏中の左右の手の交差に対して頑健な運指認識手法を提案する．従来手法では演奏中の手の上を他方の手が通過する場合，打鍵した指を見落とす可能性がある．そこで，提案手法では打鍵した瞬間の指を検出するのではなく，鍵盤が押されている間（ゲートタイム）にその上に存在する指の滞在時間を求めることにより運指を推定する．実験では左右の手の交差がある曲に対して本手法を適用したところ，検出率が5.4ポイント向上することを確認した． |
| 抄録(英) | This paper proposes a piano fingering recognition method that is robust against left-right hand crossing. Conventional methods may miss the fingers that are hidden under the other hand passing over. The proposed method does not detect the finger at the moment of key down, but estimates all fingers on the key during the gate time. In our experiment, the proposed method was applied to a piano play with left and right hand crossings, and improved the detection rate by 5.4 points. |
| キーワード(和) | ピアノ / 運指認識 / MIDI / ゲートタイム / MediaPipe Hands |
| キーワード(英) | Piano / Fingering recognition / MIDI / Gate time / MediaPipe Hands |
| 資料番号 | IMQ2023-17,IE2023-72,MVE2023-46 |
| 発行日 | 2024-03-06 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | IE / MVE / CQ / IMQ |
|---|---|
| 開催期間 | 2024/3/13(から3日開催) |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Sangyo Shien Center |
| テーマ（和） | 五感に訴えるオンラインメディアとその評価，および一般（魅力工学研究会協賛） |
| テーマ（英） | Media of five senses, Multimedia, Media experience, Picture codinge, Image media quality, Network,quality and reliability, etc（AC） |
| 委員長氏名（和） | 坂東 幸浩(NTT) / 清川 清(奈良先端大) / 平栗 健史(日本工大) / 工藤 博章(名大) |
| 委員長氏名（英） | Hiroyuki Bandoh(NTT) / Kiyoshi Kiyokawa(NAIST) / Takefumi Hiraguri(Nippon Inst. of Tech.) / Hiroaki Kudo(Nagoya Univ.) |
| 副委員長氏名（和） | 田中 雄一(阪大) / 山崎 俊彦(東大) / 新井田 統(KDDI総合研究所) / 松田 崇弘(都立大) / 長谷川 剛(東北大) / 新井田 統(KDDI総合研究所) / 大橋 剛介(静岡大) |
| 副委員長氏名（英） | Yuichi Tanaka(Osaka Univ.) / Toshihiko Yamazaki(Univ. of Tokyo) / Sumaru Niida(KDDI Research) / Takahiro Matsuda(Tokyo Metropolitan Univ.) / Gou Hasegawa(Tohoku Univ.) / Sumaru Niida(KDDI Research) / Gosuke Ohashi(Shizuka Univ.) |
| 幹事氏名（和） | 岩村 俊輔(NHK) / 三柴 数(鳥取大) / 磯山 直也(大妻女子大) / 原 豪紀(大日本印刷) / 後藤 充裕(NTT) / 恵木 則次(NTT) / 菅沼 睦(多摩大) / 津川 翔(筑波大) / 塚田 正人(筑波大) / 土田 勝(NTT) |
| 幹事氏名（英） | Shunsuke Iwamura(NHK) / Kazu Mishiba(Tottori Univ.) / Naoya Isoyama(Otsuma Women's Univ.) / Takenori Hara(DNP) / Mitsuhiro Goto(NTT) / Noritsugu Egi(NTT) / Mutsumi Suganuma(Tama Univ.) / Shou Tsugawa(Tsukuba Univ.) / Masato Tsukada(Univ. of Tsukuba) / Masaru Tsuchida(NTT) |
| 幹事補佐氏名（和） | 雨車 和憲(工学院大) / 木谷 佳隆(KDDI総合研究所) / 宍戸 英彦(筑波大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) / 畑田 裕二(東大) / 中村 遼(福岡大) / 中平 俊朗(NTT) / 塚常 健太(岡山理科大) / 今井 國治(名大) / 山添 崇(成蹊大) |
| 幹事補佐氏名（英） | Kazunori Uruma(Kogakuin Univ.) / Shinobu Kudo(KDDI Research) / Hidehiko Shishido(Univ. of Tsukuba) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) / Yuji Tatada(Univ. of Tokyo) / Ryo Nakamura(Fukuoka Univ.) / Toshiro Nakahira(NTT) / Kenta Tsukatsune(Okayama Univ. of Science) / Kuniharu Imai(Nagoya Univ.) / Takashi Yamazoe(Seikei Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Image Engineering / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Communication Quality / Technical Committee on Image Media Quality |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | MediaPipe Handsとゲートタイム情報を利用したピアノ演奏の運指認識に関する研究 |
| サブタイトル（和） | |
| タイトル（英） | A study on piano fingering recognition using MediaPipe Hands and gate time information |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ピアノ / Piano |
| キーワード(2)（和/英） | 運指認識 / Fingering recognition |
| キーワード(3)（和/英） | MIDI / MIDI |
| キーワード(4)（和/英） | ゲートタイム / Gate time |
| キーワード(5)（和/英） | MediaPipe Hands / MediaPipe Hands |
| 第 1 著者 氏名（和/英） | 倉地 明陽 / Haruhi Kurachi |
| 第 1 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 第 2 著者 氏名（和/英） | 黒木 修隆 / Nobutaka Kuroki |
| 第 2 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 第 3 著者 氏名（和/英） | 沼 昌宏 / Masahiro Numa |
| 第 3 著者 所属（和/英） | 神戸大学(略称：神戸大) Kobe University(略称：Kobe Univ.) |
| 発表年月日 | 2024-03-13 |
| 資料番号 | IMQ2023-17,IE2023-72,MVE2023-46 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | IMQ-430,IE-432,MVE-433 |
| ページ範囲 | pp.25-28(IMQ), pp.25-28(IE), pp.25-28(MVE), |
| ページ数 | 4 |
| 発行日 | 2024-03-06 (IMQ, IE, MVE) |