| 講演名 | 2024-02-23 連続手指画像の機械学習に基づく指の重なりに対応したピアノ運指認識手法 矢川 拓斗(中京大), 三好 遼(中京大), 秋月 秀一(中京大), 橋本 学(中京大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究は，ピアノ演奏の学習支援や熟練者解析のための，運指認識手法の提案を目的とする．運指認識において，指の重なりは，打鍵している指そのものが観測不可となることから問題視されている．しかし，人間の手の構造的に，打鍵の瞬間における手には，各指によって傾向が存在すると考えられる．そこで，各指による打鍵のようすを分析したところ，それらの傾向は，打鍵した鍵盤の周辺領域における，打鍵前後の動きとして確認された．本研究ではこれに着目し，鍵盤周辺における，打鍵前後の連続した画像を学習することによって，指の重なりに対応した運指認識手法を提案した．実演奏における実験では，25008回分の打鍵によるデータを学習し，重なりありの打鍵に対して90.2%の認識成功率を確認した． |
| 抄録(英) | The purpose of this study is to propose a piano-fingering recognition method for educating beginners and analyzing experts in piano player. In fingering recognition, overlapped fingers are considered a problem because the fingers are unobservable. However, the movement of hand have a tendency for each finger in keystroke due to the structure of the hand. We analyzed the appearance in keystroke for each finger and found that these tendencies were observed as before and after movements around the keyboard that was stroked. In this study, we proposed a fingering recognition method for overlapped fingers based on machine learning of sequential hand images around the keyboard that was stroked. In the experiment, after learning 25008 keystrokes, the proposed method achieves a recognition success rate of 90.2% for overlapped fingers. |
| キーワード(和) | ピアノ運指認識 / ヒューマンセンシング / オクルージョン / CNN / 音楽 |
| キーワード(英) | Piano-Fingering Recognition / Human-sensing / Overlapped / CNN / Music |
| 資料番号 | HIP2023-111 |
| 発行日 | 2024-02-15 (HIP) |
| 研究会情報 | |
| 研究会 | HIP / ITE-HI / VRPSY / ASJ-H |
|---|---|
| 開催期間 | 2024/2/22(から2日開催) |
| 開催地（和） | 那覇市ぶんかテンブス館 |
| 開催地（英） | |
| テーマ（和） | VR心理，ヒューマン情報処理，視覚，聴覚，マルチモーダル，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 和田 有史(立命館大) / 原澤 賢充(NHK) / 中村 信次(日本福祉大) / 入野 俊夫(和歌山大) |
| 委員長氏名（英） | 和田 有史(立命館大) / Masamitsu Harasawa(NHK) / 中村 信次(日本福祉大) / 入野 俊夫(和歌山大) |
| 副委員長氏名（和） | 梅村 浩之(産総研) / 清河 幸子(名大) / / / 牧 勝弘(愛知淑徳大) |
| 副委員長氏名（英） | 梅村 浩之(産総研) / 清河 幸子(名大) / / / 牧 勝弘(愛知淑徳大) |
| 幹事氏名（和） | 山田 祐樹(九大) / 和田 充史(NICT) / 森川 大輔(富山県立大) / 瀬谷 安弘(愛知淑徳大) / 寺本 渉(熊本大) / 森川 大輔(富山県立大) / 久保 理恵子(東京医科歯科大) / 山岸 慎平(NTT) / 橘 亮輔(産総研) |
| 幹事氏名（英） | 山田 祐樹(九大) / 和田 充史(NICT) / Daisuke Morikawa(Toyama Prefectural Univ.) / 瀬谷 安弘(愛知淑徳大) / 寺本 渉(熊本大) / 森川 大輔(富山県立大) / 久保 理恵子(東京医科歯科大) / 山岸 慎平(NTT) / 橘 亮輔(産総研) |
| 幹事補佐氏名（和） | 根岸 一平(金沢工大) / 田中 大介(鳥取大) |
| 幹事補佐氏名（英） | 根岸 一平(金沢工大) / 田中 大介(鳥取大) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Human Information Processing / Technical Group on Human Inormation / SIG-VRPSY / Auditory Research Meeting |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 連続手指画像の機械学習に基づく指の重なりに対応したピアノ運指認識手法 |
| サブタイトル（和） | |
| タイトル（英） | A Piano-Fingering Recognition Method for Overlapped Fingers based on Machine Learning of Sequential Hand Images |
| サブタイトル（和） | |
| キーワード(1)（和/英） | ピアノ運指認識 / Piano-Fingering Recognition |
| キーワード(2)（和/英） | ヒューマンセンシング / Human-sensing |
| キーワード(3)（和/英） | オクルージョン / Overlapped |
| キーワード(4)（和/英） | CNN / CNN |
| キーワード(5)（和/英） | 音楽 / Music |
| 第 1 著者 氏名（和/英） | 矢川 拓斗 / Takuto Yagawa |
| 第 1 著者 所属（和/英） | 中京大学(略称：中京大) Chukyo University(略称：Chukyo Univ.) |
| 第 2 著者 氏名（和/英） | 三好 遼 / Ryo Miyoshi |
| 第 2 著者 所属（和/英） | 中京大学(略称：中京大) Chukyo University(略称：Chukyo Univ.) |
| 第 3 著者 氏名（和/英） | 秋月 秀一 / Shuichi Akizuki |
| 第 3 著者 所属（和/英） | 中京大学(略称：中京大) Chukyo University(略称：Chukyo Univ.) |
| 第 4 著者 氏名（和/英） | 橋本 学 / Manabu Hashimoto |
| 第 4 著者 所属（和/英） | 中京大学(略称：中京大) Chukyo University(略称：Chukyo Univ.) |
| 発表年月日 | 2024-02-23 |
| 資料番号 | HIP2023-111 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | HIP-386 |
| ページ範囲 | pp.90-94(HIP), |
| ページ数 | 5 |
| 発行日 | 2024-02-15 (HIP) |