| 講演名 | 2023-01-26 歌唱音楽の心象風景の視覚化によるユーザ音楽体験への影響 西野 歩真(関西大), 石田 真子(関西大), 米澤 朋子(関西大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，歌唱音楽に同期した心象風景視覚化映像が音楽体験をより豊かにする効果を明らかにすることを目的とし，音量と音高の2つの音楽的特徴と対応づけて抽象的に心象風景を映像再現するシステムと，歌詞の意味と対応づけて写実的に心象風景を映像再現するシステムの2つを提案する．本システムを用いて作成した抽象的，写実的の2種類の視覚化映像を伴う聴取と，音楽のみでの聴取の3種類の音楽体験を比較する形で，視覚化映像の有無と抽象度がユーザの音楽体験に与える影響について実験1を行い，さらにその抽象的映像の同期性と動的度合いが音楽体験に与える影響について実験2を行った．検証の結果，音楽に視覚化映像を伴わせることが音楽体験をより豊かにすること，また，音楽に伴わせる視覚化映像が抽象的であると楽曲の音の流れへの集中度が高まり，写実的であると歌詞の文脈への集中度が高まることが示唆された．さらに，抽象的視覚化映像を音楽に伴わせる際，その映像に音楽との同期性を持たせることが音楽体験をより豊かにすることが示唆された． |
| 抄録(英) | The purpose of this study is to clarify the effect of visualization of mental images synchronized with sung music to enrich the musical experience. The other is a system that realistically reproduces images of mental landscapes by mapping them to the meaning of lyrics.We conducted Experiment 1 on the effects of the presence or absence of visual images and the level of abstraction on the user's musical experience, and Experiment 2 on the effects of the synchronization and degree of dynamism of the abstract images on the musical experience, by comparing three types of musical experiences: listening with two types of visual images (abstract and realistic) created using this system, and listening with music alone.The results suggest that accompanying music with visual images enriches the musical experience, and that abstract visual images accompanying music increase the concentration on the sound flow of the music, while realistic visual images increase the concentration on the context of the lyrics.Furthermore, when accompanying abstract visualization images with music, it was suggested that synchronizing the images with the music would enhance the musical experience. |
| キーワード(和) | 歌唱音楽視覚化 / 音楽と映像の相互作用 / 音楽的文脈 / 歌詞文脈感情 / 心象風景 / 映像の抽象度 / 音楽同期性 |
| キーワード(英) | Visualization of Sung Music / Interaction between Images and Music / Musical Context / Lyrics Context Emotion / Imaginary Scenery / Visual Abstraction / Music Synchronization |
| 資料番号 | MVE2022-36 |
| 発行日 | 2023-01-19 (MVE) |
| 研究会情報 | |
| 研究会 | MVE / IPSJ-CVIM / VRSJ-SIG-MR |
|---|---|
| 開催期間 | 2023/1/26(から2日開催) |
| 開催地（和） | 奈良先端科学技術大学院大学 |
| 開催地（英） | Nara Institute of Science and Technology |
| テーマ（和） | ヒトの生体情報・生理信号・心理状態の推定および提示技術 |
| テーマ（英） | |
| 委員長氏名（和） | 清川 清(奈良先端大) |
| 委員長氏名（英） | Kiyoshi Kiyokawa(NAIST) |
| 副委員長氏名（和） | 新井田 統(KDDI総合研究所) |
| 副委員長氏名（英） | Sumaru Niida(KDDI Research) |
| 幹事氏名（和） | 磯山 直也(奈良先端大) / 原 豪紀(大日本印刷) / 福嶋 政期(東大) / 後藤 充裕(NTT) |
| 幹事氏名（英） | Naoya Isoyama(NAIST) / Takenori Hara(DNP) / Shogo Fukushima(Univ. of ToKyo) / Mitsuhiro Goto(NTT) |
| 幹事補佐氏名（和） | 宍戸 英彦(筑波大) / 中澤 篤志(京大) / 東條 直也(KDDI総合研究所) / 萩山 直紀(NTT) |
| 幹事補佐氏名（英） | Hidehiko Shishido(Univ. of Tsukuba) / Atsushi Nakazawa(Kyoto Univ.) / Naoya Tojo(KDDI Research) / Naoki Hagiyama(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Media Experience and Virtual Environment / Special Interest Group on Computer Vision and Image Media / SIG-MR |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 歌唱音楽の心象風景の視覚化によるユーザ音楽体験への影響 |
| サブタイトル（和） | |
| タイトル（英） | Music Experience by Visualizing Imaginary Scenery Based on Song Lyrics |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 歌唱音楽視覚化 / Visualization of Sung Music |
| キーワード(2)（和/英） | 音楽と映像の相互作用 / Interaction between Images and Music |
| キーワード(3)（和/英） | 音楽的文脈 / Musical Context |
| キーワード(4)（和/英） | 歌詞文脈感情 / Lyrics Context Emotion |
| キーワード(5)（和/英） | 心象風景 / Imaginary Scenery |
| キーワード(6)（和/英） | 映像の抽象度 / Visual Abstraction |
| キーワード(7)（和/英） | 音楽同期性 / Music Synchronization |
| 第 1 著者 氏名（和/英） | 西野 歩真 / Ayuma Nishino |
| 第 1 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ) |
| 第 2 著者 氏名（和/英） | 石田 真子 / Mako Ishida |
| 第 2 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ) |
| 第 3 著者 氏名（和/英） | 米澤 朋子 / Tomoko Yonezawa |
| 第 3 著者 所属（和/英） | 関西大学(略称：関西大) Kansai University(略称：Kansai Univ) |
| 発表年月日 | 2023-01-26 |
| 資料番号 | MVE2022-36 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | MVE-367 |
| ページ範囲 | pp.9-14(MVE), |
| ページ数 | 6 |
| 発行日 | 2023-01-19 (MVE) |