| 講演抄録／キーワード |
| 講演名 |
2006-01-23 11:00
自己組織化マップにおけるMcGurk効果
○小俣 圭（東工大）・茂木健一郎（ソニー） |
| 抄録 |
（和） |
認知科学における視聴覚統合の現象としてMcGurk効果がある. この効果は顔の映像刺激によって音声認識が変化するというものである. 本研究では,この現象をニューラルネットワーク (Self organizing maps) にて再現し分析することを目的とした. 脳において音声知覚は大脳新皮質上にて側頭葉周辺部において処理されていると考えられている. また視聴覚刺激によって上側頭溝後方が賦活されることが知られている. そこで視聴覚両方からの刺激を受け取る脳部位を想定し,視聴覚情報による音素認識システムを構築した. 音声・映像から特徴量を抽出し,SOMに適用して学習・組織化を行った.その結果,McGurk効果と同様の現象が引き起こされることが確かめられた. そして各音素の定量的な類似性から, 音素の類似性におけるモダリティ間での非対称性が2つのタイプ(fused, combination) のMcGurk効果を引き起こしている要因であることが示唆された. |
| （英） |
Visual articulations interfere with auditory perception, as is manifest in the McGurk effect. In order to investigate the audio-visual integration processing involved, we constructed a neural network to reproduce some generic properties of the McGurk effect. The model consisted of simplified representations of cortical regions responsible for audio-visual integration. Audio-visual phoneme stimuli extracted from the video were applied to self organizing maps (SOM). The resulting SOMs exhibited some basic properties of the McGurk effect (e.g., differential emergence of fusion and combination pairs depending on the phonemes). These results suggest that the asymmetry in the audio and visual representation of phonemes affects the occurrence of McGurk effect. |
| キーワード |
（和） |
McGurk効果 / 自己組織化マップ / 視聴覚統合 / 音素認識 / / / / |
| （英） |
McGurk effect / Self organizing maps / Audio-visual integration / phoneme perception / / / / |
| 文献情報 |
信学技報, vol. 105, no. 543, NC2005-92, pp. 13-18, 2006年1月. |
| 資料番号 |
NC2005-92 |
| 発行日 |
2006-01-16 (NC) |
| ISSN |
Print edition: ISSN 0913-5685 |
| PDFダウンロード |
|
| 研究会情報 |
| 研究会 |
NC |
| 開催期間 |
2006-01-23 - 2006-01-24 |
| 開催地（和） |
北海道大学 |
| 開催地（英） |
Hokkaido Univ. |
| テーマ（和） |
進化・発達の現象とモデル，一般 |
| テーマ（英） |
Phenomena and Models of Evolution and Development, etc. |
| 講演論文情報の詳細 |
| 申込み研究会 |
NC |
| 会議コード |
2006-01-NC |
| 本文の言語 |
日本語 |
| タイトル（和） |
自己組織化マップにおけるMcGurk効果 |
| サブタイトル（和） |
|
| タイトル（英） |
the McGurk effect on the self organizing maps |
| サブタイトル（英） |
|
| キーワード(1)（和/英） |
McGurk効果 / McGurk effect |
| キーワード(2)（和/英） |
自己組織化マップ / Self organizing maps |
| キーワード(3)（和/英） |
視聴覚統合 / Audio-visual integration |
| キーワード(4)（和/英） |
音素認識 / phoneme perception |
| キーワード(5)（和/英） |
/ |
| キーワード(6)（和/英） |
/ |
| キーワード(7)（和/英） |
/ |
| キーワード(8)（和/英） |
/ |
| 第1著者 氏名（和/英/ヨミ） |
小俣 圭 / Kei Omata / オマタ ケイ |
| 第1著者 所属（和/英） |
東京工業大学 (略称： 東工大)
Tokyo Institute of Technology (略称： Titech) |
| 第2著者 氏名（和/英/ヨミ） |
茂木 健一郎 / Ken Mogi / |
| 第2著者 所属（和/英） |
ソニーコンピュータサイエンス研究所 (略称： ソニー)
Sony Computer laboratories, Inc. (略称： Sony CSL) |
| 第3著者 氏名（和/英/ヨミ） |
/ / |
| 第3著者 所属（和/英） |
(略称： )
(略称： ) |
| 第4著者 氏名（和/英/ヨミ） |
/ / |
| 第4著者 所属（和/英） |
(略称： )
(略称： ) |
| 第5著者 氏名（和/英/ヨミ） |
/ / |
| 第5著者 所属（和/英） |
(略称： )
(略称： ) |
| 第6著者 氏名（和/英/ヨミ） |
/ / |
| 第6著者 所属（和/英） |
(略称： )
(略称： ) |
| 第7著者 氏名（和/英/ヨミ） |
/ / |
| 第7著者 所属（和/英） |
(略称： )
(略称： ) |
| 第8著者 氏名（和/英/ヨミ） |
/ / |
| 第8著者 所属（和/英） |
(略称： )
(略称： ) |
| 第9著者 氏名（和/英/ヨミ） |
/ / |
| 第9著者 所属（和/英） |
(略称： )
(略称： ) |
| 第10著者 氏名（和/英/ヨミ） |
/ / |
| 第10著者 所属（和/英） |
(略称： )
(略称： ) |
| 第11著者 氏名（和/英/ヨミ） |
/ / |
| 第11著者 所属（和/英） |
(略称： )
(略称： ) |
| 第12著者 氏名（和/英/ヨミ） |
/ / |
| 第12著者 所属（和/英） |
(略称： )
(略称： ) |
| 第13著者 氏名（和/英/ヨミ） |
/ / |
| 第13著者 所属（和/英） |
(略称： )
(略称： ) |
| 第14著者 氏名（和/英/ヨミ） |
/ / |
| 第14著者 所属（和/英） |
(略称： )
(略称： ) |
| 第15著者 氏名（和/英/ヨミ） |
/ / |
| 第15著者 所属（和/英） |
(略称： )
(略称： ) |
| 第16著者 氏名（和/英/ヨミ） |
/ / |
| 第16著者 所属（和/英） |
(略称： )
(略称： ) |
| 第17著者 氏名（和/英/ヨミ） |
/ / |
| 第17著者 所属（和/英） |
(略称： )
(略称： ) |
| 第18著者 氏名（和/英/ヨミ） |
/ / |
| 第18著者 所属（和/英） |
(略称： )
(略称： ) |
| 第19著者 氏名（和/英/ヨミ） |
/ / |
| 第19著者 所属（和/英） |
(略称： )
(略称： ) |
| 第20著者 氏名（和/英/ヨミ） |
/ / |
| 第20著者 所属（和/英） |
(略称： )
(略称： ) |
| 講演者 |
第1著者 |
| 発表日時 |
2006-01-23 11:00:00 |
| 発表時間 |
30分 |
| 申込先研究会 |
NC |
| 資料番号 |
NC2005-92 |
| 巻番号（vol） |
vol.105 |
| 号番号（no） |
no.543 |
| ページ範囲 |
pp.13-18 |
| ページ数 |
6 |
| 発行日 |
2006-01-16 (NC) |
|