| 講演名 | 2022-01-21 深層学習を用いた脳内における視覚・意味情報の階層的処理の解明へ向けた取り組み 川﨑 春佳(お茶の水女子大), 西田 知史(NICT), 小林 一郎(お茶の水女子大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本研究では，脳内において視覚情報が意味情報へと変換される階層的処理の解明を目的に，視覚情報を扱う 畳み込みニューラルネットワーク(CNN)と言語情報を扱う言語 NN を用いて，NN の各中間層より抽出した映像の 特徴量から同映像に対する脳活動を予測する符号化モデリングを実施した.そして，符号化モデルによる予測を NN のモダリティと階層性から分析して，大脳皮質上の視覚・意味情報の局在と表現内容の階層的特性を調査した.その 結果，CNN でモデル化される脳内情報は，CNN が高層になるにつれ言語 NN でモデル化される脳内情報の局在に近 づく一方，それら脳内情報の表現内容はモダリティ間で大きく乖離した.したがって，視覚情報は複雑になるにつれ 意味情報と似た脳局在を示すが，情報表現内容には同一脳領域であっても大きな隔たりがあり，CNN と言語 NN によ るモデル化だけではその隔たりを十分に埋められないことが示唆された. |
| 抄録(英) | As an objective to explore the neural hierarchical processing underlying the transition from visual to semantic information, this study conducted encoding modeling using convolutional neural network (CNN) and language NN, which handle visual and verbal information, respectively. The encoding model predicted brain activity, evoked by movies, from the features of the movies extracted from each NN layer. By analyzing encoding models’ prediction in terms of the modality and hierarchy of the NNs, we investigated the cortical localization and representational content of visual and semantic neural information from the aspect of hierarchical processing. We found that the encoding models for the CNN higher layers and those for the language NN explained neural information in similar cortical regions but captured highly different representational content. Our finding suggests that although visual and semantic information shows more similar cortical localization as the visual information gets more complicated, the representational content of these information has a substantial gap, even in the same cortical region, which cannot be sufficiently bridged by the modeling with CNNs and language NNs alone. |
| キーワード(和) | 脳活動 / 階層的処理 / CNN / BERT / fMRI / Representational similarity analysis |
| キーワード(英) | Brain activity / Hierachial processing / CNN / BERT / fMRI / Representational similarity analysis |
| 資料番号 | NC2021-32 |
| 発行日 | 2022-01-14 (NC) |
| 研究会情報 | |
| 研究会 | NLP / MICT / MBE / NC |
|---|---|
| 開催期間 | 2022/1/21(から3日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | NC, ME，MICT，NLP, 一般 |
| テーマ（英） | |
| 委員長氏名（和） | 高坂 拓司(中京大) / 花田 英輔(佐賀大) / 奥野 竜平(摂南大) / 大須 理英子(早大) |
| 委員長氏名（英） | Takuji Kosaka(Chukyo Univ.) / Eisuke Hanada(Saga Univ.) / Ryuhei Okuno(Setsunan Univ.) / Rieko Osu(Waseda Univ.) |
| 副委員長氏名（和） | 常田 明夫(熊本大) / 田中 宏和(広島市大) / 安在 大祐(名工大) / 堀 潤一(新潟大) / 山川 宏(東大) |
| 副委員長氏名（英） | Akio Tsuneda(Kumamoto Univ.) / Hirokazu Tanaka(Hiroshima City Univ.) / Daisuke Anzai(Nagoya Inst. of Tech.) / Junichi Hori(Niigata Univ.) / Hiroshi Yamakawa(Univ of Tokyo) |
| 幹事氏名（和） | 松下 春奈(香川大) / 吉岡 大三郎(崇城大) / 小林 匠(横浜国大) / 石田 開(神奈川県立産業技術総研) / 中村 英夫(大阪電気通信大) / 内部 英治(ATR) / 西田 知史(NICT) |
| 幹事氏名（英） | Haruna Matsushita(Kagawa Univ.) / Daizaburo Yoshioka(Sojo Univ.) / Takumi Kobayashi(Yokohama National Univ.) / Kai Ishida(KISTEC) / Hideo Nakamura(Osaka Electro-Communication Univ) / Eiji Uchibe(ATR) / Satoshi Nishida(NICT) |
| 幹事補佐氏名（和） | 加藤 秀行(大分大) / 横井 裕一(長崎大) / 伊藤 孝弘(広島市立大) / 高林 健人(岡山県立大) / 西川 拓也(国立循環器病研究センター) / 赤澤 淳(明治国際医療大学) / 湯田 恵美(東北大) / 我妻 伸彦(東邦大) / 栗川 知己(関西医科大) |
| 幹事補佐氏名（英） | Hideyuki Kato(Oita Univ.) / Yuichi Yokoi(Nagasaki Univ.) / Takahiro Ito(Hiroshima City Univ) / Kento Takabayashi(Okayama Pref. Univ.) / Takuya Nishikawa(National Cerebral and Cardiovascular Center Hospital) / Jun Akazawa(Meiji Univ. of Integrative Medicine) / Emi Yuda(Tohoku Univ) / Nobuhiko Wagatsuma(Toho Univ.) / Tomoki Kurikawa(KMU) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Nonlinear Problems / Technical Committee on Healthcare and Medical Information Communication Technology / Technical Committee on ME and Bio Cybernetics / Technical Committee on Neurocomputing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層学習を用いた脳内における視覚・意味情報の階層的処理の解明へ向けた取り組み |
| サブタイトル（和） | |
| タイトル（英） | A Study on Elucidating Hierarchical Neural Processing of Visual and Semantic Information using Deep Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 脳活動 / Brain activity |
| キーワード(2)（和/英） | 階層的処理 / Hierachial processing |
| キーワード(3)（和/英） | CNN / CNN |
| キーワード(4)（和/英） | BERT / BERT |
| キーワード(5)（和/英） | fMRI / fMRI |
| キーワード(6)（和/英） | Representational similarity analysis / Representational similarity analysis |
| 第 1 著者 氏名（和/英） | 川﨑 春佳 / Haruka Kawasaki |
| 第 1 著者 所属（和/英） | お茶の水女子大学(略称：お茶の水女子大) Ochanomizu University(略称：Ochadai) |
| 第 2 著者 氏名（和/英） | 西田 知史 / Satoshi Nishida |
| 第 2 著者 所属（和/英） | 情報通信研究機構(略称：NICT) National Institute of Information and Communications Technology(略称：NICT) |
| 第 3 著者 氏名（和/英） | 小林 一郎 / Ichiro Kobayashi |
| 第 3 著者 所属（和/英） | お茶の水女子大学(略称：お茶の水女子大) Ochanomizu University(略称：Ochadai) |
| 発表年月日 | 2022-01-21 |
| 資料番号 | NC2021-32 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | NC-338 |
| ページ範囲 | pp.7-12(NC), |
| ページ数 | 6 |
| 発行日 | 2022-01-14 (NC) |