| 講演名 | 2023-09-30 Shared Neural Representations of Semantic Categories for Images and Words 中島 海(早大), 富永 慈音(早大), Dmitry Patashov(早大), 田中 慶太(東京電機大), 塚原 彰彦(東京電機大), 宮永 裕樹(住友重機械), 恒松 正二(住友重機械), 大須 理英子(早大), 酒井 弘(早大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | |
| 抄録(英) | Even when objects are presented as words or images, humans can identify their semantic categories. The extent to which these neural representations of semantic categories are modality-independent remains unclear and has not fully understood yet. Previous research using Magnetencephalography data and cross-decoding methods demonstrated that numerical concepts represented in symbolic formats, such as digits and dot patterns, share a common neural representation (Teichmann et al, 2018) and that there are shared representations of superordinate categories (e.g., “animal” for dogs and cats) between images and words (Dirani and Pylkkanen, 2023). The goal of this study is to examine further details of shared representations of eight distinct categories (animal, human, body part, vehicle, food, inanimate object, artificial place, and tool/artifact) by employing cross-decoding techniques on MEG signals. Participants performed two tasks while MEG data were recorded: orally naming images and rating word familiarity. We trained an SVM model based on image and word data, examining classification accuracy for categories, and computed the cross-decoding accuracy in scenarios where the model was trained on image data and tested on word data, and vice versa. Our results indicate that picture data yielded higher accuracy in early time windows than word data, and that cross-decoding accuracies peaked in early time windows for the image dataset trained on word data. The overall results suggest that there are early shared neural representations between the modalities. |
| キーワード(和) | |
| キーワード(英) | semantic categoryneural decodingmagnetencephalographymachine learning |
| 資料番号 | TL2023-16 |
| 発行日 | 2023-09-23 (TL) |
| 研究会情報 | |
| 研究会 | TL |
|---|---|
| 開催期間 | 2023/9/30(から2日開催) |
| 開催地（和） | 東京大学駒場キャンパス |
| 開催地（英） | University of Tokyo |
| テーマ（和） | 人間の言語処理と学習 |
| テーマ（英） | Language Processing and Language Learning |
| 委員長氏名（和） | 森下 美和(神戸学院大) |
| 委員長氏名（英） | Miwa Morishita(Kobe Gakuin Univ.) |
| 副委員長氏名（和） | 坪田 康(京都工繊大) / 高田 明典(フェリス女学院大) |
| 副委員長氏名（英） | Yasushi Tsubota(Kyoto Inst. of Tech.) / Akinori Takada(Ferris Univ.) |
| 幹事氏名（和） | 竹内 和広(阪電通大) / 神長 伸幸(ミイダス) |
| 幹事氏名（英） | Kazuhiro Takeuchi(Osaka Electro-Comm. Univ.) / Nobuyuki Jincho(Miidas) |
| 幹事補佐氏名（和） | 山田 寛章(東工大) / 下郡 啓夫(函館高専) |
| 幹事補佐氏名（英） | Hiroaki Yamada(Tokyo Inst. of Tech) / Akio Shimogori(Hakodate-ct) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Thought and Language |
|---|---|
| 本文の言語 | ENG |
| タイトル（和） | |
| サブタイトル（和） | |
| タイトル（英） | Shared Neural Representations of Semantic Categories for Images and Words |
| サブタイトル（和） | A Study Using Decoding Analysis of MEG Data |
| キーワード(1)（和/英） | / semantic categoryneural decodingmagnetencephalographymachine learning |
| 第 1 著者 氏名（和/英） | 中島 海 / Kai Nakajima |
| 第 1 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 2 著者 氏名（和/英） | 富永 慈音 / Jion Tominaga |
| 第 2 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 3 著者 氏名（和/英） | Dmitry Patashov / Dmitry Patashov |
| 第 3 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 4 著者 氏名（和/英） | 田中 慶太 / Keita Tanaka |
| 第 4 著者 所属（和/英） | 東京電機大学(略称：東京電機大) Tokyo Denki University(略称：TDU) |
| 第 5 著者 氏名（和/英） | 塚原 彰彦 / Akihiko Tsukahara |
| 第 5 著者 所属（和/英） | 東京電機大学(略称：東京電機大) Tokyo Denki University(略称：TDU) |
| 第 6 著者 氏名（和/英） | 宮永 裕樹 / Hiroki Miyanaga |
| 第 6 著者 所属（和/英） | 住友重機械工業(略称：住友重機械) Sumitomo Heavy Industries, Ltd.(略称：SHI) |
| 第 7 著者 氏名（和/英） | 恒松 正二 / Shoji Tsunematsu |
| 第 7 著者 所属（和/英） | 住友重機械工業(略称：住友重機械) Sumitomo Heavy Industries, Ltd.(略称：SHI) |
| 第 8 著者 氏名（和/英） | 大須 理英子 / Rieko Osu |
| 第 8 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 第 9 著者 氏名（和/英） | 酒井 弘 / Hiromu Sakai |
| 第 9 著者 所属（和/英） | 早稲田大学(略称：早大) Waseda University(略称：Waseda Univ.) |
| 発表年月日 | 2023-09-30 |
| 資料番号 | TL2023-16 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | TL-197 |
| ページ範囲 | pp.3-8(TL), |
| ページ数 | 6 |
| 発行日 | 2023-09-23 (TL) |