| 講演名 | 2022-03-02 ［ポスター講演］頭蓋内脳波からのTransformerモデルによるテキストデコーディング 古明地 秀治(東京農工大), 重見 開(東京農工大), 三橋 匠(順天堂大), 飯村 康司(順天堂大), 鈴木 皓晴(順天堂大), 菅野 秀宣(順天堂大), 篠田 浩一(東工大), 田中 聡久(東京農工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 侵襲的brain?machine interface （BMI） は，人間の脳から直接脳波を取得することで，音声コミュニケーションを実現する技術として期待されている．本稿では，Transformerエンコーダを取り入れたsequence-to-sequence（Seq2seq）モデル（Transformer Seq2seq）により，文発声時の頭蓋内脳波からテキストをデコードする．Transformerは，自然言語処理や音声認識の分野で実績のあるニューラルネットモデルであり，入出力系列間の長期的な依存関係を学習する．てんかん治療のため頭蓋内に電極を留置した7名による文発声時における頭蓋内脳波を計測し，TransformerSeq2seqモデルにより発声テキストのデコーディングを試みた．その結果，実験参加者の中で最も高い文節誤り率は16.4%を達成した．また，このモデルによると全参加者の文節誤り率の中央値（±標準偏差）は31.3（±10.0%）であった．このことは，頭蓋内脳波からのテキストデコーディングに，Transformerが有効であることを示している． |
| 抄録(英) | Invasive brain-machine interfaces (BMIs) are a promising neurotechnology for achieving direct speech communication from a human brain but face many challenges. This paper measured the invasive electrocorticogram (ECoG) signals from seven participating epilepsy patients as they spoke a sentence consisting of multiple phrases. A Transformer encoder was incorporated into a “sequence-to-sequence” model (Transformer Seq2seq) to decode spoken sentences from the ECoG. A Transformer is a successful neural network model for natural language processing and automatic speech recognition. The decoding test revealed that the use of the Transformer model achieved a minimum phrase error rate of 16.4% for one best participant; moreover, the median (±standard deviation) of PER for the Transformer Seq2seq across seven participants was31.3% (±10.0%). This result showed that the Transformer Seq2seq effectively decoded from ECoG. |
| キーワード(和) | 頭蓋内脳波 / Brain--machine interface / Transformer エンコーダ / sequence to sequence |
| キーワード(英) | Electrocorticography / Brain--machine interface / Transformer encoder / Sequence to sequence |
| 資料番号 | EA2021-87,SIP2021-114,SP2021-72 |
| 発行日 | 2022-02-22 (EA, SIP, SP) |
| 研究会情報 | |
| 研究会 | EA / SIP / SP / IPSJ-SLP |
|---|---|
| 開催期間 | 2022/3/1(から2日開催) |
| 開催地（和） | 沖縄県立博物館・美術館 |
| 開催地（英） | |
| テーマ（和） | 応用／電気音響, 信号処理，音声，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 梶川 嘉延(関西大) / 坂東 幸浩(NTT) / 北岡 教英(豊橋技科大) / 北岡 教英(豊橋技科大) |
| 委員長氏名（英） | Yoshinobu Kajikawa(Kansai Univ.) / Yukihiro Bandou(NTT) / Norihide Kitaoka(Toyohashi Univ. of Tec) / 北岡 教英(豊橋技科大) |
| 副委員長氏名（和） | 古家 賢一(大分大) / 小山 翔一(東大) / 田中 聡久(東京農工大) / 仲地 孝之(琉球大学) |
| 副委員長氏名（英） | Kenichi Furuya(Oita Univ.) / Shoichi Koyama(Univ. of Tokyo) / Toshihisa Tanaka(Tokyo Univ. Agri.&Tech.) / Takayuki Nakachi(Ryukyu Univ.) |
| 幹事氏名（和） | 加古 達也(NTT) / 西浦 敬信(立命館大) / 杉本 憲治郎(Xiaomi) / 渡辺 修(拓殖大) / 田中 雄一(東京農工大) / 高道 慎之介(東大) / 高島 遼一(神戸大) / 高道 慎之介(東大) / 高島 遼一(神戸大) / 中鹿 亘(電通大) / 増村 亮(NTT) |
| 幹事氏名（英） | Tatsuya Kako(NTT) / Takanobu Nishiura(RitsumeikanUniv.) / Kenjiro Sugimoto(Xiaomi) / Osamu Watanabe(Takushoku Univ.) / Yuichi Tanaka(Tokyo Univ. Agri.&Tech.) / Shinnosuke Takamichi(Univ. of Tokyo) / Ryouichi Takashima(Kobe Univ.) / 高道 慎之介(東大) / 高島 遼一(神戸大) / 中鹿 亘(電通大) / 増村 亮(NTT) |
| 幹事補佐氏名（和） | 若林 佑幸(都立大) / 小松 達也(LINE) / 吉田 太一(電通大) / 京地 清介(北九州市立大) / 中鹿 亘(電通大) / 増村 亮(NTT) |
| 幹事補佐氏名（英） | Yukou Wakabayashi(Tokyo Metropolitan Univ.) / Tatsuya Komatsu(LINE) / Taichi Yoshida(UEC) / Seisuke Kyochi(Univ. of Kitakyushu) / Toru Nakashika(Univ. of Electro-Comm.) / Ryo Masumura(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Engineering Acoustics / Technical Committee on Signal Processing / Technical Committee on Speech / Special Interest Group on Spoken Language Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | ［ポスター講演］頭蓋内脳波からのTransformerモデルによるテキストデコーディング |
| サブタイトル（和） | |
| タイトル（英） | [Poster Presentation] Transformer-based Text Decoding using Electrocorticography |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 頭蓋内脳波 / Electrocorticography |
| キーワード(2)（和/英） | Brain--machine interface / Brain--machine interface |
| キーワード(3)（和/英） | Transformer エンコーダ / Transformer encoder |
| キーワード(4)（和/英） | sequence to sequence / Sequence to sequence |
| 第 1 著者 氏名（和/英） | 古明地 秀治 / Shuji Komeiji |
| 第 1 著者 所属（和/英） | 東京農工大学(略称：東京農工大) Tokyo University of Agriculture and Technology(略称：TUAT) |
| 第 2 著者 氏名（和/英） | 重見 開 / Kai Shigemi |
| 第 2 著者 所属（和/英） | 東京農工大学(略称：東京農工大) Tokyo University of Agriculture and Technology(略称：TUAT) |
| 第 3 著者 氏名（和/英） | 三橋 匠 / Takumi Mitsuhashi |
| 第 3 著者 所属（和/英） | 順天堂大学(略称：順天堂大) Juntendo University(略称：Juntendo Univ.) |
| 第 4 著者 氏名（和/英） | 飯村 康司 / Yasushi Iimura |
| 第 4 著者 所属（和/英） | 順天堂大学(略称：順天堂大) Juntendo University(略称：Juntendo Univ.) |
| 第 5 著者 氏名（和/英） | 鈴木 皓晴 / Hiroharu Suzuki |
| 第 5 著者 所属（和/英） | 順天堂大学(略称：順天堂大) Juntendo University(略称：Juntendo Univ.) |
| 第 6 著者 氏名（和/英） | 菅野 秀宣 / Hidenori Sugano |
| 第 6 著者 所属（和/英） | 順天堂大学(略称：順天堂大) Juntendo University(略称：Juntendo Univ.) |
| 第 7 著者 氏名（和/英） | 篠田 浩一 / Koichi Shinoda |
| 第 7 著者 所属（和/英） | 東京工業大学(略称：東工大) Tokyo Institute of Technology(略称：Tokyo Tech) |
| 第 8 著者 氏名（和/英） | 田中 聡久 / Toshihisa Tanaka |
| 第 8 著者 所属（和/英） | 東京農工大学(略称：東京農工大) Tokyo University of Agriculture and Technology(略称：TUAT) |
| 発表年月日 | 2022-03-02 |
| 資料番号 | EA2021-87,SIP2021-114,SP2021-72 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | EA-383,SIP-384,SP-385 |
| ページ範囲 | pp.146-151(EA), pp.146-151(SIP), pp.146-151(SP), |
| ページ数 | 6 |
| 発行日 | 2022-02-22 (EA, SIP, SP) |