頭蓋内脳波からのTransformer モデルによるテキストデコーディング

• Item type: SIG Technical Reports(1)
• 公開日: 2022-02-22
• タイトル: 頭蓋内脳波からのTransformer モデルによるテキストデコーディング
• タイトル / 言語: en
• タイトル: Transformer-Based Text Decoding Using Electrocorticography
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京農工大学大学院工学府電子情報工学専攻
• 著者所属: 東京農工大学大学院工学府電子情報工学専攻
• 著者所属: 順天堂大学脳神経外科
• 著者所属: 順天堂大学脳神経外科
• 著者所属: 順天堂大学脳神経外科
• 著者所属: 順天堂大学脳神経外科
• 著者所属: 東京工業大学情報理工学院情報工学系
• 著者所属: 東京農工大学大学院工学府電子情報工学専攻
• 著者所属(英): en
• 著者所属(英): Department of Electronic and Information Engineering, Tokyo University of Agriculture and Technology
• 著者所属(英): en
• 著者所属(英): Department of Electronic and Information Engineering, Tokyo University of Agriculture and Technology
• 著者所属(英): en
• 著者所属(英): Department of Neurosurgery, Juntendo University
• 著者所属(英): en
• 著者所属(英): Department of Neurosurgery, Juntendo University
• 著者所属(英): en
• 著者所属(英): Department of Neurosurgery, Juntendo University
• 著者所属(英): en
• 著者所属(英): Department of Neurosurgery, Juntendo University
• 著者所属(英): en
• 著者所属(英): Department of Computer Science, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Department of Electronic and Information Engineering, Tokyo University of Agriculture and Technology
• 著者名: 古明地, 秀治; 重見, 開; 三橋, 匠; 飯村, 康司; 鈴木, 皓晴; 菅野, 秀宣; 篠田, 浩一; 田中, 聡久
• 著者名(英): Shuji, Komeiji; Kai, Shigemi; Takumi, Mitsuhashi; Yasushi, Iimura; Hiroharu, Suzuki; Hidenori, Sugano; Koichi, Shinoda; Toshihisa, Tanaka
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 侵襲的 brain–machine interface（BMI）は，人間の脳から直接脳波を取得することで，音声コミュニケーションを実現する技術として期待されている．本稿では，Transformer エンコーダを取り入れた sequence-to-sequence （Seq2seq）モデル（Transformer Seq2seq）により，文発声時の頭蓋内脳波からテキストをデコードする．Transformer は，自然言語処理や音声認識の分野で実績のあるニューラルネットモデルであり，入出力系列間の長期的な依存関係を学習する．てんかん治療のため頭蓋内に電極を留置した 7 名による文発声時における頭蓋内脳波を計測し，Transformer Seq2seq モデルにより発声テキストのデコーディングを試みた． その結果，実験参加者の中で最も高い文節誤り率は 16.4% を達成した．また，このモデルによると全参加者の文節誤り率 の中央値（± 標準偏差）は 31.3（± 10.0%）であった．このことは，頭蓋内脳波からのテキストデコーディングに，Transformer が有効であることを示している．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Invasive brain–machine interfaces (BMIs) are a promising neurotechnology for achieving direct speech communication from a human brain but face many challenges. This paper measured the invasive electrocorticogram (ECoG) signals from seven participating epilepsy patients as they spoke a sentence consisting of multiple phrases. A Transformer encoder was incorporated into a “sequence-to-sequence” model (Transformer Seq2seq) to decode spoken sentences from the ECoG. A Transformer is a successful neural network model for natural language processing and automatic speech recognition. The decoding test revealed that the use of the Transformer model achieved a minimum phrase error rate of 16.4% for one best participant; moreover, the median (± standard deviation) of PER for the Transformer Seq2seq across seven participants was 31.3% (±10.0%). This result showed that the Transformer Seq2seq effectively decoded from ECoG.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2022-SLP-140, 号 28, p. 1-6, 発行日 2022-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会