@techreport{oai:ipsj.ixsq.nii.ac.jp:00216629, author = {古明地, 秀治 and 重見, 開 and 三橋, 匠 and 飯村, 康司 and 鈴木, 皓晴 and 菅野, 秀宣 and 篠田, 浩一 and 田中, 聡久 and Shuji, Komeiji and Kai, Shigemi and Takumi, Mitsuhashi and Yasushi, Iimura and Hiroharu, Suzuki and Hidenori, Sugano and Koichi, Shinoda and Toshihisa, Tanaka}, issue = {28}, month = {Feb}, note = {侵襲的 brain–machine interface(BMI)は,人間の脳から直接脳波を取得することで,音声コミュニケーションを実現する技術として期待されている.本稿では,Transformer エンコーダを取り入れた sequence-to-sequence (Seq2seq)モデル(Transformer Seq2seq)により,文発声時の頭蓋内脳波からテキストをデコードする.Transformer は,自然言語処理や音声認識の分野で実績のあるニューラルネットモデルであり,入出力系列間の長期的な依存関係を学習する.てんかん治療のため頭蓋内に電極を留置した 7 名による文発声時における頭蓋内脳波を計測し,Transformer Seq2seq モデルにより発声テキストのデコーディングを試みた. その結果,実験参加者の中で最も高い文節誤り率は 16.4% を達成した.また,このモデルによると全参加者の文節誤り率 の中央値(± 標準偏差)は 31.3(± 10.0%)であった.このことは,頭蓋内脳波からのテキストデコーディングに,Transformer が有効であることを示している., Invasive brain–machine interfaces (BMIs) are a promising neurotechnology for achieving direct speech communication from a human brain but face many challenges. This paper measured the invasive electrocorticogram (ECoG) signals from seven participating epilepsy patients as they spoke a sentence consisting of multiple phrases. A Transformer encoder was incorporated into a “sequence-to-sequence” model (Transformer Seq2seq) to decode spoken sentences from the ECoG. A Transformer is a successful neural network model for natural language processing and automatic speech recognition. The decoding test revealed that the use of the Transformer model achieved a minimum phrase error rate of 16.4% for one best participant; moreover, the median (± standard deviation) of PER for the Transformer Seq2seq across seven participants was 31.3% (±10.0%). This result showed that the Transformer Seq2seq effectively decoded from ECoG.}, title = {頭蓋内脳波からのTransformer モデルによるテキストデコーディング}, year = {2022} }