Transformerを用いた脳波信号からの音声復元の検討

• Item type: SIG Technical Reports(1)
• 公開日: 2024-02-22
• タイトル: Transformerを用いた脳波信号からの音声復元の検討
• タイトル / 言語: en
• タイトル: An Investigation on the Speech Recovery from EEG Signals Using Transformer
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2 SP/SLP
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 電気通信大学
• 著者所属: 愛知淑徳大学
• 著者所属: 東京工業大学
• 著者所属: 電気通信大学
• 著者所属(英): en
• 著者所属(英): The University of Electro-Communications
• 著者所属(英): en
• 著者所属(英): Aichi Shukutoku University
• 著者所属(英): en
• 著者所属(英): Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): The University of Electro-Communications
• 著者名: 水野, 友暁; 岸田, 拓也; 吉村, 奈津江; 中鹿, 亘
• 著者名(英): Tomoaki, Mizuno; Takuya, Kishida; Natsue, Yoshimura; Toru, Nakashika
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 脳波信号から完全な音声を合成することは，困難な課題である．本稿では，脳波信号からの音声復元を，男女 1 人ずつ 2 名の声を聞いた時の Transformer を基盤としたモデルを用いて行った．男女２名の音声を一つのモデルで学習することで，脳波信号のみから対応する話者の声質を伴う音声が復元可能かどうか，脳波信号のみから対応する言語内容の音声が復元可能かどうかを検討した．結果として，２話者の声を聞いた時の脳波信号から明らかに異なる２話者の声を生成することが可能であり，脳波信号から音声を復元することで，脳波信号には聞いた声の声質に関する情報が含まれていることがわかった．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Synthesizing full speech from ElectroEncephaloGraphy(EEG) signals is a challenging task. In this paper, speech reconstruction from EEG signals was performed using a model based on Transformer when two voices, one male and one female, were heard. By learning the male and female voices in one model, we investigated whether it is possible to reconstruct the voices including the corresponding speaker’s voice characteristics from the EEG signals, and whether it is possible to reconstruct the voices including the corresponding language contents from the EEG signals. The results showed that the model succeeded generate two distinctly different speaker voices from the EEG signals of the two speakers, and that the EEG signals contain information about the characteristics of the heard voices.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2024-SLP-151, 号 62, p. 1-6, 発行日 2024-02-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会