2026-03-15T15:26:30Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00232555 2025-01-19T10:24:32Z 1164:5159:11541:11549

定位的頭蓋内脳波からの傾聴メロディの再合成 Synthesizing perceived melody from stereo electroencephalogram 稲葉, 湧大 熊谷, 優惟子 吉村, 直己 古明地, 秀治 三橋, 匠 飯村, 康司 鈴木, 皓晴 菅野, 秀宜 田中, 聡久 Yuta, Inaba Yuiko, Kumagai Naoki, Yoshimura Shuji, Komeiji Takumi, Mitsuhashi Yasushi, Iimura Hiroharu, Suzuki Hidenori, Sugano Toshihisa, Tanaka ポスターセッション3 EA/SIP 頭蓋内に電極を留置し計測した脳波から，傾聴中の音楽を推定する問題は挑戦的である．本稿では，定位的頭蓋内脳波（SEEG）と呼ばれる方法で電極を留置したてんかん患者に対して，4 秒程度の短いメロディを聴かせた．この傾聴中の SEEG から，BLSTM またはTransformer を用いて，聞いている音楽のログメルスペクトログラムのデコードを試みた．教師信号である傾聴音楽のログメルスペクトログラムとの MSE loss を評価指標として，チャンスレベルとして入力をランダムな信号とした場合の推論結果と比較した．2 要因分散分析の結果，MSE loss はチャンスレベルと比較して有意に小さかった．また，2 つの推定モデル（BLSTM または Transformer）の間には有意差は認められなかった．さらに，MSE が小さい推定ログメルスペクトログラムから音響信号の再構成したところ，傾聴させたメロディを主観的に認識できた． Estimating perceived music from intracranial electroencephalogram measured with implanted electrodes is challenging. In this study, we recorded stereo electroencephalogram (SEEG) during music perception and attempted to estimate the log-mel spectrogram of short melodies, approximately 4 seconds in duration. The mean squared error (MSE) loss was calculated from the estimated log-mel spectrogram and ground truth labels, and the results were compared with those obtained when the input was a random signal. The results of a two-way analysis of variance revealed a significant reduction in MSE loss compared to chance level. However, no significant differences were observed for the encoder type or interaction. Furthermore, reconstruction of the acoustic signal from the estimated log-mel spectrogram with low MSE allowed for subjective recognition of the heard melody. 情報処理学会 2024-02-22 jpn technical report https://ipsj.ixsq.nii.ac.jp/records/232555 2188-8663 AN10442647 研究報告音声言語情報処理（SLP） 2024-SLP-151 85 1 6 https://ipsj.ixsq.nii.ac.jp/record/232555/files/IPSJ-SLP24151085.pdf application/pdf 1.8 MB