@techreport{oai:ipsj.ixsq.nii.ac.jp:00232555, author = {稲葉, 湧大 and 熊谷, 優惟子 and 吉村, 直己 and 古明地, 秀治 and 三橋, 匠 and 飯村, 康司 and 鈴木, 皓晴 and 菅野, 秀宜 and 田中, 聡久 and Yuta, Inaba and Yuiko, Kumagai and Naoki, Yoshimura and Shuji, Komeiji and Takumi, Mitsuhashi and Yasushi, Iimura and Hiroharu, Suzuki and Hidenori, Sugano and Toshihisa, Tanaka}, issue = {85}, month = {Feb}, note = {頭蓋内に電極を留置し計測した脳波から,傾聴中の音楽を推定する問題は挑戦的である.本稿では,定位的頭蓋内脳波(SEEG)と呼ばれる方法で電極を留置したてんかん患者に対して,4 秒程度の短いメロディを聴かせた.この傾聴中の SEEG から,BLSTM またはTransformer を用いて,聞いている音楽のログメルスペクトログラムのデコードを試みた.教師信号である傾聴音楽のログメルスペクトログラムとの MSE loss を評価指標として,チャンスレベルとして入力をランダムな信号とした場合の推論結果と比較した.2 要因分散分析の結果,MSE loss はチャンスレベルと比較して有意に小さかった.また,2 つの推定モデル(BLSTM または Transformer)の間には有意差は認められなかった.さらに,MSE が小さい推定ログメルスペクトログラムから音響信号の再構成したところ,傾聴させたメロディを主観的に認識できた., Estimating perceived music from intracranial electroencephalogram measured with implanted electrodes is challenging. In this study, we recorded stereo electroencephalogram (SEEG) during music perception and attempted to estimate the log-mel spectrogram of short melodies, approximately 4 seconds in duration. The mean squared error (MSE) loss was calculated from the estimated log-mel spectrogram and ground truth labels, and the results were compared with those obtained when the input was a random signal. The results of a two-way analysis of variance revealed a significant reduction in MSE loss compared to chance level. However, no significant differences were observed for the encoder type or interaction. Furthermore, reconstruction of the acoustic signal from the estimated log-mel spectrogram with low MSE allowed for subjective recognition of the heard melody.}, title = {定位的頭蓋内脳波からの傾聴メロディの再合成}, year = {2024} }