楽譜情報を用いた高時間分解能Audio-to-MIDI変換

• Item type: Journal(1)
• 公開日: 2019-11-15
• タイトル: 楽譜情報を用いた高時間分解能Audio-to-MIDI変換
• タイトル / 言語: en
• タイトル: High-Time-Resolution Audio-to-MIDI Conversion Exploiting Music Score Information
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集：エンタテインメントコンピューティング] 演奏詳細解析，Onset detection，Auto-tuning，HSMM，NMF，階層ベイズ
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 明治大学大学院先端数理科学研究科
• 著者所属: 明治大学大学院先端数理科学研究科／明治大学総合数理学部
• 著者所属: 明治大学大学院先端数理科学研究科／明治大学総合数理学部
• 著者所属(英): en
• 著者所属(英): Graduate School of Advanced Mathematical Sciences, Meiji University
• 著者所属(英): en
• 著者所属(英): Graduate School of Advanced Mathematical Sciences, Meiji University / School of Interdisciplinary Mathematical Sciences, Meiji University
• 著者所属(英): en
• 著者所属(英): Graduate School of Advanced Mathematical Sciences, Meiji University / School of Interdisciplinary Mathematical Sciences, Meiji University
• 著者名: 保利, 武志; 中村, 和幸; 嵯峨山, 茂樹
• 著者名(英): Takeshi, Hori; Kazuyuki, Nakamura; Shigeki, Sagayama
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿は，音楽音響信号に対し，高時間分解能で音楽特徴量（オンセット時刻，音長）を詳細に推定し，MIDI信号へと変換する手法について述べる．多重音からなる音楽音響信号に対する音楽特徴量の抽出は音楽情報科学分野においてきわめて重要な要素技術であり，演奏解析だけでなく自動演奏や作曲など幅広い音楽活動に寄与できる．特に演奏者の個性（演奏モデル）を獲得するためには，微細な演奏変化をとらえうる高時間分解能な解析が必要とされており，またビッグデータ活用も視野に入れる場合，実演奏に対する詳細な解析の自動化が望まれている．本研究では，演奏者は楽譜どおりに演奏しているという仮定のもと，詳細解析のための多重時間分解能解析手法を提案する．音楽音響信号に対し高周波数分解能にチューニング補正および楽譜情報全体とのマッチングをとり，そのタイムアライメント情報を事前情報として，フレームレベル，波形領域レベルへと時間分解能を上げながらリファインする．また，楽譜との詳細アライメントと音高パターンから逐次解析範囲を限定し，打鍵された音の基本周波数を分離可能な周波数分解能下限を計算することで，リファインされた音楽特徴量を事前分布パラメータとしたベイズモデルによる高時間分解能な音楽特徴量抽出を実現する．評価実験の結果，和音打鍵時のオンセット時刻の揺れの検出に有効であること，また音長に対してもロバストな推定が可能であることが示され，本稿で提案する多重時間分解能解析に基づく演奏の詳細解析への有効性が示唆された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we discuss a method for score-informed audio-to-MIDI conversion, which is aimed at high-time-resolution analysis for music performances. High-time-resolution analysis of music audio signals is expected to be useful for modeling music performance, which is required in automatic performance rendering systems, automatic composition systems, and music information retrieval. Performed music is characterized by fine deviations of music features (changing tempo, asynchronous chord onset timings, varying dynamics and note durations) from the written score, with which musicians increase the expressiveness of their performance. We present a method for precise multi-pitch analysis which is based on the assumption that a music performer plays notes according to a musical score. The algorithm first coarsely estimated note onset times based on matching with the score and then uses this time alignment information as a prior to precisely estimate onsets from high time-resolution spectra and the waveform domain. Based on the music score and its precise time alignment, we can determine the lowest frequency-resolution that still allows to discern the lowest notes that occur at a given position in the music piece, which in turn allows to compute the highest usable time-resolution. The obtained onset and alignment information is used as prior in a Bayesian model to estimate music performance features in high time-resolution. Experimental results showed the effectiveness of our proposed approach to precise music performance analysis, especially, the asynchronous chord onset timings can be also identified in high time resolution.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 60, 号 11, p. 2034-2047, 発行日 2019-11-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764