DPマッチングのコストに視線情報を反映させた楽譜追跡システムの構築

• Item type: Journal(1)
• 公開日: 2018-03-15
• タイトル: DPマッチングのコストに視線情報を反映させた楽譜追跡システムの構築
• タイトル / 言語: en
• タイトル: Construction of Score-following System Reflecting Gaze Information on Cost of DP Matching
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集：若手研究者] 楽譜追跡，譜読み，視線，DPマッチング
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 公立はこだて未来大学大学院
• 著者所属: 公立はこだて未来大学
• 著者所属: 公立はこだて未来大学
• 著者所属(英): en
• 著者所属(英): Graduate School of Future University Hakodate
• 著者所属(英): en
• 著者所属(英): Future University Hakodate
• 著者所属(英): en
• 著者所属(英): Future University Hakodate
• 著者名: 寺崎, 栞里; 竹川, 佳成; 平田, 圭二
• 著者名(英): Shiori, Terasaki; Yoshinari, Takegawa; Keiji, Hirata
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿ではDPマッチングのコストに視線情報を反映させた楽譜追跡手法を提案する．楽譜追跡は自動伴奏や自動譜めくりの要素技術として多く研究されてきた．従来の楽譜追跡の多くは演奏箇所の情報を持つ演奏の音響信号やMIDIなどの打鍵情報をもとに演奏箇所を推定している．しかし，直前とまったく違う箇所から演奏を再開したり，同じフレーズを含む楽曲を演奏したりしている場合には，打鍵情報のみからでは現演奏箇所や演奏再開箇所の推定が難しく，楽譜追跡に遅延や誤りが発生する．そこで，打鍵情報とは独立に演奏箇所情報を与える視線を楽譜追跡に統合させることで解決を試みる．視線情報を利用するにあたって，HMMによって視線の動きを予測するモデル（視線モデル）を作成することで，視線のノイズ低減の効果を狙う．また，推定結果から視線の尤もらしさ（視線尤度）を算出し，視線尤度をDPマッチングのコストに反映させることで誤打鍵に左右されない楽譜追跡を実現する．楽譜追跡における視線情報の有効性を検証するために，楽譜追跡に視線情報を反映させた場合と反映させない場合を比較したところ，楽譜追跡に視線を反映させると正解率が1.2倍（72.7%から85.2%），平均推定時間は0.7倍（1.37秒から0.94秒）に短縮された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: The goal of our study is to build a score-following system employing keying information and gaze information. A score-following system, which estimates the user's current playing position on a musical score, is one of the fundamental technologies of real-time computer accompaniment. Conventional score-following systems have estimated the current performance position based only on keying information. However, this is difficult to do with a high degree of accuracy in the case where the player starts playing from a point on the score which is different from the previous playing position, and performs from a score including repeated phrases. In such cases errors and delays occur in score-following. Therefore, the proposed system solves this problem by using not only keying information but also gaze information, which the expresses the player's thought. Noise is reduced by creating a model (gaze model) that predicts gaze movement. Also, we realize score-following which is not affected by errors, by reflecting the gaze likelihood calculated from the gaze model in the cost of DP matching. We compared the case of score-following using gaze information and not using gaze information. Consequently, the accuracy rate increased from 1.2 times, the average estimated time was reduced to 0.7 times.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 59, 号 3, p. 894-903, 発行日 2018-03-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764