カメラとセンサの利用による演奏音を判定するギター演奏支援システムの検討

• Item type: SIG Technical Reports(1)
• 公開日: 2017-02-17
• タイトル: カメラとセンサの利用による演奏音を判定するギター演奏支援システムの検討
• タイトル / 言語: en
• タイトル: Consideration of a Guitar Playing Support System with Playing Sound Judgement Using Camera and Sensors
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 早稲田大学
• 著者所属: 早稲田大学
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者所属(英): en
• 著者所属(英): Waseda University
• 著者名: 坂牛, 和里; 甲藤, 二郎
• 著者名(英): Airi, Sakaushi; Jiro, Katto
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿ではカメラとセンサを利用した初心者のためのギター演奏支援システムを提案する．ユーザがシステムに演奏情報を入力すると，システムはカメラで映したギターの画像の上に次に弾くべき弦の位置を提示する．ユーザは画面を見ながら演奏する弦の位置を確認することができ，実際に弦をかき鳴らすと正しい音を演奏しているかどうかをシステムが判断する．また弦を弾くことに慣れていない初心者のために，システムがユーザの運指に合わせた音を出力する機能がある．システムはこれらの機能を実現するために，弦検出，指板トラッキング，演奏タイミングの検出，演奏音の判定，運指推定，演奏音の出力を行う．指板トラッキングでは，精度向上と処理時間の高速化のためセンサも活用する．評価実験では演奏タイミング検出の精度評価，指板トラッキングの精度評価，各機能の処理時間の計測を行った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we propose a guitar playing support system for beginners using a camera and sensors. When a user inputs playing information, our system displays fingering positions on a guitar image captured by a camera. The user can check next playing string position on the image while playing. Moreover, our system outputs sound matched user's fingering for beginners that could not press string well, and judges whether the user plays correctly or not. To realize these functions, we implement string detection, fretboard tracking, playing timing detection, playing sound judgement, fingering estimation and output playing sound. In fretboard Tracking, we use smartphone sensors to improve accuracy and process time. In experiment, we evaluate playing timing detection, fretboard tracking and process time of each implementation.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438399
• 書誌情報: 研究報告オーディオビジュアル複合情報処理（AVM）; 巻 2017-AVM-96, 号 4, p. 1-6, 発行日 2017-02-17
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8582
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会