2026-03-09T02:35:41Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00079563 2025-01-21T20:11:30Z 581:6276:6633

音楽共演ロボット：開始・終了キューの画像認識による人間のフルート奏者との実時間同期 Musical Robot Co-Player: Real-time Synchronization with a Human Flutist Recognizing Visual Start and End Cues リム, アンジェリカ 水本, 武志 大塚琢馬 古谷, ルイ賢造カイエ 尾形, 哲也 奥乃, 博 Angelica, Lim Takeshi, Mizumoto Takuma, Otsuka Louis-Kenzo, FuruyaCahier Tetsuya, Ogata Hiroshi, G.Okuno 特集：情報爆発時代におけるIT基盤技術 聞く，見るは，共演者が仲間の演奏者とテンポを合わせて演奏するために重要なスキルである．画像キュー（cue，合図）を検知し，他の演奏者に耳を傾けることによって，演奏者はいっせいに演奏を始め，テンポの緩急の合図に合わせ，さらに，いっせいに演奏を終えることができる．本稿では，人間のフルート奏者がアンサンブルリーダを担い，ロボットは伴奏者として人間の演奏に追従する問題を扱う．まず，フルート奏者の3種類のジェスチャを提案し，画像キューによる認識，音響ビートと画像キューとの統合によるテンポ推定について述べ，テルミン演奏共演ロボットのジェスチャ認識について報告する．初期実験で3タイプの画像キューが83%以上で検出できること，また，画像キューと音響ビート検出とを組み合わせることにより，テンポ検出が0.5秒以内に行えればビート追跡が安定することが分かった．この結果，フルート奏者の指示に合わせて共演者音楽ロボットがテルミンを演奏し，歌を歌うことが可能となった． Listening and watching are important skills for co-players to play in time with fellow musicians. By detecting visual cues and listening to other players, musicians can start together, stop together, and follow a leader's visual cues of changes in tempo. In this paper, we formalize three visual cues for the case of flutists, and describe how our thereminist robot co-player system detects them. Initial experiments show over 83% detection rates for our 3 types of visual cues. Additionally, by coupling visual cues and acoustic beat detection, the robot can extract a tempo in half a second. The resulting robot co-player can play theremin and sing a song with the lead of a human flutist. journal article 2011-12-15 application/pdf 情報処理学会論文誌 12 52 3599 3610 1882-7764 AN00116647 https://ipsj.ixsq.nii.ac.jp/record/79563/files/IPSJ-JNL5212069.pdf jpn