2021年度情報処理技術研究開発賞受賞記念招待講演 人間の演奏者に同期する合奏システムの開発とその水平展開

• Item type: SIG Technical Reports(1)
• 公開日: 2022-09-07
• タイトル: 2021年度情報処理技術研究開発賞受賞記念招待講演 人間の演奏者に同期する合奏システムの開発とその水平展開
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: ヤマハ株式会社
• 著者名: 前澤, 陽
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 我々は，演奏者と計算機が息を合わせて合奏できることを目指して計算機による合奏システムの研究開発を行っている．具体的には，譜面が既知である楽曲を実時間で演奏すると，奏者の演奏音や映像等の情報を元に，演奏に合わせて自然に伴奏できることを目指している．このような技術を，初中級者からトッププロまで幅広いユーザに対して実用的に動作させることを目標に，(1) マルチモーダルな演奏の認識及び生成，(2) 人間らしい演奏や動作を生成する技術，(3) 失敗が許されないステージ用途での人間と計算機の協調メカニズムを確立してきた．また，実証実験としてこのような技術を用いたコンサートや体験展示を国内外で 45 回以上実施した．例えば，2021 年に全国で展開した「プロジェクトセカイ・ピアノ」プロジェクトは，ピアノ初心者の演奏に合わせて歌う自動合奏システムを応用したバーチャル歌唱者アプリであり，ピアノ演奏に対する新しい楽しみ方を提案した．ほかにも，コンサート運用の実証実験も 25 回以上実施し，技術の実証実験だけでなく，一般聴衆に対する技術の価値提案を行ってきた．例えば，2019 年に実施した「Dear Glenn」プロジェクトでは，計算機に伝説的なピアニストであるグレン・グールドの演奏を学習させ，グレン・グールド風に演奏できるシステムを確立した．このコンサートでの運用を通じて，AI による演奏生成と人間のインタラクションについて価値提案を行った (図1)．さらに，健常者である演奏者ための演奏システムだけでなく，障がい者・高齢者に向けた演奏支援システムや，音楽の非専門家のための映像演出装置といった水平展開を行った．たとえば，2015 年から東京藝術大学との共同研究で展開している「だれでもピアノ」は，障害者や高齢者のためのピアノ演奏支援であり，従来ピアノの演奏が困難であった人に対してピアノを演奏する体験を提供した (図2)．他にも，2017 年から東京藝術大学との共同研究で展開している「映像同期システム」は，音楽に合わせて制作した映像コンテンツを同一曲の生演奏に同期することができるシステムを開発し，ライブにおける映像演出の価値向上を目指した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2022-MUS-135, 号 14, p. 1-1, 発行日 2022-09-07
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会