第5回羽倉賞受賞記念招待講演 サウンドスコープフォン

• Item type: SIG Technical Reports(1)
• 公開日: 2022-09-07
• タイトル: 第5回羽倉賞受賞記念招待講演 サウンドスコープフォン
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 理化学研究所
• 著者名: 浜中, 雅俊
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: AI と空間音響を使って聴きたいパートを自由に強調する新しい音楽の聴き方を実現する iPhoneアプリ，サウンドスコープフォン（SoundScopePhone）を提案する（図1）．一般の音楽聴取者は，曲中のパート数が増えると，それぞれのパートのメロディや音色を楽しむのが難しくなる．サウンドスコープフォンを使えば，聴きたいパートの方向へ耳を澄ませるようなポーズをするだけで，そのパートが強調されてメロディや音色が聴きやすくなる（図2）．このようなことを実現するため従来は，加速度センサ付きのヘッドフォンが必要であった．サウンドスコープフォンでは iPhone のフロントカメラで取得した画像を AI で処理しユーザの頭部方向と耳を澄ませるように手を耳にかざすジェスチャーを認識して，3D 音響上でユーザの頭部方向に配置してあるパートの演奏音を強調する．サウンドスコープフォンは，Apple AppStore 内のミュージック無料ジャンルで公開している．現在は，Miracle Garden，Wild Birds，鋼鉄魂2022，The Entertainer の 4 つのコンテンツが利用できる．Wild Birds は，国立環境研究所生物多様性領域福島地域協働研究拠点から「バードデータチャレンジ」のためのデータの提供を受け，野鳥の声の聴き分け体験ができる．バードデータチャレンジとは，福島県の帰還困難区域とその周辺で野鳥の声のモニタリングを行いその音声から種を判別するイベントである．今後，ユーザビリティを向上させるアップデートを行い，プロのアーティストが提供する有料コンテンツの追加を予定している．サウンドスコープフォンと同様に頭部方向認識と耳を澄ませるポーズ認識を用いたアプリとして，360 度映像中で奏者の演奏が見れるサウンドスコープパッド(SoundScopePad)（図3）と，ユーザの周囲に配置した 10 個の映像から見たい映像をジェスチャーで選択する映像プレイヤー，ミュージックスコープパッド(MusicScopePad)（図4）も公開中である．A12 以上の CPU を搭載した iPhone/iPad で利用が可能である．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10438388
• 書誌情報: 研究報告音楽情報科学（MUS）; 巻 2022-MUS-135, 号 1, p. 1-2, 発行日 2022-09-07
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8752
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会