身体姿勢を用いた直感的サウンドインタラクションの検討

• Item type: SIG Technical Reports(1)
• 公開日: 2019-06-15
• タイトル: 身体姿勢を用いた直感的サウンドインタラクションの検討
• タイトル / 言語: en
• タイトル: A Study of Intuitive Sound Interaction Using the Body Posture
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: ポスターセッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者所属: 東京大学大学院情報理工学系研究科
• 著者名: 下道, 雄太; 入江, 英嗣; 坂井, 修一
• 著者名(英): Yuta, Shimomichi; Hidetsugu, Irie; Shuichi, Sakai
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本研究では直感的な身体の動きから自然な音の連なりを作る手法を検討する．すなわち，自由かつ自然に身体を動かした結果，それがそのまま心地の良い音の連なりとして反映されるような体験を創出することを目標とする．姿勢の検知には骨格推定ライブラリ openpose を用いた．取得した関節座標から，自然な音の連結になるよう MIDI ノートナンバーを計算し，OpenSoundControl プロトコルによって PureData へ送信して和音を鳴らす．この際，どのような身体の動きからどのような音の変化が生まれると心地良いかを探るために，身体の動きと音の変化を対応させた 3 通りの異なるシステムを実装し，実際に被験者に体験してもらうことでフィードバックを得た．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this study, we tried to explore a way of generating natural musical sequences from intuitive body movement. Our goal is to create an experience in which free and natural movement is transformed into a sequence of pleasant sounds directly. We used openpose, a skeleton estimation library, to detect the posture. The MIDI note number is calculated from the joint coordinates obtained from openpose so that it may be natural musical sequences, and transmitted to PureData by the OpenSoundControl protocol to sound a chord. In order to reveal what kind of correspondence of body movement to the sound makes us feel pleasant, we implemented three different systems and obtained feedback from the subjects.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN10442647
• 書誌情報: 研究報告音声言語情報処理（SLP）; 巻 2019-SLP-127, 号 43, p. 1-6, 発行日 2019-06-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8663
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会