既存音楽動画の再利用による音楽に合った動画の自動生成システム

• Item type: Journal(1)
• 公開日: 2013-04-15
• タイトル: 既存音楽動画の再利用による音楽に合った動画の自動生成システム
• タイトル / 言語: en
• タイトル: An Automatic Music Video Generation System by Reusing Existent Music Video
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集：音楽情報処理の新展開（音楽情報科学研究会20周年記念特集）] 音楽動画，コンテンツの自動生成，動画像処理，CGM
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• 著者所属: 早稲田大学／JST CREST
• 著者所属: 早稲田大学／JST CREST
• 著者所属: 早稲田大学／JST CREST
• 著者所属(英): en
• 著者所属(英): Waseda University / JST CREST
• 著者所属(英): en
• 著者所属(英): Waseda University / JST CREST
• 著者所属(英): en
• 著者所属(英): Waseda University / JST CREST
• 著者名: 平井, 辰典; 大矢隼士; 森島, 繁生
• 著者名(英): Tatsunori, Hirai; Hayato, Ohya; Shigeo, Morishima
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，任意の入力楽曲を基に，既存の音楽動画コンテンツを再利用し，音楽と映像が同期した音楽動画を自動生成するシステムを提案する．本研究では，まずシステムの土台となる音楽と映像の同期手法を主観評価実験により検討した．その結果に基づき，音のエネルギーを表すRMSの変化に，映像のアクセント（明滅や動きなど）を対応させるような音楽動画自動生成システムを実装した．音楽動画の自動生成の手順は以下のとおりである．まずデータベースの構築として既存の音楽動画の各フレームにおける明滅，動きに関する映像特徴量の計算を行う．そして，動画生成として，入力楽曲のRMSを抽出し，その推移に最も近い推移を示す映像特徴量を持つ音楽動画の素片をデータベースから探索し，それらの映像を切り貼りすることで，音楽に最も同期した音楽動画の生成を行う．また，本システムによる生成動画の評価も行った．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we present an automatic mashup music video generation system by segmenting and concatenating existing video clips. To create music video automatically synchronized with any input music, we performed experiment which subjectively evaluates optimum synchronization conditions between motions in a video and the music. The method to synchronize video with input music is to synchronize accent in a video such as movement and flicker with RMS energy of sound from input music. The system calculates RMS energy of input music in each music bar and searches for a video sequence which makes best synchronization from database of music video. Generated music videos are based on a result of subjective evaluation experiment, that change of brightness and movement of objects are united with sound. We also performed subjective evaluation experiment to evaluate output music video of the system.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 54, 号 4, p. 1254-1262, 発行日 2013-04-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764