@article{oai:ipsj.ixsq.nii.ac.jp:00091569, author = {平井, 辰典 and 大矢隼士 and 森島, 繁生 and Tatsunori, Hirai and Hayato, Ohya and Shigeo, Morishima}, issue = {4}, journal = {情報処理学会論文誌}, month = {Apr}, note = {本論文では,任意の入力楽曲を基に,既存の音楽動画コンテンツを再利用し,音楽と映像が同期した音楽動画を自動生成するシステムを提案する.本研究では,まずシステムの土台となる音楽と映像の同期手法を主観評価実験により検討した.その結果に基づき,音のエネルギーを表すRMSの変化に,映像のアクセント(明滅や動きなど)を対応させるような音楽動画自動生成システムを実装した.音楽動画の自動生成の手順は以下のとおりである.まずデータベースの構築として既存の音楽動画の各フレームにおける明滅,動きに関する映像特徴量の計算を行う.そして,動画生成として,入力楽曲のRMSを抽出し,その推移に最も近い推移を示す映像特徴量を持つ音楽動画の素片をデータベースから探索し,それらの映像を切り貼りすることで,音楽に最も同期した音楽動画の生成を行う.また,本システムによる生成動画の評価も行った., In this paper, we present an automatic mashup music video generation system by segmenting and concatenating existing video clips. To create music video automatically synchronized with any input music, we performed experiment which subjectively evaluates optimum synchronization conditions between motions in a video and the music. The method to synchronize video with input music is to synchronize accent in a video such as movement and flicker with RMS energy of sound from input music. The system calculates RMS energy of input music in each music bar and searches for a video sequence which makes best synchronization from database of music video. Generated music videos are based on a result of subjective evaluation experiment, that change of brightness and movement of objects are united with sound. We also performed subjective evaluation experiment to evaluate output music video of the system.}, pages = {1254--1262}, title = {既存音楽動画の再利用による音楽に合った動画の自動生成システム}, volume = {54}, year = {2013} }