2026-03-08T04:13:47Z https://ipsj.ixsq.nii.ac.jp/oai

oai:ipsj.ixsq.nii.ac.jp:00229831 2025-01-19T11:24:00Z 6504:11436:11440

クロスモーダル学習による時間情報を考慮した楽器音からの演奏動画生成 中川, 智愛 井上, 勝文 吉岡, 理文 人工知能と認知科学 楽器音からその楽器を演奏している人物画像を生成するタスクにおいて，従来研究では時間情報を含む音楽情報より１枚の画像を生成するに留まっている．これに対し本研究では，画像にも時間情報を持たせ，音楽情報から演奏動画を生成するタスクに拡張する．具体的には，単純に短時間音楽情報から動画フレームを順次生成するのではなく，入力する音楽情報に時間情報ラベルを埋め込みつつ生成画像の前後関係を考慮することで，奏者の動作が滑らかに変化するよう動画フレームを生成する手法を提案する．本稿では，13種類の楽器演奏データを用いて生成した演奏動画に対して，従来手法をベースにした動画生成手法と比較した結果について述べる． conference paper 情報処理学会 2023-02-16 application/pdf 第85回全国大会講演論文集 1 2023 59 60 AN00349328 https://ipsj.ixsq.nii.ac.jp/record/229831/files/IPSJ-Z85-5C-05.pdf jpn