キャラクタ顔画像の描画スタイル空間の生成と応用

• Item type: SIG Technical Reports(1)
• 公開日: 2022-09-29
• タイトル: キャラクタ顔画像の描画スタイル空間の生成と応用
• タイトル / 言語: en
• タイトル: Generation and Application of Drawing Style Space for Character Face Images
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 機械学習
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 京都大学大学院情報学研究科
• 著者所属: 京都大学大学院情報学研究科
• 著者所属(英): en
• 著者所属(英): Dept of Informatics, Kyoto Univ.
• 著者所属(英): en
• 著者所属(英): Dept of Informatics, Kyoto Univ.
• 著者名: 井上, 剛志; 中澤, 篤志
• 著者名(英): Tsuyoshi, Inoue; Atsushi, Nakazawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Generative Adversarial Networks (GAN) は画像生成において急速に普及している．GAN に対してスタイルパラメータを導入したアーキテクチャである StyleGAN 及び StyleGAN2 は年齢，性別，髪型，眼鏡，絵の画風など，画像に関する属性を対象画像に任意に適用することができる．スタイル変換の幅は非常に広く，人物から人物への変換だけでなく動物や車などを対象にしたものや，人を絵画やアニメーション風に変換するものなど，多岐にわたる．またその高い画像生成能力は多くのサービスに利用され，特に人物顔画像に対してスタイル変換を行うことには大きな需要がある．本研究では，アニメーションのプロダクションごとのキャラクターの画風を描画スタイルとみなし，スタイル変換ネットワークによって特徴空間を獲得・可視化および入力画像に対して適用する手法を提案する．ネットワークとしては，StyleGAN2 をベースとして Conditional GAN の要素を付加した手法を提案し，学習された潜在空間に対して UMAP 等の手法で可視化を行い，潜在変数がプロダクションごとに分布することを確認した．また，人物顔画像を投影・及び逆変換することで人物画像を様々なスタイルに変換する手法を提案した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Generative Adversarial Networks (GANs) have greatly advanced image generation, and StyleGAN and StyleGAN2, an improved style-based architecture of GANs, can arbitrarily apply image-related attributes such as age, gender, hairstyle, glasses, and painting style to target images. The range of style transformations is very wide. The range of style transformations is extremely wide, not only from person to person, but also to animals, cars, etc., and from people to paintings or animation style. Its high image generation capability is used in many services, and in particular, there is great demand for performing style transformations on human face images. In this study, we propose a method for acquiring and visualizing feature spaces and applying them to input images by using a style transformation network, where the style of a character in each animation production is regarded as a drawing style. We proposed a method based on StyleGAN2 with the addition of a Conditional GAN element, and visualized the learned latent space using UMAP and other methods, and confirmed that latent variables are distributed in each production. We also proposed a method to transform human face images into various styles by projecting and inverse transforming the images.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA12049625
• 書誌情報: 研究報告エンタテインメントコンピューティング（EC）; 巻 2022-EC-65, 号 30, p. 1-5, 発行日 2022-09-29
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8914
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会