セマンティックセグメンテーションを利用したGAN Inversionによる背景画像の編集手法の提案

• Item type: Journal(1)
• 公開日: 2024-01-15
• タイトル: セマンティックセグメンテーションを利用したGAN Inversionによる背景画像の編集手法の提案
• タイトル / 言語: en
• タイトル: Background Image Editing Method by GAN Inversion with Semantic Segmentation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:エージェント理論・技術とその応用] StyleGAN，GAN Inversion，画像編集
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00231733
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 電気通信大学大学院情報理工学研究科情報学専攻
• 著者所属: 電気通信大学大学院情報理工学研究科情報学専攻
• 著者所属: 電気通信大学大学院情報理工学研究科情報学専攻
• 著者所属: 電気通信大学大学院情報理工学研究科情報学専攻
• 著者所属: 電気通信大学大学院情報理工学研究科情報学専攻
• 著者所属(英): en
• 著者所属(英): University of Electro-Communications Graduate School of Informatics and Engineering Department of Informatics
• 著者所属(英): en
• 著者所属(英): University of Electro-Communications Graduate School of Informatics and Engineering Department of Informatics
• 著者所属(英): en
• 著者所属(英): University of Electro-Communications Graduate School of Informatics and Engineering Department of Informatics
• 著者所属(英): en
• 著者所属(英): University of Electro-Communications Graduate School of Informatics and Engineering Department of Informatics
• 著者所属(英): en
• 著者所属(英): University of Electro-Communications Graduate School of Informatics and Engineering Department of Informatics
• 著者名: 石幡, 柊介; 折原, 良平; 清, 雄一; 田原, 康之; 大須賀, 昭彦
• 著者名(英): Syuusuke, Ishihata; Ryohei, Orihara; Yuichi, Sei; Yasuyuki, Tahara; Akihiko, Ohsuga
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，StyleGANを画像編集タスクに適用する研究が進められている．画像編集タスクは背景画像の編集にも適用可能だが，背景画像は顔画像などの前景画像に比べて多様であるため，画像の編集性能が低下する．また，編集内容を的確にシステムに伝えることが難しいため，コンテント編集が困難という問題もある．たとえば自然言語による画像編集では編集対象となる背景画像のオブジェクトの指定が曖昧となるため，編集された画像は編集者にとって好ましくないものとなってしまう．一方でセマンティックセグメンテーションを使用すれば編集者の意図するコンテントの編集ができると考える．本研究ではGAN Inversionと呼ばれるタスクにおいて，セマンティックセグメンテーションマスクを取り入れた，エンコーダベースのGAN Inversion手法であるHyperStyleを基にしたフレームワークを提案する．GAN Inversionで求められる画像の再構成品質を維持しつつ，従来のスタイル編集性能を持ちながら，コンテント編集も可能にする．実験を行った結果，定性的な評価では本モデルが画像のコンテントとスタイルを別々に編集できることを確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Recently，research has been conducted on applying StyleGAN to image editing tasks. Although the technique can be applied to editing background images, because they are more diverse than foreground images such as face images, editability is compromised. In addition, content editing is difficult because it is difficult to accurately convey the edited content to the system. For example, because natural language instructions can be ambiguous, edited images become undesirable for the user. Therefore, a semantic segmentation mask can be used to edit content as intended by the editor. In our study, we propose a framework based on HyperStyle, an encoder-based GAN Inversion method that incorporates a semantic segmentation mask in a task called GAN Inversion. Our method can edit the image style and content independently while maintaining the quality of image reconstruction required by GAN Inversion. As a result, the qualitative evaluation confirms that our model enabled the editing of image content and style separately.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 65, 号 1, p. 83-96, 発行日 2024-01-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764
• 公開者 / 言語: ja
• 公開者 / 出版者: 情報処理学会