各顔パーツを対象とした複数CNNモデルによる顔画像の高解像度化

• Item type: Journal(1)
• 公開日: 2022-05-15
• タイトル: 各顔パーツを対象とした複数CNNモデルによる顔画像の高解像度化
• タイトル / 言語: en
• タイトル: Super Resolution Method Using Multiple Convolutional Neural Networks for Each of Facial Parts in Face Images
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [特集:情報システム論文] 超解像，顔画像，複数畳み込みニューラルネットワーク
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00217822
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 立命館大学大学院理工学研究科
• 著者所属: 立命館大学大学院理工学研究科
• 著者所属: 立命館大学大学院理工学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Ritsumeikan University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Ritsumeikan University
• 著者所属(英): en
• 著者所属(英): Graduate School of Science and Engineering, Ritsumeikan University
• 著者名: 丸井, 勇輝; 檜作, 彰良; 中山, 良平
• 著者名(英): Yuki, Marui; Akiyoshi, Hizukuri; Ryohei, Nakayama
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: CNN（Convolutional Neural Network）を用いた超解像技術は，顔画像の高解像度化にも応用されているが，特徴が大きく異なる各顔パーツを1つの超解像CNNモデルで効果的に学習することは困難である．そこで本研究では，顔パーツごとに超解像CNNモデルを構築し，それらの結果を合成することにより，顔画像を高解像度化する手法を開発した．実験試料は，CelebA Mask-HQデータセットに含まれる顔画像30,000枚と8つの顔パーツにアノテーションされたラベル画像である．本研究では，顔画像を高解像画像，1/4に縮小した顔画像を低解像画像と定義し，提案手法により低解像画像から高解像画像を再構成した．各顔パーツの超解像CNNモデルとしてSRResNetを採用し，学習時の損失関数は，各SRResNetの生成画像と高解像画像間の対象顔パーツ領域における平均二乗誤差で定義した．学習した各SRResNetにより低解像画像から各顔パーツの高解像画像を推定し，それらを合成することで顔画像の高解像度化画像（超解像画像）を生成した．そして，顔パーツごとにSRResNetを適用した提案手法と顔画像全体にSRResNetを適用した従来手法により生成した超解像画像に対し，主観的な知覚品質を評価するための観察者実験を行った．観察者実験では，提案手法と従来手法で生成された超解像画像100ペアを観察者に表示し，3名の観察者が独立して，より高画質な画像を選択した．その結果，100ペア中平均92.33ペアにおいて，提案手法の超解像画像が従来手法より高画質と評価され，提案手法の有用性が示唆された．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Although super-resolution technique using CNN (Convolutional Neural Network) has been applied to improve the resolution of face images, it can be difficult for one super-resolution CNN model to effectively learn each face part with significantly different characteristics. The purpose of this study was to develop a super-resolution method using multiple CNNs for each of facial parts in face images. Our database consisted of 30,000 face images and the label images for eight facial parts in CelebA Mask-HQ dataset. In this study, a face image was defined as high-resolution image, whereas the down-sampled face image with a size of 1/4 was defined as low-resolution image. The high-resolution image was reconstructed from the low-resolution image with the proposed method. SRResNet was used for the super-resolution CNN model of each face part. The loss function was defined by the mean squared error in the target face part regions between the image generated with each SRResNet and the high-resolution image. In the proposed method, the high-resolution images of each face part were estimated from the low-resolution image by each learned SRResNet, and the super-resolution image of the face image was generated by synthesizing them. An observer study was conducted to evaluate the subjective perceptual quality of the super-resolution images generated by the proposed method applying SRResNet to each face part and the conventional method applying SRResNet to the entire face image. In the observer study, a pair of super-resolution images generated by both methods were displayed on a display monitor. Three observers independently selected one image considered as higher image quality from the pairs. In an average of 92.33 pairs out of 100 pairs, the super-resolution images generated by the proposed method were evaluated as higher image quality than the conventional method.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 63, 号 5, p. 1216-1224, 発行日 2022-05-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764