Attention機構を用いた無線信号ガイド付き画像修復

• Item type: SIG Technical Reports(1)
• 公開日: 2023-05-11
• タイトル: Attention機構を用いた無線信号ガイド付き画像修復
• タイトル / 言語: en
• タイトル: Wireless Signal-guided Image Inpainting with Attention Mechanism
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 深層学習・VR/AR
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京工業大学工学院
• 著者所属: 東京工業大学工学院
• 著者所属: 東京工業大学工学院
• 著者所属: オウル大学無線通信センター
• 著者所属: ディーキン大学情報技術学部
• 著者所属: 理化学研究所計算科学研究センター
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): School of Engineering, Tokyo Institute of Technology
• 著者所属(英): en
• 著者所属(英): Centre of Wireless Communications, University of Oulu
• 著者所属(英): en
• 著者所属(英): School of Info Technology, Deakin University
• 著者所属(英): en
• 著者所属(英): RIKEN Center for Computational Science
• 著者名: 陳, 誠; 太田, 翔己; 西尾, 理志; メフディ, ベニス; パーク, ジホン; モハメド, ワヒブ
• 著者名(英): Cheng, Chen; Shoki, Ohta; Takayuki, Nishio; Mehdi, Bennis; Jihong, Park; Mohamed, Wahib
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本論文では，チャネル状態情報（CSI）とトランスフォーマーアーキテクチャを組み合わせた新しい環境画像の修復手法を提案する．本手法では環境画像の大きな欠損に対し，CSI により空間情報を補完することで，欠損部分の修復精度を大きく向上する．加えて，ImageNet で事前学習した Swin Transformer アーキテクチャを応用した画像補修モデルにより，画像全体の補修品質を向上する．実験により，提案手法が画像と RSSI を用いたマルチモーダル画像修復手法である RF-Inpainter を上回る性能を持つことを示した．本提案手法は，より高い PSNR と SSIM スコアを達成し，より詳細な情報を持つ画像修復を可能とした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This paper proposes a novel image inpainting method that combines channel state information (CSI) and transformer architecture, showing that the amplitude of CSI can provide visual information that complements the image data and that incorporating it into the inpainting process can lead to better results We show that incorporating it into the inpainting process can lead to better results. Our model is based on the Swin Transformer architecture, which is pre-trained on ImageNet-22k and subsequently fine-tuned on ImageNet-1k, and a decoder that generates inpainting images. Experimental results show that our proposed model outperforms RF-Inpainter, a state-of-the-art multimodal inpainting method using images and RSSI. Our method achieves higher PSNR and SSIM scores and produces inpainter images with more detailed information.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11515904
• 書誌情報: 研究報告高度交通システムとスマートコミュニティ（ITS）; 巻 2023-ITS-93, 号 24, p. 1-3, 発行日 2023-05-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8965
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会