多視点ステレオのためのNeRFを用いたデプスマップ最適化に関する検討

• Item type: SIG Technical Reports(1)
• 公開日: 2023-05-11
• タイトル: 多視点ステレオのためのNeRFを用いたデプスマップ最適化に関する検討
• タイトル / 言語: en
• タイトル: A Study of Depth Map Optimization Using NeRF for Multi-View Stereo
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: セッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東北大学大学院情報科学研究科
• 著者所属: 東北大学大学院情報科学研究科
• 著者所属: 東北大学大学院情報科学研究科
• 著者所属: 東北大学大学院情報科学研究科
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Sciences, Tohoku University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Sciences, Tohoku University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Sciences, Tohoku University
• 著者所属(英): en
• 著者所属(英): Graduate School of Information Sciences, Tohoku University
• 著者名: 伊藤, 慎太郎; 三浦, 幹太; 伊藤, 康一; 青木, 孝文
• 著者名(英): Shintaro, Ito; Kanta, Miura; Koichi, Ito; Takafumi, Aoki
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 本稿では，Neural Radiance Fields (NeRF) を用いた最適化により多視点ステレオ (Multi-View Stereo: MVS) で推定されたデプスマップを洗練することで，多視点画像からデプスマップを高精度に推定する手法を提案する．MVS は，物体表面のデプスを高精度に推定することができるが，テクスチャの乏しい領域や物体境界において推定精度が低くなる問題がある．一方で，NeRF は，光線空間の推定の過程でデプスを求めるため，テクスチャの乏しい領域や物体境界において高精度にデプスを得ることができるが，物体表面の詳細なデプスを必ずしも得ることができない問題がある．提案手法は，デプスマップ推定における MVS と NeRF の利点を組み合わせて高精度にデプスマップを推定する．また，提案手法は，MVS で推定されたデプスマップを NeRF に基づく繰り返し最適化により洗練するため，学習を必要としない．Redwood-3dscan データセットを用いた性能評価実験を通して，デプスマップ推定における提案手法の有効性を実証する．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: In this paper, we propose a method to improve the accuracy of depth maps estimated by Multi-View Stereo (MVS) by optimizing them using Neural Radiance Fields (NeRF). MVS can estimate the depth of an object surface accurately, while the accuracy of depth map estimation is significantly low in poor-texture regions and at object boundaries. NeRF can estimate the depth in poor-texture regions and at object boundaries accurately because of obtaining the depth in the process of constructing the ray space, while the accuracy of depth is low in object surfaces. The proposed method combines the advantages of MVS and NeRF to improve the accuracy of depth map estimation. The proposed method also does not need any training by refining depth map with iterative optimization of the depth map based on NeRF. We demonstrate the effectiveness of the proposed method through experiments to evaluate the accuracy of depth map estimation using the Redwood-3dscan dataset.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2023-CVIM-234, 号 47, p. 1-6, 発行日 2023-05-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会