Transformerによる複数視点画像からの暗黙的3次元表現の学習

• Item type: Journal(1)
• 公開日: 2024-07-15
• タイトル: Transformerによる複数視点画像からの暗黙的3次元表現の学習
• タイトル / 言語: en
• タイトル: Learning 3D Representation from Multi-View Images Using Transformer
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: [一般論文（テクニカルノート）] 3次元再構成，Signed Distance Function，Attention
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_6501
• 資源タイプ: journal article
• ID登録: 10.20729/00237180
• ID登録 / ID登録タイプ: JaLC
• 著者所属: 信州大学大学院総合理工学研究科
• 著者所属: 信州大学大学院総合理工学研究科
• 著者所属: 信州大学大学院総合理工学研究科
• 著者所属(英): en
• 著者所属(英): Department of Electrical and Computer Engineering, Shinshu University
• 著者所属(英): en
• 著者所属(英): Department of Electrical and Computer Engineering, Shinshu University
• 著者所属(英): en
• 著者所属(英): Department of Electrical and Computer Engineering, Shinshu University
• 著者名: 小林, 和輝; 丸山, 稔; 宮尾, 秀俊
• 著者名(英): Kazuki, Kobayashi; Minoru, Maruyama; Hidetoshi, Miyao
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: コンピュータビジョンの分野において画像からの3次元形状復元は重要なタスクであり，数多くの研究が行われている．これらの中で近年注目されている手法に暗黙的3次元表現の学習手法がある．これは従来手法と比較して解像度や形状表現の豊かさ等の点で優れている．暗黙的表現構築の代表的な手法の1つにDISNがある．DISNでは単一視点再構成に主眼を置いており，入力画像のカメラパラメータ推論と3次元再構成の2つのモデルを用いている．本研究ではDISNに対し，カメラパラメータ推論を必要とせずにTransformerのAttention計算で画像間の特徴を計算することで任意の視点数入力で再構成を行うモデルを提案する．ShapeNetデータセットに対して実験を行い，カメラパラメータを使用せずに複数視点入力による有効性を検証した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Reconstructing 3D shapes from images is an important task in the computer vision, and implicit 3D reconstruction methods have attracted much attention in recent years. Compared to previous methods, implicit 3D reconstruction is superior in terms of resolution, richness of shape representation, and computational efficiency. DISN is one of a representative method for learning implicit representation. DISN focuses on single-view 3D reconstruction and uses two models: camera parameter inference and 3D reconstruction of the input image. In this paper, we propose a new model for DISN that does not require camera parameter inference, but instead computes the features between input images using the Transformer's Attention calculation. We showed experiments on the ShaneNet dataset and verified that our method can generate accurate representation from multiple images without camera parameters.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AN00116647
• 書誌情報: 情報処理学会論文誌; 巻 65, 号 7, p. 1162-1167, 発行日 2024-07-15
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 1882-7764
• 公開者 / 言語: ja
• 公開者 / 出版者: 情報処理学会