Edge情報に基づく光線サンプリングを用いたニューラル速度場の学習

• Item type: SIG Technical Reports(1)
• 公開日: 2024-11-22
• タイトル: Edge情報に基づく光線サンプリングを用いたニューラル速度場の学習
• タイトル / 言語: en
• タイトル: Learning Neural Velocity Fields using Edge-based Ray Sampling
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 岐阜大学工学部
• 著者所属: 岐阜大学工学部
• 著者所属: 広島大学先進理工系科学研究科
• 著者所属: 岐阜大学工学部
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Gifu University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Gifu University
• 著者所属(英): en
• 著者所属(英): Graduate School of Advanced Science and Engineering, Hiroshima University
• 著者所属(英): en
• 著者所属(英): Faculty of Engineering, Gifu University
• 著者名: 伊藤, 颯汰; 林, 良和; 相澤, 宏旭; 加藤, 邦人
• 著者名(英): Sota, Ito; Yoshikazu, Hayashi; Hiroaki, Aizawa; Kunihito, Kato
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos (NVFi) は，動的 3D シーンにおける形状，外観に加えて，速度を物理法則に基づく制約を用いて学習することで，将来のフレーム外挿を実現した．NVFi の速度学習に用いられる発散定理は，速度の連続性を保つ役割がある．しかし，発散定理は動的物体と背景領域の境界においても速度の連続性を強制する．そのため，速度を持たない背景領域に影響を受け，動的物体の速度低下が発生し，外挿フレームの品質が低下する問題がある．提案手法は，NVFi の形状情報から算出する Edge を基に物体境界を特定し，非物体境界領域に対してのみ発散定理を適用する．これにより，正確な速度場を学習し，内挿フレームと外挿フレームの生成品質を向上させる．Dynamic Object Dataset を用いて実験を行った結果，内挿フレームにおいて PSNR が 1.6%，外挿フレームにおいて 0.8% 向上した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos (NVFi) enables future frame extrapolation by learning not only the shape and appearance of dynamic 3D scenes but also velocity using constraints based on physical laws. The divergence theorem, employed for velocity learning in NVFi, serves to maintain velocity continuity. However, the divergence theorem also enforces continuity of velocity at the boundaries between dynamic objects and background regions. As a result, the dynamic objects’ velocities decrease due to the influence of the background regions, which have no velocity, leading to reduced quality in extrapolated frames. The proposed method addresses this issue by identifying object boundaries based on edges computed from NVFi’s shape information and applying the divergence theorem only to non-object boundary regions. This approach enables the learning of a more accurate velocity field and improves the quality of both interpolated and extrapolated frames. Experiments conducted using the Dynamic Object Dataset showed a 1.6% improvement in PSNR for interpolated frames and a 0.8% improvement for extrapolated frames.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2024-CVIM-239, 号 7, p. 1-6, 発行日 2024-11-22
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会