符号付き距離場を用いた滑らかな表面をもつText-to-3D生成

• Item type: SIG Technical Reports(1)
• 公開日: 2023-05-11
• タイトル: 符号付き距離場を用いた滑らかな表面をもつText-to-3D生成
• タイトル / 言語: en
• タイトル: Incorporating Signed Distance Fields to Improve Text-to-3D Generation
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: セッション2
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東京大学
• 著者所属: 東京大学
• 著者所属: 国立情報学研究所／東京工業大学／東京大学
• 著者所属: 東京大学
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者所属(英): en
• 著者所属(英): National Institute of Informatics / Tokyo Institute of Technology / The University of Tokyo
• 著者所属(英): en
• 著者所属(英): The University of Tokyo
• 著者名: 孫, 卓凡; 堀田, 大地; 池畑, 諭; 相澤, 清晴
• 著者名(英): Zhuofan, Sun; Daichi, Horita; Satoshi, Ikehata; Kiyoharu, Aizawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 近年，テキストから 3 次元オブジェクトを生成するフレームワーク (Text-to-3D) が提案されている．Text-to-3D は画像生成と異なり，モデルの訓練に使えるキャブション付き 3 次元データが限られている．そのため，最近の text-to-3D アプローチでは，事前に学習された画像生成用拡散モデルや CLIP を用いて，3 次元シーンからレンダリングされた画像に基づいて 3 次元シーンを最適化するフレームワークが主流である．既存の text-to-3D 手法では，3 次元シーンが Neural Radiance Fields (NeRF) で表され，NeRF を最適化することで，テキストからの 3D オブジェクトの生成が実現できる．しかし，これらの NeRF をベースにした手法による生成結果のメッシュを抽出して観測すると，凸凹のノイズがメッシュの表面に現れることが多い．その結果，下流アプリケーションに導入した場合，品質の低下につながる．本研究ではこの問題を解決するために，3 次元シーンの表面再構成によく用いられる 3 次元表現である符号付き距離場（SDF）を既存の text-to-3D フレームワークに取り組んで，その効果を検証した. 拡散モデルによるガイダンスと CLIP によるガイダンスの両方の場合において，生成結果に基づく定性評価及びユーザスタディによる定量評価を行い，ニューラル符号付き距離場による 3 次元シーン表現を導入することで，従来の NeRF ベースアプローチと比べてより滑らかな表面をもつメッシュ生成結果が得られることを実証した．
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2023-CVIM-234, 号 50, p. 1-6, 発行日 2023-05-11
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会