NeRFを用いた3次元再構成の小物体内部への適用性の検証

• Item type: SIG Technical Reports(1)
• 公開日: 2024-05-08
• タイトル: NeRFを用いた3次元再構成の小物体内部への適用性の検証
• タイトル / 言語: en
• タイトル: Validation of Applicability of 3D Reconstruction using NeRF for Small Object Interiors
• 言語: jpn
• キーワード / 主題Scheme: Other
• キーワード / 主題: 卒論スポットライトセッション (CVIM)
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 東邦大学／国立研究開発法人産業技術総合研究所人工知能研究センター
• 著者所属: 東邦大学／国立研究開発法人産業技術総合研究所人工知能研究センター
• 著者所属: 東邦大学
• 著者所属(英): en
• 著者所属(英): Toho University / National Institute of Advanced Industrial Science and Technology, Artificial Intelligence Research Center
• 著者所属(英): en
• 著者所属(英): Toho University / National Institute of Advanced Industrial Science and Technology, Artificial Intelligence Research Center
• 著者所属(英): en
• 著者所属(英): Toho University
• 著者名: 金子, 俊太; 野里, 博和; 数藤, 恭子
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 現在，膀胱内視鏡検査には検査結果を膀胱図に記入する作業が存在する．この時，検査が立て込んでいる際には，数時間後に医師の記憶を頼りに手書きで行われることもあり，正確に記入することが難しいという問題がある．そこで検査動画から直接的に膀胱の 3 次元モデルを作成する研究が行われている．これには画像および動画から抽出した特徴点によって 3 次元再構成を行う SfM や Visual SLAM が用いられている．しかしいずれの研究でも膀胱内を完全に再構成するには至っていない．本研究では，多視点画像からシーンを表現する MLP を最適化することで 3 次元再構成を行う NeRF を使用して，自作の小物体模型と膀胱ファントムに対し再構成を行い，その適用性を検証した．小物体模型での実験では内部のテクスチャや形状による再構成結果の違いを示し，膀胱ファントムの実験では実際の検査動画と似た環境での再構成結果を確認した．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: Currently, in cystoscopy examinations, there exists a process of manually transcribing the examination results onto a cystoscopy findings diagram. This task, performed several hours after the examination, is challenging to execute accurately due to its reliance on handwritten input. To address this issue, research is being conducted to directly generate three-dimensional models of the bladder from examination videos. This involves the utilization of Structure-from-Motion (SfM) and Visual Simultaneous Localization and Mapping (Visual SLAM) techniques, which reconstruct three-dimensional structures based on feature points extracted from images and videos. However, none of these studies have achieved complete reconstruction of the bladder interior. In this study, we utilized Neural Radiance Fields (NeRF) to perform three-dimensional reconstruction by optimizing Multi-layer Perceptron (MLP) representing scenes from multi-view images. We applied this approach to reconstruct our own small object models and bladder phantoms, validating its applicability. Experimentation with small object models demonstrated differences in reconstruction results due to internal textures and shapes, while experimentation with bladder phantoms confirmed reconstruction results in environments similar to actual examination videos.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2024-CVIM-238, 号 43, p. 1-6, 発行日 2024-05-08
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会