2024-03-29T16:52:23Zhttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_oaipmhoai:ipsj.ixsq.nii.ac.jp:000828782024-03-29T05:26:34Z01164:03616:06696:06821
サッカー自由視点映像の生成を目的としたオブジェクト追跡Precisely Identified Object Tracking for Rendering Free-viewpoint Video in a Large Outdoor Space such as Soccer Gamejpnhttp://id.nii.ac.jp/1001/00082876/Technical Reporthttps://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=82878&item_no=1&attribute_id=1&file_no=1Copyright (c) 2012 by the Institute of Electronics, Information and Communication EngineersThis SIG report is only available to those in membership of the SIG.(株)KDDI研究所(株)KDDI研究所三功, 浩嗣内藤, 整サッカー等の屋外大空間で実施されるスポーツ競技を,複数カメラで撮影した多視点映像を対象とした自由視点映像の合成精度向上を目指し,各カメラ映像における選手やボール等のオブジェクト領域の抽出と追跡,および複数カメラ間でのオブジェクト ID 対応付けに基づく自由視点映像の生成手法について提案する.具体的には,各カメラ映像のフレーム毎にオブジェクトどうしが重なるオクルージョンの有無を検出し,当該領域に含まれる各オブジェクトのテクスチヤ,およびフィールド上 2 次元世界座標を,他カメラ映像の同一フレーム,または同一カメラ映像における前後のフレームから取得される同一オブジェクトのテクスチャに基づき補間する自由視点映像のレンダリング方式を提案する.実際に屋外で複数カメラを用いて撮影されたサッカー多視点映像を用いた実験により,各オブジェクトのフレーム間における ID 保持に関する観点において,従来手法に比べた追跡精度の向上を確認すると共に,オクルージョン領域における自由視点映像の合成画質改善を確認した.In this paper,we propose a robust method of extracting precisely identified textures of multiple objects among multi-view cameras and consecutive frames for rendering an immersive free-viewpoint video in a large outdoor space such as a soccer stadium.For a free viewpoint video that provides viewers with an immersive experience,each object has to be identified consistently among all cameras for every frame to share textures of the same objects and replace them when an occlusion occurs.In order to achieve the above requirement,the proposed method extracts objects' silhouette regions and tracks each identified object by associating a tracking ID and a closed silhouette region for every camera.As the frame by frame process,the method checks whether or not occlusion occurs for each tracking region,and modifies the texture region by projecting the world coordinate of the object in 3D-space,which is estimated in another non-occluded camera if it occurs.Experimental results revealed that the proposed method successfully extracted identified textures of multiple objects and improved the robustness for occlusions compared to the conventional method.Furthermore,it was also confirmed that the free-viewpoint video was rendered precisely with the proposed approach since the occluded regions were successfully reconstructed.AN10438399研究報告オーディオビジュアル複合情報処理(AVM)2012-AVM-775162012-07-122012-07-05