@techreport{oai:ipsj.ixsq.nii.ac.jp:00240463, author = {別宮, 広朗 and 水野, 涼介 and 北出, 卓也}, issue = {17}, month = {Oct}, note = {本研究では,動画に対するプロンプトベースのセグメンテーションモデルである SAM 2 の検出性能の改善を目的とし,一時的なシーン変化や対象領域の消失に対応する Reappearance Tracking SAM 2 (ReTrack-SAM 2) を提案する.SAM 2は,対象領域が一時的に画面から消えると,再出現時に領域検出性能が低下するという課題がある.この課題の原因は,SAM 2 は推論時に過去の推論結果を格納するメモリを利用しているものの,直前のメモリ情報に依存していることにあると考えられる.そこで本研究では,シーンの切り替わりによる対象領域の消失があっても,検出性能を維持するために,フレーム間の類似度に基づくメモリ選択機構と類似度の順位に基づくメモリの重み付けを提案する.ReTrack-SAM 2 は,対象領域が消失するシーンを含む動画データにおいて,SAM 2 と比較して平均 2% の IoU および F1 スコアの向上を実現し,特定の動画では IoU が最大で 86% 改善した.また,ReTrack-SAM 2 はシーン変化のない動画においても,IoU および F1 スコアで優れた結果を示した.}, title = {ReTrack-SAM 2: SAM 2における一時的なシーン変化に頑強な類似度ベースのメモリ選択機構}, year = {2024} }