@article{oai:ipsj.ixsq.nii.ac.jp:00225609,
 author = {大日方, 太一 and 河本, 浩明 and 山海, 嘉之 and Taichi, Obinata and Hiroaki, Kawamoto and Yoshiyuki, Sankai},
 issue = {4},
 journal = {情報処理学会論文誌},
 month = {Apr},
 note = {人間の作業に起因するミスはときに重大な事故につながるため，作業のモニタリングシステムは有用であると考えられる．作業には全身の動作で行われるものと手元の動作で行われるものがあり，全身と手元の情報を取得可能な状況下で手元の細かな動作を含めた動作認識ができれば，システムは様々な作業のモニタリングが可能になると考えられる．そこで本研究では，作業のモニタリングシステムの実現に向け，非接触に全身と手元の情報を取得可能な状況下で全身と手元の動作を認識可能な手法の提案・研究開発を行い，実際の手洗い作業での試験を通して提案システムによる作業の実施判断の実現可能性を明らかにすることを目的とする．モニタリングが必要な作業として，手指の複雑な動きがある手洗い作業を対象に提案システムを構築した．RGB-Dカメラを用いて非接触に全身と手指の骨格三次元座標を取得し，その骨格情報から一連の作業を認識するモニタリングシステムを開発した．動作の認識に使用したモデルは，手指と全身の骨格情報のそれぞれから特徴量を抽出・統合することで，手元と全身の動作を同時に認識可能にしている．手洗い作業の試験より，提案システムは手洗い動作をF値のマクロ平均87.1%で認識でき，一連の手洗い作業を高い精度で推定し，不足した動作を正しく判定できることを確認した．以上より，提案システムによる作業の実施判断の実現可能性を確認した．, Human errors sometimes lead to serious accidents; hence a monitoring system is useful. If a monitoring system recognizes fine-detailed actions under conditions where both whole-body and hand movements are captured, it could monitor variety of works. In this study, we propose and develop a monitoring system that can recognize fine-detailed actions under conditions where both whole-body and hand movements are captured without contact devices. Furthermore, we confirm a feasibility of the proposed monitoring system through actual experiments. As an application example, the system was designed for handwashing, which consists of complex hand movements. We developed a monitoring system that acquires 3D skeletal coordinates of the whole-body including fingers without contact and recognizes a series of actions based on that skeletal information by using an RGB-D camera. An action recognition model enables recognition of hand and whole-body movements concurrently by extracting and integrating features from skeletal information of the fingers and the whole-body, respectively. Through the experiments, we verified that the proposed system could recognize handwashing actions with a macro-average F-score of 87.1%, estimate a series of handwashing actions with high accuracy, and correctly determine the missing actions. In conclusion, we confirmed the feasibility of the proposed monitoring system.},
 pages = {926--940},
 title = {手洗い作業のモニタリングに向けた全身と手元の動作認識手法の研究開発},
 volume = {64},
 year = {2023}
}