手指画像の対照学習による埋め込みに基づいた指先の3次元座標推定

• Item type: SIG Technical Reports(1)
• 公開日: 2024-01-18
• タイトル: 手指画像の対照学習による埋め込みに基づいた指先の3次元座標推定
• タイトル / 言語: en
• タイトル: Estimation of 3D Coordinates of Fingertips using Contrastive Embeddings from Hand Images
• 言語: jpn
• 資源タイプ / 資源タイプ識別子: http://purl.org/coar/resource_type/c_18gh
• 資源タイプ: technical report
• 著者所属: 千葉大学大学院融合理工学府
• 著者所属: 千葉大学大学院工学研究院
• 著者所属: 千葉大学大学院工学研究院
• 著者所属(英): en
• 著者所属(英): Chiba University Graduate School of Science and Engineering
• 著者所属(英): en
• 著者所属(英): Chiba University Graduate School of Engineering
• 著者所属(英): en
• 著者所属(英): Chiba University Graduate School of Engineering
• 著者名: 阿部, 竜弥; 梅澤, 猛; 大澤, 範高
• 著者名(英): Tatsuya, Abe; Takeshi, Umezawa; Noritaka, Osawa
• 論文抄録 / 内容記述タイプ: Other
• 論文抄録 / 内容記述: 仮想現実/拡張現実空間内でオブジェクトを手指によって操作するときに必要となる指先の 3 次元座標を手指画像から推定する手法を評価した．手指画像から指先の 3 次元座標を推定する方法として深層学習は有効であるが，精度と汎化性能が高い推定モデルの構築には大量のデータ収集が必要となる．自己教師あり学習の一種である対照学習を使ったモデルを基に，少量の手指画像を用いた教師あり学習でファインチューニングした推定モデルと，事前に対照学習していない教師あり学習で構築した推定モデルを比較し，それぞれの推定精度を評価した．対照学習のアーキテクチャとして SimCLR を採用し，画像サイズやコントラストのランダムな変換によって元のデータを拡張することで，表現学習を行った．手掌画像を用いて指先が確認できる状態で推定した場合を 3 次元座標推定の現時点での基準とし，手背画像を用いて指先が隠れる状態で推定した場合と比較することで，推定精度を評価した．結果から，表現学習を用いた推定モデルによる推定精度向上の可能性と今後の課題を明らかにした．
• 論文抄録(英) / 内容記述タイプ: Other
• 論文抄録(英) / 内容記述: This study evaluated a method for estimating the 3D coordinates of fingertips from hand images when manipulating objects in a virtual/mixed reality space. Deep learning is effective for estimating the 3D coordinates of fingertips from hand images, but a large amount of data collection is required to construct an estimation model with high accuracy and generalization performance. We compared an estimation model, which is based on a pre-trained model using contrastive learning and fine-tuned with supervised learning using a small amount of hand images, with an estimation model constructed using supervised learning without contrastive learning and evaluated the estimation accuracy of each. We adopted SimCLR as the architecture for contrastive learning and performed representation learning by augmenting the original data with random transformations of image size and contrast. We used the performance of estimation from palm images which include fingertips as a baseline, and compared it with the performance of estimation from images of the back of hand where the fingertips are hidden. From the results, we have clarified the potential for improving estimation accuracy using a model that employs representation learning, as well as the challenges to be addressed in the future.
• 書誌レコードID / 収録物識別子タイプ: NCID
• 書誌レコードID / 収録物識別子: AA11131797
• 書誌情報: 研究報告コンピュータビジョンとイメージメディア（CVIM）; 巻 2024-CVIM-236, 号 10, p. 1-6, 発行日 2024-01-18
• ISSN / 収録物識別子タイプ: ISSN
• ISSN / 収録物識別子: 2188-8701
• Notice: SIG Technical Reports are nonrefereed and hence may later appear in any journals, conferences, symposia, etc.
• 出版者 / 言語: ja
• 出版者: 情報処理学会