depth prediction을 이용한 3d human pose estimation

3d human pose estimation에서 depth ambiguity 문제를 해결하기 위해 depth estimation을 사용하면 어떨까? 싶었는데 시도를 해본 논문이 있어서 간단히 정리해볼까 합니다.

 

On the role of depth predictions for 3D human pose estimation

결과

21년 3월 발표된 논문으로 결과를 먼저 살펴보면, 문경식 님이 2019년 발표했던 3DMPPE_POSENET보다 좀 더 좋은 성능을 보이고 있습니다.

최근의 3D Human Pose Estimation 모델들은 아래 링크에서 확인하실 수 있습니다.

https://paperswithcode.com/sota/3d-human-pose-estimation-on-human36m

Papers with Code - Human3.6M Benchmark (3D Human Pose Estimation)

 

아키텍처

• 해당 논문 모델의 대략적인 아키텍처는 single RGB 이미지를 받아서 depth map과 heap map을 예측한 뒤 concat하여 3d pose를 만들고 있습니다.
• heatmap은 2d pose estimator를 쓰고 있고, depth map estimator는 Unsupervised Depth Estimation 코드를 사용했고, 유사한 어떤 모델로든 대체가 가능하다고 하고 있습니다.
• dataset은 위의 결과 이미지를 보면 알 수 있듯이, Human3.6M을 사용했는데, 이 데이테셋은 depth map이 없으므로 NYU V2 데이터셋에 학습된 모델의 prediction 값을 사용한 것 같습니다. 

 

---

참고자료

https://arxiv.org/pdf/2103.02521.pdf