여러 사람의 3D Pose estimation에서 가장 중요한 부분은 그 사람의 3D 위치입니다. Top-down 방식을 쓰든, Bottom-up 방식을 쓰든 결국 사람의 3D joint를 추정하고, 그 사람이 전체 3D 공간에서 어디에 위치해있는지를 맞춰주는 게 중요한데요. 위 그림의 ROMP 모델의 경우는 Bottom-up 방식을 사용해서, 각 pixel마다 해당하는 사람의 center point가 어디 있는지를 추정하고 있습니다. 대표적인 모델로, Meta 문경식님의 3DMPPE(2019) 논문을 소개해보겠습니다. 3DMPPE (2019) 이 논문은 Root joint의 위치화까지 학습 기반으로 하게끔 처음으로 제안한 논문입니다. 기존의 방식들은 3D to 2D fitting 방식을 적용했는데요. ..

3D Human Pose Estimation 중 Model-free 방식의 접근법을 사용한 논문들을 정리해보겠습니다. 1. I2L-MeshNet (2020) 기존의 3D 관절 좌표 추정 기법들 중에서는 voxel 기반의 방법들이 성과가 좋았다. 하지만 voxel은 메모리를 매우 많이 차지하기 때문에, model-free 기법에서 6890개에 달하는 SMPL vertex들을 추정하는 데에는 무리가 있다. (Mesh 기반은 7000개 가까이라, voxel 기반으로 하기는 메모리 올라가지도 않음) 메모리 문제 해결을 위해 lixel(line+pixel) baed 1d heatmap 제안했다. 구체적으로, image feature에서 axis별로 average해서 x, y, z 1D heatmap을 각각 얻고 ..

3D Human Pose Estimation 방법론을 적용한 논문들 중 Model-based 방식을 적용한 대표적인 논문들을 정리해보겠습니다. 1. HMR (End-to-end Recovery of Human Shape and Pose) - 2018 관절의 회전을 NN를 통해 최초로 얻어낸 모델 in-the-wild의 weak supervision : 2D reprojection loss 2D supervision으로 인해 발생하는 해부학적으로 불가능한 포즈를 adversarial loss로 해결 adversarial loss : real human인지 아닌지 판별하는 Discriminator 1) 첫 stage 에서는 mocap dataset은 real human, network output은 fals..

3D Human pose estimation에는 Model-free, Model-based 2가지 접근법이 있는데, 이에 관한 설명과 관련 논문들을 살펴보겠습니다. 먼저 두 방법론의 큰 개념은 아래와 같은데, 가장 큰 차이점은 human model을 forward할 때 사용하냐 안하냐 차이입니다. 1. Model-based Model-based의 경우, 위의 그림처럼 입력 이미지로부터 3D human model의 parameter를 추청하는 형태입니다. pose와 shape 부분의 파라미터를 학습하고, 3D human model은 fixed 상태로 그대로 사용합니다. 2. Model-free 반면에 Model-free는 3D human model을 사용하지 않고, 입력 이미지로부터 직접적으로 3D mes..

3D Human Pose Estimation은 일반적으로 두가지를 통칭해서 말한다. 1. 3D 관절 좌표 : 위 그림의 왼쪽과 같은 3D 관절 좌표를 추정하는 방식 2. 3D 관절 회전 : 위 그림의 오른쪽과 같은 3D 표면(surface, mesh)을 표현하는 방식, x/y/z 각도 3차원과 위치 3차원으로 6D라고 부르기도 한다. 3D 관절의 회전(각도)은 팔꿈치라고 치면, 좌우, 위아래, 앞뒤 방향이라고 볼 수 있다. 위 그림에 있는 사람의 맨몸 형태를 3D Human Mesh라 하는데, 3D Human Mesh는 3D 관절 회전(Pose)과 3D 길이/체형(shape)으로 구성되어 있다. 최종적으로 위의 그림처럼 3D Human Mesh를 얻어내는 모델을 3D Human Model이라 하는데, P..

2D Human Pose Estimation 분야는 굉장히 많은 발전이 이뤄져 왔고, 현재 매우 높은 성능을 내고 있습니다. 대표적인 접근법으로는 Top-down 방식과 Bottom-up 방식이 있는데요. Top-down : Top-down 방식은 이미지에서 YOLO나 Mask R-CNN과 같은 Object Detector를 사용해 사람을 detection한 뒤, crop and resize해서 single person pose estimation을 진행하는 방식입니다. - 최근의 Human detection network는 매우 정확해서 detect를 하지 못하는 경우가 거의 없습니다. 위처럼 사람 간 겹쳐서 일부 폐색이 일어나는 경우도 마찬가지죠. - Bottom-up 방식 대비 정확성이 더 높습니다..