3D Human Pose Estimation 방법론을 적용한 논문들 중 Model-based 방식을 적용한 대표적인 논문들을 정리해보겠습니다. 1. HMR (End-to-end Recovery of Human Shape and Pose) - 2018 관절의 회전을 NN를 통해 최초로 얻어낸 모델 in-the-wild의 weak supervision : 2D reprojection loss 2D supervision으로 인해 발생하는 해부학적으로 불가능한 포즈를 adversarial loss로 해결 adversarial loss : real human인지 아닌지 판별하는 Discriminator 1) 첫 stage 에서는 mocap dataset은 real human, network output은 fals..

3D Human pose estimation에는 Model-free, Model-based 2가지 접근법이 있는데, 이에 관한 설명과 관련 논문들을 살펴보겠습니다. 먼저 두 방법론의 큰 개념은 아래와 같은데, 가장 큰 차이점은 human model을 forward할 때 사용하냐 안하냐 차이입니다. 1. Model-based Model-based의 경우, 위의 그림처럼 입력 이미지로부터 3D human model의 parameter를 추청하는 형태입니다. pose와 shape 부분의 파라미터를 학습하고, 3D human model은 fixed 상태로 그대로 사용합니다. 2. Model-free 반면에 Model-free는 3D human model을 사용하지 않고, 입력 이미지로부터 직접적으로 3D mes..

3D Human Pose Estimation은 일반적으로 두가지를 통칭해서 말한다. 1. 3D 관절 좌표 : 위 그림의 왼쪽과 같은 3D 관절 좌표를 추정하는 방식 2. 3D 관절 회전 : 위 그림의 오른쪽과 같은 3D 표면(surface, mesh)을 표현하는 방식, x/y/z 각도 3차원과 위치 3차원으로 6D라고 부르기도 한다. 3D 관절의 회전(각도)은 팔꿈치라고 치면, 좌우, 위아래, 앞뒤 방향이라고 볼 수 있다. 위 그림에 있는 사람의 맨몸 형태를 3D Human Mesh라 하는데, 3D Human Mesh는 3D 관절 회전(Pose)과 3D 길이/체형(shape)으로 구성되어 있다. 최종적으로 위의 그림처럼 3D Human Mesh를 얻어내는 모델을 3D Human Model이라 하는데, P..

2D Human Pose Estimation 분야는 굉장히 많은 발전이 이뤄져 왔고, 현재 매우 높은 성능을 내고 있습니다. 대표적인 접근법으로는 Top-down 방식과 Bottom-up 방식이 있는데요. Top-down : Top-down 방식은 이미지에서 YOLO나 Mask R-CNN과 같은 Object Detector를 사용해 사람을 detection한 뒤, crop and resize해서 single person pose estimation을 진행하는 방식입니다. - 최근의 Human detection network는 매우 정확해서 detect를 하지 못하는 경우가 거의 없습니다. 위처럼 사람 간 겹쳐서 일부 폐색이 일어나는 경우도 마찬가지죠. - Bottom-up 방식 대비 정확성이 더 높습니다..

Human Pose Estimation은 다양한 분야에 사용되고 있는데 대표적인 분야들을 살펴보면 다음과 같습니다. 1. Person Re-ID : 쿼리로 오는 두 사람의 이미지가 같은 사람인지를 판단하는 방법 2. High-fidelity rendering : VR 장비를 서로 끼고, 상대방의 얼굴이 내 앞에 3D로 렌더링되는 것 3. Human action recognition : 비디오가 들어왔을 때, 포즈 추정하고, 어떤 행동을 하는지 추정하는 방법 4. Motion Transfer : 하나의 비디오, 하나의 사진 -> 사진에 있는 사람이 비디오에 있는 모션처럼 움직이도록 5. Human image manipulation : 옷의 색, texture, 머리색 등을 변경 in the wild : 스..

핸즈온 머신러닝(handsonml) 소스 실행 중 위와 같은 에러가 발생해서 해결했다. from scipy.stats import reciprocal from sklearn.model_selection import RandomizedSearchCV param_distribs = { "n_hidden": [0, 1, 2, 3], "n_neurons": np.arange(1, 100) .tolist(), "lr": reciprocal(3e-4, 3e-2) .rvs(1000).tolist(), } rnd_search_cv = RandomizedSearchCV(keras_reg, param_distribs, n_iter=10, cv=3, verbose=2) rnd_search_cv.fit(X_train, y_t..