https://tianyusong.com/2021/06/04/multiple-azure-kinect-extrinsic-calibration/ Extrinsic Calibration of Multiple Azure Kinect Cameras Azure Kinect has been released for over a year now and there are a lot of applications and researches utilizing this RGBD sensor to do amazing things. The benefits of using multiple sensors are wel… tianyusong.com 여러 카메라 합치기 (Calibration) 깃허브 소스 참고(https://github...

Pose Estimation 분야 논문들을 보다 보니, Max Planck(막스플랭크) 연구소 논문들이 유독 많고, 올해 나온 논문들만 벌써 24개는 되네요! 그래서 오늘은 Pose Estimation 분야에서 주도적인 연구를 이끌어가고 있는 연구소인 MAX PLANCK의 2022년 상반기 논문들 중 Pose Estimation관련 논문들을 정리해보겠습니다. (2022-07-06 기준) 오늘은 간략하게 살펴볼 거라 디테일이 궁금하신 분들은 해당 논문을 직접 확인하시는 게 좋을 것 같습니다. 이제 따라오시죠! 자료 출처는 아래의 두 군데인데, 저는 아래 부분 (google scholar) 기준으로 설명하겠습니다. https://ps.is.mpg.de/publications/ Max Planck Instit..

3d human pose estimation에서 depth ambiguity 문제를 해결하기 위해 depth estimation을 사용하면 어떨까? 싶었는데 시도를 해본 논문이 있어서 간단히 정리해볼까 합니다. On the role of depth predictions for 3D human pose estimation 21년 3월 발표된 논문으로 결과를 먼저 살펴보면, 문경식 님이 2019년 발표했던 3DMPPE_POSENET보다 좀 더 좋은 성능을 보이고 있습니다. 최근의 3D Human Pose Estimation 모델들은 아래 링크에서 확인하실 수 있습니다. https://paperswithcode.com/sota/3d-human-pose-estimation-on-human36m Papers wi..

이번에는 신체(body) 뿐만 아니라, 손, 얼굴을 포함한 전신에 대한 3D Pose를 예측하는 whole body pose estimation에 대해 알아보겠습니다. Challenges hand가 주로 어렵다 : 움직임이 많고, 작기 때문, 관절 수도 바디랑 비슷하다 (한 손당 21개 관절) 기존 방식 : Body estimator, Hand estimator, Face estimator 따로 해서 integration해서 합쳤음 (통으로 하나로 하면 ResNet에 넣었다고 치면, 8x8로 줄고, hand/face의 크기가 1px 정도라 그냥 crop해서 따로따로 하는 게 더 성능 좋음) 고려해야할 사항 3D body, hand의 연결 : 손목 rotation을 잘 추정해야 연결을 잘 할 수 있음 간단..

이미지에서만 하던 3D Pose estimation에서 한 차원 더 나아가, 영상에서의 3D Pose Estimation에 대해 알아보겠습니다. 가장 쉬운 방법 매 프레임마다 단일 이미지에서 inference motion blur가 심할 때는 단일 이미지만 보고 3D human pose estimation을 하기가 매우 어려움 단일 이미지에서의 3D human pose estimator는 주변 프레임 정보를 활용할 수 없기 때문에, 주변 프레임 정보를 활용할 수 있는 temporal module이(LSTM, GRU, GraphCNN, Transformer, …) 필요 temporal module 여러 시간대의 정보를 조합할 수 있는 모듈 단일 프레임 + 주변 프레임 정보까지 활용 가능 같은 데이터셋이면 ..

여러 사람의 3D Pose estimation에서 가장 중요한 부분은 그 사람의 3D 위치입니다. Top-down 방식을 쓰든, Bottom-up 방식을 쓰든 결국 사람의 3D joint를 추정하고, 그 사람이 전체 3D 공간에서 어디에 위치해있는지를 맞춰주는 게 중요한데요. 위 그림의 ROMP 모델의 경우는 Bottom-up 방식을 사용해서, 각 pixel마다 해당하는 사람의 center point가 어디 있는지를 추정하고 있습니다. 대표적인 모델로, Meta 문경식님의 3DMPPE(2019) 논문을 소개해보겠습니다. 3DMPPE (2019) 이 논문은 Root joint의 위치화까지 학습 기반으로 하게끔 처음으로 제안한 논문입니다. 기존의 방식들은 3D to 2D fitting 방식을 적용했는데요. ..