microsoft에서 발표한 mesh recovery 관련 논문입니다. 지난 리뷰에서 살펴본 "End-to-End Human Pose and Mesh Reconstruction with Transformers" 논문의 후속 논문입니다. 이 논문에서는 graph-convolution-reinforced transformer, Mesh Graphormer라고 소개하고 있는데요. 어떻게 바뀌었는지 살펴보겠습니다. 이미지가 다소 정신없는 점 양해 부탁드립니다.. (출처 : https://github.com/microsoft/MeshGraphormer) abstract를 보면 local 및 global 상호 작용을 효과적으로 모델링하기 위해 transformer를 활용해서 graph convolution과 sel..

2020년 3월 발표된 논문으로 2D joint 데이터를 받아서 내부적으로 Graph attention 시공간적 convolution 네트워크(GAST) 를 사용하여 영상의 시간적 요소와 이미지 자체의 공간적인 feature를 이용한 논문입니다. https://www.youtube.com/watch?v=2r6rOQ0uHww 발표영상과 같이 보시면 좋을 것 같아 공유드립니다. 1. Introduction 2D Pose에서 3D pose를 추정하는 기존 방식의 문제점 1) depth ambiguity(깊이 모호성) 2) self-occlusions : 특정 자세 또는 시점에 의해 발생하는 신체 일부의 폐색 3) 추론 오류 : (c), (d)에 표시된 것처럼 정확하지 않은 포즈 모델로 인해 발생함 joint ..

https://www.youtube.com/watch?v=fG2Wf2f7UoA&t=1s 발표자료 발표 영상을 참고하시면 좋을 것 같아 공유드립니다. 1. Introduction 이미지 기반 augmentation과 같은 기존 방식보다 다양한 변환을 위해 dataset에 있는 다른 이미지의 특징에서 추출된 대표 프로토타입의 작은 세트에 대한 soft-attention을 통해 입력 이미지 특징을 개선하고 보강하는 방법을 학습하는 모듈을 제안한다. 제안한 module은 feature에서 학습되고 수행되기 때문에 입력 이미지에 더 다양하고 추상적인 변환을 적용할 수 있다. (클래스별 프로토타입 추출 : k-means) 이 모델에서는 consistency regularization을 할 때 기존의 이미지 기반 a..

microsoft에서 낸 transformer 기반의 mesh reconstruction 논문입니다. https://www.youtube.com/watch?v=feCWifOxBi0 발표 영상을 같이 보시면 좋을 것 같아 공유드립니다. 1. Introduction SMPL과 같은 parametric 모델을 사용하고 그 모델의 paramter를 학습하는 모델 : 많이 사용되고, 좋은 성과가 나타나고 있지만, 결국 그 모델에 의존하기 때문에 Pose와 shape 표현이 어느 정도 제한되어 있다. parametric 모델을 사용하지 않는 경우 : graph convolution neural network을 이용해서 인접한 점들의 상호작용을 모델링하거나, 1D heatmap으로 vertex 좌표를 regress한..

https://paperswithcode.com/sota/weakly-supervised-3d-human-pose-estimation-on Weakly supervised 3d human pose estimation SOTA 발표영상과 함께 보시면 좋을 것 같아 공유합니다. https://www.youtube.com/watch?v=rfpw90_3IDQ 1. Introduction 기존 augmentation 방식 : 위의 이미지에서 보여지는 기존 연구들의 pose augmentation 방식은 이미지를 crop하거나 중간에 다른 object를 합성하는 방식을 사용하고 있습니다. (하지만 이 케이스의 경우 2D pose를 3D pose로 lifting하는 거라 다른 방식의 사용이 가능하고, 이 논문에서는 ..

2020년 8월에 나온 3D pose estimation 논문인 "Monocular, One-stage, Regression of Multiple 3D People" 논문을 살펴보도록 하겠습니다. 발표영상과 함께 보시면 좋을 것 같아 공유합니다. https://www.youtube.com/watch?v=thPQvC3arts 현 시점(2021/08/05) 기준 3DPW 데이터셋에서 2위, 소스가 오픈된 것 중에서는 1위를 기록하고 있는 논문입니다. Introduction 최근에는 monocular 상태에서의 3D pose 및 shape 추정이 사람 1명이 있는 영상/이미지에서 많은 발전이 이뤄졌다. 하지만 일반적인 영상에서 봤을 때 여러 사람이나 환경들로 인한 폐색이 발생했을 때에 취약한 문제가 있다. 기..