Hand4Whole 모델의 hand 모듈(Pose2Pose)과 PARE의 body 모듈을 결합한 결과를 출력하려고 한다.
여기서 문제는 Hand4Whole은 SMPL-X 기반, PARE는 smpl기반이라는 것이다.
Hand4Whole의 body pose 파라미터(smpl-x)는 아래와 같다.
torch.Size([1, 63])
PARE의 body pose 파라미터(smpl)은 다음과 같다.
torch.Size([1, 23, 3, 3])
이걸 [1, 63]에 집어넣어야 하는데...
주석을 보면 pare의 rotmat 파라미터는 "rotation in euler angles format (N,J,3,3)" 라고 적혀있다.
gist에 정리해놓았던 게 있어서 이걸로 해결했다.
바로 [1, 69]로 바뀐다.
body_pose_pare = rotation_matrix_to_angle_axis(pare_output['body_pose'].reshape(-1, 3, 3)).reshape(batch_size, -1)