전체 글
스타트업 6년차 Computer Vision 엔지니어. 논문 리뷰 및 코딩 삽질 등을 공유하고 있습니다. Pose Estimation을 주로 하고 있어요. LinkedIn : https://www.linkedin.com/in/wooil-jang-7b2853193/
-
Image Retrieval(Metric Learning)에 관해 공부하던 중, 인상깊게 본 논문이 있어 소개드립니다. 올해(2022년) 네이버랩스 유럽에서 발표된 논문입니다. 먼저 Image Retrieval(metric learning)은 쇼핑사이트(네이버, 쿠팡 등)에서 동일한 상품을 하나의 카탈로그로 묶어서 고객에게 보여주는 데도 사용될 수 있는 방법입니다. 그 절차를 간단하게 정리하자면, 이미지에서 CNN과 같은 네트워크를 거쳐서 최종 feature를 뽑고(softmax layer 이전 상태), 그 feature들을 모아서 KNN과 같은 방식을 사용해서 유사 제품을 찾는 형태라고 할 수 있습니다. https://github.com/KevinMusgrave/pytorch-metric-learnin..
Image Retrieval(Metric Learning) 기본 - LEARNING SUPER-FEATURES FOR IMAGE RETRIEVALImage Retrieval(Metric Learning)에 관해 공부하던 중, 인상깊게 본 논문이 있어 소개드립니다. 올해(2022년) 네이버랩스 유럽에서 발표된 논문입니다. 먼저 Image Retrieval(metric learning)은 쇼핑사이트(네이버, 쿠팡 등)에서 동일한 상품을 하나의 카탈로그로 묶어서 고객에게 보여주는 데도 사용될 수 있는 방법입니다. 그 절차를 간단하게 정리하자면, 이미지에서 CNN과 같은 네트워크를 거쳐서 최종 feature를 뽑고(softmax layer 이전 상태), 그 feature들을 모아서 KNN과 같은 방식을 사용해서 유사 제품을 찾는 형태라고 할 수 있습니다. https://github.com/KevinMusgrave/pytorch-metric-learnin..
2022.08.12 -
계속 트렌드를 봐야 하다 보니, 요즘 보는 사이트들이 어느 정도 정리가 됐다. 의외로 깃허브나 링크드인도 효과가 있었습니다. 1. paperswithcode.com https://paperswithcode.com/ Papers with Code - The latest in Machine Learning Papers With Code highlights trending Machine Learning research and the code to implement it. paperswithcode.com 머신러닝 개발자라면 다들 아시겠지만 관심 분야의 데이터셋을 정해놓고 한번씩 새로 올라온 거 없나 확인하거나, 홈 화면에서 새로 올라온 논문/코드들을 확인하는 용도로 사용합니다. 2. Github 깃허브에서 어..
AI 트렌드 보는 사이트계속 트렌드를 봐야 하다 보니, 요즘 보는 사이트들이 어느 정도 정리가 됐다. 의외로 깃허브나 링크드인도 효과가 있었습니다. 1. paperswithcode.com https://paperswithcode.com/ Papers with Code - The latest in Machine Learning Papers With Code highlights trending Machine Learning research and the code to implement it. paperswithcode.com 머신러닝 개발자라면 다들 아시겠지만 관심 분야의 데이터셋을 정해놓고 한번씩 새로 올라온 거 없나 확인하거나, 홈 화면에서 새로 올라온 논문/코드들을 확인하는 용도로 사용합니다. 2. Github 깃허브에서 어..
2022.08.03 -
Pose Estimation 분야 논문들을 보다 보니, Max Planck(막스플랭크) 연구소 논문들이 유독 많고, 올해 나온 논문들만 벌써 24개는 되네요! 그래서 오늘은 Pose Estimation 분야에서 주도적인 연구를 이끌어가고 있는 연구소인 MAX PLANCK의 2022년 상반기 논문들 중 Pose Estimation관련 논문들을 정리해보겠습니다. (2022-07-06 기준) 오늘은 간략하게 살펴볼 거라 디테일이 궁금하신 분들은 해당 논문을 직접 확인하시는 게 좋을 것 같습니다. 이제 따라오시죠! 자료 출처는 아래의 두 군데인데, 저는 아래 부분 (google scholar) 기준으로 설명하겠습니다. https://ps.is.mpg.de/publications/ Max Planck Instit..
MAX PLANCK 연구소 2022년 상반기 Pose Estimation 논문 요약Pose Estimation 분야 논문들을 보다 보니, Max Planck(막스플랭크) 연구소 논문들이 유독 많고, 올해 나온 논문들만 벌써 24개는 되네요! 그래서 오늘은 Pose Estimation 분야에서 주도적인 연구를 이끌어가고 있는 연구소인 MAX PLANCK의 2022년 상반기 논문들 중 Pose Estimation관련 논문들을 정리해보겠습니다. (2022-07-06 기준) 오늘은 간략하게 살펴볼 거라 디테일이 궁금하신 분들은 해당 논문을 직접 확인하시는 게 좋을 것 같습니다. 이제 따라오시죠! 자료 출처는 아래의 두 군데인데, 저는 아래 부분 (google scholar) 기준으로 설명하겠습니다. https://ps.is.mpg.de/publications/ Max Planck Instit..
2022.07.08 -
Hand4Whole 모델의 hand 모듈(Pose2Pose)과 PARE의 body 모듈을 결합한 결과를 출력하려고 한다. 여기서 문제는 Hand4Whole은 SMPL-X 기반, PARE는 smpl기반이라는 것이다. Hand4Whole의 body pose 파라미터(smpl-x)는 아래와 같다. torch.Size([1, 63]) PARE의 body pose 파라미터(smpl)은 다음과 같다. torch.Size([1, 23, 3, 3]) 이걸 [1, 63]에 집어넣어야 하는데... 주석을 보면 pare의 rotmat 파라미터는 "rotation in euler angles format (N,J,3,3)" 라고 적혀있다. gist에 정리해놓았던 게 있어서 이걸로 해결했다. 바로 [1, 69]로 바뀐다. bo..
python smplHand4Whole 모델의 hand 모듈(Pose2Pose)과 PARE의 body 모듈을 결합한 결과를 출력하려고 한다. 여기서 문제는 Hand4Whole은 SMPL-X 기반, PARE는 smpl기반이라는 것이다. Hand4Whole의 body pose 파라미터(smpl-x)는 아래와 같다. torch.Size([1, 63]) PARE의 body pose 파라미터(smpl)은 다음과 같다. torch.Size([1, 23, 3, 3]) 이걸 [1, 63]에 집어넣어야 하는데... 주석을 보면 pare의 rotmat 파라미터는 "rotation in euler angles format (N,J,3,3)" 라고 적혀있다. gist에 정리해놓았던 게 있어서 이걸로 해결했다. 바로 [1, 69]로 바뀐다. bo..
2022.06.23 -
TCMR 코드로 학습을 돌려보던 중 insta variety 데이터셋에서 유독 전처리 시간이 오래 걸렸다. #insta_utils.py image = np.expand_dims(sess1.run(tf.image.decode_jpeg(images_data[i], channels=3)), axis=0) 해당 코드는 tfrecord에서 이미지를 session run해서 읽어오고 있는데, 그냥 tfrecord -> jpg 이미지로 바꾼 뒤, 이미지를 읽도록 하니 엄청난 시간 단축이 되었다. image = np.expand_dims(cv2.imread('/home/Data/insta_variety_img/train/'+osp.basename(fname)+'/'+str(vid_idx)+'/'+str(i)+'.jpg..
tfrecord의 심각한 bottleneck (image read time 속도 지연 문제)TCMR 코드로 학습을 돌려보던 중 insta variety 데이터셋에서 유독 전처리 시간이 오래 걸렸다. #insta_utils.py image = np.expand_dims(sess1.run(tf.image.decode_jpeg(images_data[i], channels=3)), axis=0) 해당 코드는 tfrecord에서 이미지를 session run해서 읽어오고 있는데, 그냥 tfrecord -> jpg 이미지로 바꾼 뒤, 이미지를 읽도록 하니 엄청난 시간 단축이 되었다. image = np.expand_dims(cv2.imread('/home/Data/insta_variety_img/train/'+osp.basename(fname)+'/'+str(vid_idx)+'/'+str(i)+'.jpg..
2022.06.14 -
3d human pose estimation에서 depth ambiguity 문제를 해결하기 위해 depth estimation을 사용하면 어떨까? 싶었는데 시도를 해본 논문이 있어서 간단히 정리해볼까 합니다. On the role of depth predictions for 3D human pose estimation 21년 3월 발표된 논문으로 결과를 먼저 살펴보면, 문경식 님이 2019년 발표했던 3DMPPE_POSENET보다 좀 더 좋은 성능을 보이고 있습니다. 최근의 3D Human Pose Estimation 모델들은 아래 링크에서 확인하실 수 있습니다. https://paperswithcode.com/sota/3d-human-pose-estimation-on-human36m Papers wi..
depth prediction을 이용한 3d human pose estimation3d human pose estimation에서 depth ambiguity 문제를 해결하기 위해 depth estimation을 사용하면 어떨까? 싶었는데 시도를 해본 논문이 있어서 간단히 정리해볼까 합니다. On the role of depth predictions for 3D human pose estimation 21년 3월 발표된 논문으로 결과를 먼저 살펴보면, 문경식 님이 2019년 발표했던 3DMPPE_POSENET보다 좀 더 좋은 성능을 보이고 있습니다. 최근의 3D Human Pose Estimation 모델들은 아래 링크에서 확인하실 수 있습니다. https://paperswithcode.com/sota/3d-human-pose-estimation-on-human36m Papers wi..
2022.05.30