인공지능 모델 오픈소스를 보다보면 항상 'ReLU' 가 있는 걸 볼 수 있습니다. 보통 딥러닝을 처음 공부할 때는, sigmoid나 softmax 등 다른 activation function도 많이 배우게 되죠. 근데 왜 대부분 ReLU 를 쓰는 걸까요? 오늘 이 글에서는 왜 ReLU가 많이 쓰이는지, ReLU는 어떤 한계가 있는지를 같이 설명해 보겠습니다. 이 글에서 다뤄볼 내용의 순서는 아래와 같습니다. Vanishing Gradient 문제 ReLU Leaky ReLU ReLU의 의문점 1. Vanishing Gradient 문제 ReLU 전에는 Sigmoid를 활성화 함수로 많이 사용했습니다. 이 때는 위의 그림에서 보이는 것처럼 x 값이 커지거나 작아질수록 미분값(기울기)이 0이 되는 걸 볼 수..

PyTorch로 딥러닝을 배운지 얼마 안됐나요? 아마 이런 코드를 시도때도 없이 봤을 겁니다. self.layer1 = nn.Linear(1100, 100) self.layer2 = nn.Linear(100, 100) 앞 layer와 뒷 layer가 전부 연결되어있다고 해서 Fully Connected Layer라고 하는데요. 사실 CNN 모델들이나 대부분 잘되는 모델 보면 Fully Connected Layer가 별로 없습니다. 왜 그럴까요? Fully Connected Layer는 이런 문제가 있어서 그렇습니다. 계산 효율성이 떨어짐 : 모든 노드 간의 관계를 다 계산해야 하기 때문 학습 데이터에 overfitting 될 수 있음 : 모든 노드 간의 관계 계산 → 파라미터가 너무 많아짐 → 모델이 너..

https://tianyusong.com/2021/06/04/multiple-azure-kinect-extrinsic-calibration/ Extrinsic Calibration of Multiple Azure Kinect Cameras Azure Kinect has been released for over a year now and there are a lot of applications and researches utilizing this RGBD sensor to do amazing things. The benefits of using multiple sensors are wel… tianyusong.com 여러 카메라 합치기 (Calibration) 깃허브 소스 참고(https://github...

Image Retrieval(Metric Learning)에 관해 공부하던 중, 인상깊게 본 논문이 있어 소개드립니다. 올해(2022년) 네이버랩스 유럽에서 발표된 논문입니다. 먼저 Image Retrieval(metric learning)은 쇼핑사이트(네이버, 쿠팡 등)에서 동일한 상품을 하나의 카탈로그로 묶어서 고객에게 보여주는 데도 사용될 수 있는 방법입니다. 그 절차를 간단하게 정리하자면, 이미지에서 CNN과 같은 네트워크를 거쳐서 최종 feature를 뽑고(softmax layer 이전 상태), 그 feature들을 모아서 KNN과 같은 방식을 사용해서 유사 제품을 찾는 형태라고 할 수 있습니다. https://github.com/KevinMusgrave/pytorch-metric-learnin..

Pose Estimation 분야 논문들을 보다 보니, Max Planck(막스플랭크) 연구소 논문들이 유독 많고, 올해 나온 논문들만 벌써 24개는 되네요! 그래서 오늘은 Pose Estimation 분야에서 주도적인 연구를 이끌어가고 있는 연구소인 MAX PLANCK의 2022년 상반기 논문들 중 Pose Estimation관련 논문들을 정리해보겠습니다. (2022-07-06 기준) 오늘은 간략하게 살펴볼 거라 디테일이 궁금하신 분들은 해당 논문을 직접 확인하시는 게 좋을 것 같습니다. 이제 따라오시죠! 자료 출처는 아래의 두 군데인데, 저는 아래 부분 (google scholar) 기준으로 설명하겠습니다. https://ps.is.mpg.de/publications/ Max Planck Instit..

3d human pose estimation에서 depth ambiguity 문제를 해결하기 위해 depth estimation을 사용하면 어떨까? 싶었는데 시도를 해본 논문이 있어서 간단히 정리해볼까 합니다. On the role of depth predictions for 3D human pose estimation 21년 3월 발표된 논문으로 결과를 먼저 살펴보면, 문경식 님이 2019년 발표했던 3DMPPE_POSENET보다 좀 더 좋은 성능을 보이고 있습니다. 최근의 3D Human Pose Estimation 모델들은 아래 링크에서 확인하실 수 있습니다. https://paperswithcode.com/sota/3d-human-pose-estimation-on-human36m Papers wi..