PyTorch로 딥러닝을 배운지 얼마 안됐나요? 아마 이런 코드를 시도때도 없이 봤을 겁니다. self.layer1 = nn.Linear(1100, 100) self.layer2 = nn.Linear(100, 100) 앞 layer와 뒷 layer가 전부 연결되어있다고 해서 Fully Connected Layer라고 하는데요. 사실 CNN 모델들이나 대부분 잘되는 모델 보면 Fully Connected Layer가 별로 없습니다. 왜 그럴까요? Fully Connected Layer는 이런 문제가 있어서 그렇습니다. 계산 효율성이 떨어짐 : 모든 노드 간의 관계를 다 계산해야 하기 때문 학습 데이터에 overfitting 될 수 있음 : 모든 노드 간의 관계 계산 → 파라미터가 너무 많아짐 → 모델이 너..
Fully Connected layer의 문제점과 Convolution 연산 정리
PyTorch로 딥러닝을 배운지 얼마 안됐나요? 아마 이런 코드를 시도때도 없이 봤을 겁니다. self.layer1 = nn.Linear(1100, 100) self.layer2 = nn.Linear(100, 100) 앞 layer와 뒷 layer가 전부 연결되어있다고 해서 Fully Connected Layer라고 하는데요. 사실 CNN 모델들이나 대부분 잘되는 모델 보면 Fully Connected Layer가 별로 없습니다. 왜 그럴까요? Fully Connected Layer는 이런 문제가 있어서 그렇습니다. 계산 효율성이 떨어짐 : 모든 노드 간의 관계를 다 계산해야 하기 때문 학습 데이터에 overfitting 될 수 있음 : 모든 노드 간의 관계 계산 → 파라미터가 너무 많아짐 → 모델이 너..
2023.12.12