CS/딥러닝3 [논문 리뷰] AlexNet(2012) 0. Why We Read 우선, 논문리뷰에 앞서, AlexNet이 왜 딥러닝 필수논문으로 의미를 가지는지를 알아보자. AlexNet은 2012 이미지분류대회에서 딥러닝을 사용하여 압도적인 성능으로 1위를 차지하였다. CNN구조와 LeLU함수, 효과적인 GPU사용, Drop Out 등 매우 효과적인 기법들이 대거 등장하였다. 이들은 현재까지도 많은 연구에서 그 성능이 입증된 방법들로, 이들이 거의 처음으로 공개된 논문이다. CNN은 기존의 Fully Connected 모델과 달리 필터를 통해 지역적인 특성을 뽑아서 더 적은 파라미터로 효과적인 성능을 내는 모델이다. CNN은 이미 알려진 구조지만, 딥러닝모델 자체가 계산비용이 비싸서 잘 쓰이지 않았다. 하지만 GPU의 성능이 향상되고, 규제법이 발전함에 .. 2023. 6. 21. 경사하강법 경사하강법은 볼록함수에서 극솟값을 찾아가는 방법입니다. 만약 볼록함수가 보장이 된다면 반드시 최적값에 도달할 수 있습니다. 볼록함수가 아니라면, 반드시 최적값에 도달한다는 보장은 없습니다. 만약 전역최솟값이 아닌 지역최솟값에 빠진다면 그 부분에서만 맴돌고 더이상 진전이 없습니다. 이러한 부분을 해결하기 위해 모멘텀 방식으로 지역해에 빠지는걸 방지하는 여러 규제가 적용됩니다. 이러한 규제는 이후에 소개합니다. 아무튼 경사하강법을 메인으로 딥러닝이 진행된다는 점이 중요합니다. 경사하강법은 매우 간단한 방식으로 작동합니다. \(\bigtriangledown f(\textbf{x})=(\partial f/\partial x_1 , ... , \partial f/\partial x_n)\) 에 대하여, $$ \t.. 2023. 3. 18. 신경망 기본구조와 구현 1. 퍼셉트론과 XOR Problem 퍼셉트론(Perceptron)은 가장 단순한 인공신경망 구조입니다. 위와 같이 입력값 \(x_1, x_2, ... \) 에 대해 가중치 \(w_1, w_2, ... \) 들의 선형결합으로 이루어진 구조입니다. 일반화된 식으로, \(\textbf{y}=f(\textbf{w}^T\textbf{x}+b) \) 로 정리할 수 있습니다. 기본적인 퍼셉트론으로도 간단한 분류를 잘 수행할 수 있습니다. 대표적인 예로 AND 게이트를 분류해봅시다. 위 그림처럼 직선 1개로 AND결과가 0인 점 3개와 1인 점 1개를 분리해내는데 성공합니다. 하지만 XOR 의 경우 직선 1개로는 분리가 불가능합니다. 2. 다층 퍼셉트론의 등장 이 때, 층 1개를 추가하여 쉽게 해결할 수 있습니다. .. 2023. 3. 18. 이전 1 다음
