본문 바로가기

CS22

[PRML] 기초이론정리2(결정이론, 정보이론) 3. 결정이론 확률론과 함께 결정이론을 사용하면 최적의 결정을 내릴 수 있다. 확률론으로 여러 확률들이 계산되었을 때, 어떻게 하면 최적의 결정을 내릴 수 있을까? 예시를 통해 결정론을 알아보자. 3.1 오분류 최소화 환자의 엑스레이 이미지 \(x\)를 암(\(C_1\))인지 아닌지(\(C_2\)) 두 클래스로 분류하는 상황을 가정한다. 이 때, 잘못된 분류를 줄이는게 목표라고 해보자. 그렇다면, 실수가 발생할 확률은 다음과 같다. $$p_{error}=p(x\in R_1 , C_2)+p(x\in R_2, C_2) $$ $$ =\int_{R_1}^{}p(x,C_2)dx+\int_{R_2}^{}p(x,C_1)dx $$ 여기서, \(R_1, R_2\)는 클래스의 결정구역이다. 위 식을 최소화시키려면, 두 적.. 2023. 7. 2.
[PRML] 기초이론정리1(확률론) 1 확률론 기계학습에서 중요한 것은 불확실성이다. 이러한 불확실성을 계량화하기 위한 학문이 확률론이다. 확률론은 정보의 불확실성 속에서 최적의 예측을 시행하는 길을 알려준다. 1.1 합의 법칙과 곱의 법칙 확률의 합의 법칙과 곱의 법칙은 기본적으로 숙지하자. $$ P(X)=\sum_{Y}^{}P(X, Y) $$ $$ P(X,Y)=P(Y|X)P(X) $$ 확률의 대칭성에 의해, \(P(X,Y)=P(Y,X)\)이므로, 이 식과 곱의 법칙을 이용하면, Bayes Theorem $$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$ 을 얻게 된다. 베이즈 정리는 머신러닝 전반에 걸쳐 매우 중요하고 기본적으로 사용된다. 1.2 확률밀도 이산적인 사건 이외에 연속적인 사건에서도 확률값을 가질 수 있다. 확률.. 2023. 7. 2.
[논문 리뷰] AlexNet(2012) 0. Why We Read 우선, 논문리뷰에 앞서, AlexNet이 왜 딥러닝 필수논문으로 의미를 가지는지를 알아보자. AlexNet은 2012 이미지분류대회에서 딥러닝을 사용하여 압도적인 성능으로 1위를 차지하였다. CNN구조와 LeLU함수, 효과적인 GPU사용, Drop Out 등 매우 효과적인 기법들이 대거 등장하였다. 이들은 현재까지도 많은 연구에서 그 성능이 입증된 방법들로, 이들이 거의 처음으로 공개된 논문이다. CNN은 기존의 Fully Connected 모델과 달리 필터를 통해 지역적인 특성을 뽑아서 더 적은 파라미터로 효과적인 성능을 내는 모델이다. CNN은 이미 알려진 구조지만, 딥러닝모델 자체가 계산비용이 비싸서 잘 쓰이지 않았다. 하지만 GPU의 성능이 향상되고, 규제법이 발전함에 .. 2023. 6. 21.
경사하강법 경사하강법은 볼록함수에서 극솟값을 찾아가는 방법입니다. 만약 볼록함수가 보장이 된다면 반드시 최적값에 도달할 수 있습니다. 볼록함수가 아니라면, 반드시 최적값에 도달한다는 보장은 없습니다. 만약 전역최솟값이 아닌 지역최솟값에 빠진다면 그 부분에서만 맴돌고 더이상 진전이 없습니다. 이러한 부분을 해결하기 위해 모멘텀 방식으로 지역해에 빠지는걸 방지하는 여러 규제가 적용됩니다. 이러한 규제는 이후에 소개합니다. 아무튼 경사하강법을 메인으로 딥러닝이 진행된다는 점이 중요합니다. 경사하강법은 매우 간단한 방식으로 작동합니다. \(\bigtriangledown f(\textbf{x})=(\partial f/\partial x_1 , ... , \partial f/\partial x_n)\) 에 대하여, $$ \t.. 2023. 3. 18.