머신러닝4 [PRML] 기초이론정리1(확률론) 1 확률론 기계학습에서 중요한 것은 불확실성이다. 이러한 불확실성을 계량화하기 위한 학문이 확률론이다. 확률론은 정보의 불확실성 속에서 최적의 예측을 시행하는 길을 알려준다. 1.1 합의 법칙과 곱의 법칙 확률의 합의 법칙과 곱의 법칙은 기본적으로 숙지하자. $$ P(X)=\sum_{Y}^{}P(X, Y) $$ $$ P(X,Y)=P(Y|X)P(X) $$ 확률의 대칭성에 의해, \(P(X,Y)=P(Y,X)\)이므로, 이 식과 곱의 법칙을 이용하면, Bayes Theorem $$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$ 을 얻게 된다. 베이즈 정리는 머신러닝 전반에 걸쳐 매우 중요하고 기본적으로 사용된다. 1.2 확률밀도 이산적인 사건 이외에 연속적인 사건에서도 확률값을 가질 수 있다. 확률.. 2023. 7. 2. 머신러닝 이상치 (outlier) 제거하기 머신러닝에서 이상치를 제거해야 예측성능을 높일 수 있습니다. 예를 들어 몇년치 자전거 이용 수요를 예측하는데 어떤 하루가 자전거 대회가 열렸던 날이라면 그 날을 제거하고 모델을 테스트하는게 타당합니다. 한 이상치로 인해 다양한 예측지표나 계산값에 악영향을 미치기 때문입니다. 이상치 제거로 자주 쓰이는 방법은 IQR 방식입니다. IQR은 사분위 값의 편차를 이용하여 이상치를 걸러내는 방법입니다. '사분위' 란 전체 데이터를 정렬하여 이를 4등분합니다. 이 구간을 Q1(25%), Q2(50%), Q3(75%), Q4(100%) 라 하면 IQR는 Q3 - Q1 가 됩니다. 이제 IQR에 가중치 w를 곱하여 일반적인 데이터의 최대와 최소 범위를 정해줍니다. 주로 w=1.5를 사용하며, 일반적인 최댓값을 Q3+I.. 2023. 2. 18. 선형 회귀 - 경사 하강법 경사하강법(gradient descent)에 대해 정리해봅시다. 경사하강법은 이후 모델에서도 손실함수 MSE를 최적화하기 위한 방법으로 사용됩니다. 원리는 간단합니다. 경사하강법은 정확한 값을 한번에 구하는게 아니라 함수가 볼록하다는 점을 이용하여 계속해서 값을 업데이트해나가는 방식입니다. 즉, 경사하강법은 손실함수를 최소화하는 방향으로 파라미터를 업데이트하는 방식으로 작동합니다. 업데이트 방식은 학습률 \(\eta \) 에 대해, $$w=w-\eta \frac{\partial L}{\partial w} , b=b-\eta \frac{\partial L}{\partial b} $$ 를 반복해주면 됩니다. 미분방향의 역방향으로 갱신을 해줘야 볼록함수의 중앙으로 가게 되고, 거기에 학습률 곱해서 변화값의 증.. 2022. 12. 2. 머신 러닝과 딥러닝 1. 인공지능, 머신러닝, 딥러닝의 차이 요즘 자주 사용되는 인공지능, 머신러닝, 딥러닝에 대해 구분해봅시다. AI는 컴퓨터가 인간의 학습력, 추론력등을 따라할 수 있는 모든 기술적 방법을 의미합니다. ML은 A.I의 세부분야로, 데이터(주로 정형화된)를 기계학습을 통해 최적화된 모델을 찾는 것입니다. DL은 ML의 세부분야로, 데이터(비정형화된)를 인공신경망 기술을 통해 최적화된 모델을 찾는 것입니다. 따라서 포함관계를 나타내자면 AI ⊃ ML ⊃ DL 이라고 할 수 있습니다. 2. 머신러닝이란 AI중 기계학습을 통해 데이터를 처리하는 분야인 머신러닝(ML)에 대해 알아보겠습니다. ML이 우리가 알고있던 프로그래밍과 확연히 다른 점은 규칙을 컴퓨터 스스로 찾아낸다는 것입니다. 전형적인 프로그래밍의 절차.. 2022. 11. 26. 이전 1 다음
