전체 글188 선형 회귀 - 경사 하강법 경사하강법(gradient descent)에 대해 정리해봅시다. 경사하강법은 이후 모델에서도 손실함수 MSE를 최적화하기 위한 방법으로 사용됩니다. 원리는 간단합니다. 경사하강법은 정확한 값을 한번에 구하는게 아니라 함수가 볼록하다는 점을 이용하여 계속해서 값을 업데이트해나가는 방식입니다. 즉, 경사하강법은 손실함수를 최소화하는 방향으로 파라미터를 업데이트하는 방식으로 작동합니다. 업데이트 방식은 학습률 \(\eta \) 에 대해, $$w=w-\eta \frac{\partial L}{\partial w} , b=b-\eta \frac{\partial L}{\partial b} $$ 를 반복해주면 됩니다. 미분방향의 역방향으로 갱신을 해줘야 볼록함수의 중앙으로 가게 되고, 거기에 학습률 곱해서 변화값의 증.. 2022. 12. 2. 선형 회귀 - 최소제곱법 회귀에서 대표적인 손실함수에는 오차제곱평균(MSE)이 있습니다. $$ y=\frac{\sum_{i=1}^{N}(y_i-\widehat{y_i})^2}{N} $$ 회귀(regression) 의 최적화 방법 중 최소제곱법에 대해 알아보겠습니다. 최소제곱법(lest square method)은 주로 단순 선형 회귀(모델이 일차함수)인 경우 활용됩니다. 단순 선형 회귀에서 MSE는 이차함수가 됩니다. 이 때 우리가 구할 것은 예측모델 \(y=ax+b\) 에서 \(a\)와 \(b\) 값입니다. MSE함수를 \(f\)라고 하면, 계수가 양수인 이차함수에서 최솟값을 가지므로 $$ \frac{\partial f}{\partial a}=0 , \frac{\partial f}{\partial b}=0 $$ 가 성립합니다... 2022. 11. 27. 회귀와 분류 1. 회귀(Regression) 입력값은 연속값과 이산값이 모두 가능합니다. 출력값은 연속값이 됩니다. 모델(=함수)는 일반적으로 우리가 알고 있는 다양한 함수입니다. 예를 들어 일차함수 \(y=ax+b\) 가 있습니다. 2. 분류(Classification) 입력값은 연속값과 이산값이 모두 가능합니다. 출력값은 이산값이 됩니다. 이진분류의 경우 sigmod function가 주로 사용됩니다. $$y=\frac{1}{1+e^{-x}}$$ 다중분류의 경우 softmax function가 주로 사용됩니다. $$y_i=\frac{e^{x_i}}{\sum_{j=1}^{K}e^{x_j}}$$ 3. 데이터의 구성 Data는 Feature과 Label로 구성됩니다. Feature은 독립변수로도 불리고, Label은 .. 2022. 11. 26. 머신 러닝과 딥러닝 1. 인공지능, 머신러닝, 딥러닝의 차이 요즘 자주 사용되는 인공지능, 머신러닝, 딥러닝에 대해 구분해봅시다. AI는 컴퓨터가 인간의 학습력, 추론력등을 따라할 수 있는 모든 기술적 방법을 의미합니다. ML은 A.I의 세부분야로, 데이터(주로 정형화된)를 기계학습을 통해 최적화된 모델을 찾는 것입니다. DL은 ML의 세부분야로, 데이터(비정형화된)를 인공신경망 기술을 통해 최적화된 모델을 찾는 것입니다. 따라서 포함관계를 나타내자면 AI ⊃ ML ⊃ DL 이라고 할 수 있습니다. 2. 머신러닝이란 AI중 기계학습을 통해 데이터를 처리하는 분야인 머신러닝(ML)에 대해 알아보겠습니다. ML이 우리가 알고있던 프로그래밍과 확연히 다른 점은 규칙을 컴퓨터 스스로 찾아낸다는 것입니다. 전형적인 프로그래밍의 절차.. 2022. 11. 26. 이전 1 ··· 22 23 24 25 26 27 28 ··· 47 다음