최소제곱법1 선형 회귀 - 최소제곱법 회귀에서 대표적인 손실함수에는 오차제곱평균(MSE)이 있습니다. $$ y=\frac{\sum_{i=1}^{N}(y_i-\widehat{y_i})^2}{N} $$ 회귀(regression) 의 최적화 방법 중 최소제곱법에 대해 알아보겠습니다. 최소제곱법(lest square method)은 주로 단순 선형 회귀(모델이 일차함수)인 경우 활용됩니다. 단순 선형 회귀에서 MSE는 이차함수가 됩니다. 이 때 우리가 구할 것은 예측모델 \(y=ax+b\) 에서 \(a\)와 \(b\) 값입니다. MSE함수를 \(f\)라고 하면, 계수가 양수인 이차함수에서 최솟값을 가지므로 $$ \frac{\partial f}{\partial a}=0 , \frac{\partial f}{\partial b}=0 $$ 가 성립합니다... 2022. 11. 27. 이전 1 다음