경사 하강법1 선형 회귀 - 경사 하강법 경사하강법(gradient descent)에 대해 정리해봅시다. 경사하강법은 이후 모델에서도 손실함수 MSE를 최적화하기 위한 방법으로 사용됩니다. 원리는 간단합니다. 경사하강법은 정확한 값을 한번에 구하는게 아니라 함수가 볼록하다는 점을 이용하여 계속해서 값을 업데이트해나가는 방식입니다. 즉, 경사하강법은 손실함수를 최소화하는 방향으로 파라미터를 업데이트하는 방식으로 작동합니다. 업데이트 방식은 학습률 \(\eta \) 에 대해, $$w=w-\eta \frac{\partial L}{\partial w} , b=b-\eta \frac{\partial L}{\partial b} $$ 를 반복해주면 됩니다. 미분방향의 역방향으로 갱신을 해줘야 볼록함수의 중앙으로 가게 되고, 거기에 학습률 곱해서 변화값의 증.. 2022. 12. 2. 이전 1 다음