경사 하강1 경사하강법(Gradient Descent) 공식 유도 텐서플로우나 케라스와 같은 머신러닝 프레임워크로 경사하강법을 사용하다보면 내부적으로 어떻게 작동하는지, 어떻게 최적의 w와 b값을 얻을 수 있는지 궁금해지신분들이 계실겁니다. 이번 포스팅에서는 경사하강법에 대한 공식유도에 대한 포스팅입니다. 평균값정리랑 편미분정도만 알고계시면 이해하는데 크게 지장없으십니다. 노트로 정리했습니다. 글씨체는 좀 더럽긴합니다. 부가설명 들어갑니다. E 우선 E는 예측값(y_hat)과 y에 대한 평균값이 되겠습니다. 이 부분은 고등학교 미분 시간에 배웠던 평균값정리에 대한 내용이 되겠습니다. 또한 E는 MSE손실함수와 내용이 같습니다. G G는 E를 G에 대하여 편미분한 값과 a(학습률)를 곱한 값에서 G를 뺀값이 되겠습니다. 뺀 이유는 a(학습률)만큼 그래프에서 비용이 적은 .. 2021. 10. 30. 이전 1 다음
