경사하강법2 경사하강법(Gradient Descent) 공식 유도 텐서플로우나 케라스와 같은 머신러닝 프레임워크로 경사하강법을 사용하다보면 내부적으로 어떻게 작동하는지, 어떻게 최적의 w와 b값을 얻을 수 있는지 궁금해지신분들이 계실겁니다. 이번 포스팅에서는 경사하강법에 대한 공식유도에 대한 포스팅입니다. 평균값정리랑 편미분정도만 알고계시면 이해하는데 크게 지장없으십니다. 노트로 정리했습니다. 글씨체는 좀 더럽긴합니다. 부가설명 들어갑니다. E 우선 E는 예측값(y_hat)과 y에 대한 평균값이 되겠습니다. 이 부분은 고등학교 미분 시간에 배웠던 평균값정리에 대한 내용이 되겠습니다. 또한 E는 MSE손실함수와 내용이 같습니다. G G는 E를 G에 대하여 편미분한 값과 a(학습률)를 곱한 값에서 G를 뺀값이 되겠습니다. 뺀 이유는 a(학습률)만큼 그래프에서 비용이 적은 .. 2021. 10. 30. 머신러닝 | 선형회귀(Linear Regression) 이론및 실습 [ 단일클래스, 단일분류 ] 안녕하세요! 파이썬에서 tensorflow의 keras로 object detection, mnist를 이용하여 손글씨 학습하기, 등등 softmax층과 relu층을 이용한 다양한 실습을 하면서 흥미를 찾아가는 머신러닝 입문자입니다. 최근에 경사하강법에 관하여 c++에서 갑자기 구현해보고 싶어서 방금 만들어봤는데, 진짜로 이론대로 그대로 하니까 되더라구요..!!!ㅋㅋㅋㅋㅋ 신기해서 직접 쓴 경사하강법 코드 올립니다. (경사하강법에 대한 공식유도를 알고싶으신분들은 아래 링크로 이동해주시기 바랍니다.) https://mawile.tistory.com/222 경사하강법(Gradient Descent) 공식 유도 텐서플로우나 케라스와 같은 머신러닝 프레임워크로 경사하강법을 사용하다보면 내부적으로 어떻게 작동하는지.. 2021. 10. 9. 이전 1 다음
