🤖머신러닝8

경사하강법(Gradient Descent) 공식 유도 텐서플로우나 케라스와 같은 머신러닝 프레임워크로 경사하강법을 사용하다보면 내부적으로 어떻게 작동하는지, 어떻게 최적의 w와 b값을 얻을 수 있는지 궁금해지신분들이 계실겁니다. 이번 포스팅에서는 경사하강법에 대한 공식유도에 대한 포스팅입니다. 평균값정리랑 편미분정도만 알고계시면 이해하는데 크게 지장없으십니다. 노트로 정리했습니다. 글씨체는 좀 더럽긴합니다. 부가설명 들어갑니다. E 우선 E는 예측값(y_hat)과 y에 대한 평균값이 되겠습니다. 이 부분은 고등학교 미분 시간에 배웠던 평균값정리에 대한 내용이 되겠습니다. 또한 E는 MSE손실함수와 내용이 같습니다. G G는 E를 G에 대하여 편미분한 값과 a(학습률)를 곱한 값에서 G를 뺀값이 되겠습니다. 뺀 이유는 a(학습률)만큼 그래프에서 비용이 적은 .. 2021. 10. 30.
머신러닝 | 퍼셉트론(Perceptron) 이론과 실습 현재 머신러닝 분야에서 인공신경망의 근원이 되는 퍼셉트론(Perceptron)에 관하여 저가 개인적으로 공부한 내용을 바탕으로 포스팅을 진행하겠습니다. 퍼셉트론(Perceptron)은 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘입니다. 퍼셉트론(Perceptron)은 위 사진처럼 여러 개의 입력값을 집어넣으면, 가중치와 편향에 의해서 새로운 결괏값으로써 변환되어 나옵니다. 가중치(w)는 입력 신호가 결과에 주는 영향력을 나타내며, 편향(b)은 뉴런이 얼마나 쉽게 활성화되느냐에 대한 수치입니다. 이 단순한 퍼셉트론의 활성화 함수는 다음과 같습니다. \( if \sum_i^n [x_{i} \cdot w.. 2021. 10. 15.
머신러닝 | 과대적합 줄이는 법 참조한 책 https://bimage.interpark.com/partner/goods_image/4/9/7/7/332334977g.jpg 1. 훈련데이터의 잡음을 줄인다. (오류 데이터수정과 이상치제거) 2. 훈련데이터를 더 많이 모은다. 3. 훈련데이터의 특성 수를 줄이거나, 모델에 제약을 가하여 단순화 한다. 2021. 10. 15.
머신러닝 | 책 구매~!! 드디어 책이 도착했습니다!!!!! ㅠㅠㅠㅠㅠ 기분 좋아라~~~ 학교에 가져가서 심심할 때 읽으려고 했지만, 잘 생각해보니 그냥 집에서만 읽으려고요. 프로그래밍 관련 책은 진짜 필요하지 않은 이상 구매는 안 하지만.. (저번엔 알고리즘 책 구매함!!) 이번에는 책의 도움이 필요할 것 같습니다. 이제 인터넷에서 힘겹고 불 친절한 곳에서 공부하는 생활아 안녕~!!!!! 나는 머신러닝 이제부터 책으로 공부한다 헤헤헿 2021. 10. 14.
머신러닝 | 로지스틱회귀(Logistic Regression) 이론및 실습 [ 단일클래스, 이진분류 ] C++에서 아무 라이브러리의 도움없이 다중입력의 로지스틱회귀를 구현하는 강좌입니다. 벨로그에다가 포스팅해놨습니다. 봐주세요~!! https://velog.io/@dpmawile/LogisticRegressionCpp 로지스틱회귀 구현하기 C++ C++에서 라이브러리없이 다중입력과 로지스틱회귀 구현하기. velog.io 2021. 10. 11.
머신러닝 | 선형회귀(Linear Regression) 이론및 실습 [ 단일클래스, 단일분류 ] 안녕하세요! 파이썬에서 tensorflow의 keras로 object detection, mnist를 이용하여 손글씨 학습하기, 등등 softmax층과 relu층을 이용한 다양한 실습을 하면서 흥미를 찾아가는 머신러닝 입문자입니다. 최근에 경사하강법에 관하여 c++에서 갑자기 구현해보고 싶어서 방금 만들어봤는데, 진짜로 이론대로 그대로 하니까 되더라구요..!!!ㅋㅋㅋㅋㅋ 신기해서 직접 쓴 경사하강법 코드 올립니다. (경사하강법에 대한 공식유도를 알고싶으신분들은 아래 링크로 이동해주시기 바랍니다.) https://mawile.tistory.com/222 경사하강법(Gradient Descent) 공식 유도 텐서플로우나 케라스와 같은 머신러닝 프레임워크로 경사하강법을 사용하다보면 내부적으로 어떻게 작동하는지.. 2021. 10. 9.
머신러닝 공부일지 (선형회귀 Matrics Multiplication과 로지스틱회귀) 오늘도 공부내용과 함께 직접 작성한 소스코드를 가져왔습니다! 우선 이번에는 선형회귀에서 여러개의 X값을 받을때 무조건!! 알아야하는 개념인 "Matrics Multiplication"과 로지스틱회귀의 Hypnothesis, cost function에 관하여 공부하였습니다. 사실 지금은 "Multinomial Logistic Regression"에 관하여 공부하고있지만, 차곡차곡 공부내용을 올린다는 마인드로 가고있습니다! 우선 이제부터 Input의 값이 많아지기때문에, 파일에 값들을 저장하고 읽어들이는 방법에 관하여도 공부했습니다. 우선 "Matrics Multiplication" 에 관하여 아래링크를 남겨놓았으니, 궁금한 분들은 아래링크로 타고 들어가 주시기바랍니다. https://ko.wikipedia.. 2021. 10. 2.
머신러닝 공부일지 (선형회귀 cost최소화와 시각화) 요즘 머신러닝, 딥러닝에 관심이 생겨서 파이썬 - tensorflow, keras, matplotlib.pyplot 등등 여러가지 라이브러리로 학습하는중이다. 책은 이것을 구매했다. 그리고 강의는 그냥 인프런에서 듣고있다. 미적분 기초지식도 필요할것같아서, 저번에 사놓고 미분법쪽만 풀고 라면받침대가 되었던, 미적분 문제풀이집도 이번에 빡쎄게 문제풀면서 공부중이다.. 우선 이번에 만들어본것은 머신러닝이라고하면, 제일 익숙하면서 제일 처음배우는 선형회귀!에 관한 여러가지를 배우는중이고, 노트로 필기도하고 있다..ㅋㅋ 개발환경은 주피터노트북으로 하는중~~!! 오늘 배운것을 바탕으로 살짝 응용해보았다. 확실히 강의를 보면서 배우니까, 이해가 잘되었다. 무료강좌라 그런지, 강사분이 중간에 미분하는쪽을 헤매셨는데,.. 2021. 9. 30.