선형회귀4 혼자 공부하는 머신러닝 + 딥러닝 - Ch 4-1 Ch 4-1에서는 로지스틱 회귀에 대해 공부합니다. 로지스틱 회귀는 선형회귀를 토대로 활성화 함수를 결합하여 이진분류를 하는데 사용됩니다. 또한 다중회귀를 토대로 다중분류도 가능합니다. [ 문제 ] 이번장에서 해결할 문제는 다음과 같습니다. 상품으로 생선 럭키백을 만듭니다. 럭키백에는 각 생선이 등장할 확률이 제시됩니다. 상품에 들어갈 생선의 크기, 무게, 길이, 높이 등이 주어질 때, 7종류의 생선에 대한 확률을 예측하는 문제입니다. [ 접근 ] 간단한 접근으로 KNN 알고리즘을 생각해볼까요? KNN 알고리즘으로 확률을 구한다면 각 생선이 나올 확률들이 우리가 정한 \(k\)값에 의존하게 됩니다. 예를 들어 \(k=4\)로 한다면, 확률은 항상 0, 1/4, 2/4, 3/4, 4/4 중 하나입니다. 생.. 2023. 1. 12. 혼자 공부하는 머신러닝 + 딥러닝 - Ch 3-3 Ch 3-3에서는 다중회귀와 과적합에 대해 공부합니다. 여러 특성을 사용한 선형 회귀를 다중회귀라고 부릅니다. 특성 1개에 target 1개면 회귀는 직선을 학습하지만, 특성 2개에 target 1개면, 회귀는 평면을 학습하게 됩니다. 이렇게 2개 이상의 feature에 대한 회귀를 공부합니다. 이번 실습에서는 물고기의 길이 뿐 아니라 높이와 두께 데이터도 주어졌을 때, 이들을 모두 이용하여 훈련하는 다중회귀를 학습합니다. 1. 데이터 준비 판다스라는 데이터 분석 라이브러리에서 데이터를 불러옵시다. 판다스에서 데이터를 읽는 방식은 data= pd.read_csv(주소) 로 쉽게 할 수 있습니다. data=pd.read_csv('https://bit.ly/perch_csv_data') fish_data=d.. 2023. 1. 11. 혼자 공부하는 머신러닝 + 딥러닝 - Ch3-2 Ch 3-2에서는 선형회귀에 대해 공부합니다. 선형회귀는 간단하면서 강력한 방법입니다. 많은 경우 일상데이터는 출력과 비례하는 경우가 많기 때문에 활용도가 높습니다. 예를 들어 공부시간과 성적같은 데이터가 있습니다. 1차 model Ch 3-1의 데이터를 이용하여 선형회귀로 예측 해봅시다. 선형회귀 모델은 사이킷런의 LinearRegression 을 import하여 훈련할 수 있습니다. 선형회귀 객체를 생성하고 모델이름을 lr로 정해줍니다. 훈련데이터로 학습시키고 그 결과 기울기와 절편 값을 학습하게 됩니다. 각각 coef_ 와 intercept_ 로 저장되어 있습니다. 이제 고정된 두 점을 이어서 빨간색 직선을 표시하고 모델의 성능을 출력해봅시다. #선형회귀 lr=LinearRegression() # .. 2023. 1. 8. 선형 회귀 - 최소제곱법 회귀에서 대표적인 손실함수에는 오차제곱평균(MSE)이 있습니다. $$ y=\frac{\sum_{i=1}^{N}(y_i-\widehat{y_i})^2}{N} $$ 회귀(regression) 의 최적화 방법 중 최소제곱법에 대해 알아보겠습니다. 최소제곱법(lest square method)은 주로 단순 선형 회귀(모델이 일차함수)인 경우 활용됩니다. 단순 선형 회귀에서 MSE는 이차함수가 됩니다. 이 때 우리가 구할 것은 예측모델 \(y=ax+b\) 에서 \(a\)와 \(b\) 값입니다. MSE함수를 \(f\)라고 하면, 계수가 양수인 이차함수에서 최솟값을 가지므로 $$ \frac{\partial f}{\partial a}=0 , \frac{\partial f}{\partial b}=0 $$ 가 성립합니다... 2022. 11. 27. 이전 1 다음
