본문 바로가기

CS/머신러닝19

[PRML] 기초이론정리2(결정이론, 정보이론) 3. 결정이론 확률론과 함께 결정이론을 사용하면 최적의 결정을 내릴 수 있다. 확률론으로 여러 확률들이 계산되었을 때, 어떻게 하면 최적의 결정을 내릴 수 있을까? 예시를 통해 결정론을 알아보자. 3.1 오분류 최소화 환자의 엑스레이 이미지 \(x\)를 암(\(C_1\))인지 아닌지(\(C_2\)) 두 클래스로 분류하는 상황을 가정한다. 이 때, 잘못된 분류를 줄이는게 목표라고 해보자. 그렇다면, 실수가 발생할 확률은 다음과 같다. $$p_{error}=p(x\in R_1 , C_2)+p(x\in R_2, C_2) $$ $$ =\int_{R_1}^{}p(x,C_2)dx+\int_{R_2}^{}p(x,C_1)dx $$ 여기서, \(R_1, R_2\)는 클래스의 결정구역이다. 위 식을 최소화시키려면, 두 적.. 2023. 7. 2.
[PRML] 기초이론정리1(확률론) 1 확률론 기계학습에서 중요한 것은 불확실성이다. 이러한 불확실성을 계량화하기 위한 학문이 확률론이다. 확률론은 정보의 불확실성 속에서 최적의 예측을 시행하는 길을 알려준다. 1.1 합의 법칙과 곱의 법칙 확률의 합의 법칙과 곱의 법칙은 기본적으로 숙지하자. $$ P(X)=\sum_{Y}^{}P(X, Y) $$ $$ P(X,Y)=P(Y|X)P(X) $$ 확률의 대칭성에 의해, \(P(X,Y)=P(Y,X)\)이므로, 이 식과 곱의 법칙을 이용하면, Bayes Theorem $$P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}$$ 을 얻게 된다. 베이즈 정리는 머신러닝 전반에 걸쳐 매우 중요하고 기본적으로 사용된다. 1.2 확률밀도 이산적인 사건 이외에 연속적인 사건에서도 확률값을 가질 수 있다. 확률.. 2023. 7. 2.
머신러닝 이상치 (outlier) 제거하기 머신러닝에서 이상치를 제거해야 예측성능을 높일 수 있습니다. 예를 들어 몇년치 자전거 이용 수요를 예측하는데 어떤 하루가 자전거 대회가 열렸던 날이라면 그 날을 제거하고 모델을 테스트하는게 타당합니다. 한 이상치로 인해 다양한 예측지표나 계산값에 악영향을 미치기 때문입니다. 이상치 제거로 자주 쓰이는 방법은 IQR 방식입니다. IQR은 사분위 값의 편차를 이용하여 이상치를 걸러내는 방법입니다. '사분위' 란 전체 데이터를 정렬하여 이를 4등분합니다. 이 구간을 Q1(25%), Q2(50%), Q3(75%), Q4(100%) 라 하면 IQR는 Q3 - Q1 가 됩니다. 이제 IQR에 가중치 w를 곱하여 일반적인 데이터의 최대와 최소 범위를 정해줍니다. 주로 w=1.5를 사용하며, 일반적인 최댓값을 Q3+I.. 2023. 2. 18.
XGBoost, LightGBM 사용과 하이퍼파라미터 XGBoost와 LightGBM은 엄청난 성능을 자랑하는 앙상블 알고리즘입니다. 이 둘은 모두 사이킷런 전용 클래스가 있습니다. 사이킷런 전용 클래스는 fit과 predict, score등 직관적이고 일관화된 모델훈련&평가식을 제공하므로 사이킷런 전용 클래스를 사용합니다. 1. XGBoost의 주요 파라미터 n_estimators: 훈련횟수를 의미합니다. 훈련을 너무 많이 해도 과적합이 될 수 있습니다. learning_rate: 학습률을 의미합니다. 0~1사이 값이며, 주로 0.01에서 0.2정도사이에서 결정합니다. 다른 하이퍼 파라미터를 조정후 미세하게 조정하며 성능을 올리기도 합니다. min_child_weight: 트리에서 가지를 칠지 결정하는 가중치의 합입니다. 과적합을 제어하는 주요 하이퍼 파.. 2023. 2. 11.