회귀와 분류

 

1. 회귀(Regression)

입력값은 연속값과 이산값이 모두 가능합니다.

출력값은 연속값이 됩니다.

모델(=함수)는 일반적으로 우리가 알고 있는 다양한 함수입니다.

예를 들어 일차함수 \(y=ax+b\)  가 있습니다.

 

 

2. 분류(Classification)

입력값은 연속값과 이산값이 모두 가능합니다.

출력값은 이산값이 됩니다.

이진분류의 경우 sigmod function가 주로 사용됩니다.

$$y=\frac{1}{1+e^{-x}}$$

 

다중분류의 경우 softmax function가 주로 사용됩니다.

$$y_i=\frac{e^{x_i}}{\sum_{j=1}^{K}e^{x_j}}$$

 

 

3. 데이터의 구성

Data는 Feature과 Label로 구성됩니다. Feature은 독립변수로도 불리고, Label은 종속변수로도 불립니다.

대충 Feature은 x값이고 Label을 y값이라고 보면 됩니다.

데이터는 주로 행렬로 표현되고 Feature에 따른 column vector들로 표현해줄 수 있습니다. 

 

\(X=\begin{bmatrix}
x_{11} &x_{12}    \\
x_{21} &x_{22}    \\
x_{31} &x_{32}    \\
\end{bmatrix} \to v_1=\begin{bmatrix}
x_{11} \\
x_{21} \\
x_{31} \\
\end{bmatrix}, v_2=\begin{bmatrix}
x_{12} \\
x_{22} \\
x_{32} \\
\end{bmatrix}\)

 

 

4. 모델(Model)과 파라미터(parameter)

모델링에서의 가중치를 파라미터(parameter)라고 합니다.

파라미터를 잘 찾아 최적화하는게 머신러닝의 학습목표라고 할 수 있습니다.

이 때, 기계가 스스로 훈련데이터를 통해 학습하는 파라미터가 있고,

인간이 정한 변수 파라미터가 있습니다. 이를 Hyperparameter이라 합니다.

모델에서 입력값은 data의 feature가 됩니다. 이와 Label의 일부를 훈련 데이터로 하여

만든 모델에서의 결괏값을 ouput이라 하고 기호로는 \( \widehat{y} \)로 표기합니다.

즉, 예측값  \(\widehat{y}\) 와 평가 데이터  \(y\) 를 비교하여 오차를 구한 후 다시 

학습하는 과정을 거치게 됩니다.