[ml] 간단한 정리 (1)

머신러닝 : 기계학습

 

지도학습 / 비지도학습 / 강화학습 으로 나뉜다. 

 

지도학습은 

회귀 / 분류 문제로 나뉜다. 

 

회귀 

 

회귀분석이란? 회귀식의 계수 beta0, beta1을 구하는 것. 

각 데이터의 실제값과 예측값의 차이인 loss를 최소화하는게 목표이다. 

 

선형회귀 /  다중회귀 / 다항회귀가 존재하며, 다항회귀는 차수가 높은것으로 데이터가 선형이 아니더라도 사용 가능하다. 

 

과적합 방지 방법으로는 

1. cross validation - k fold : 데이터 k번 나눠서 학습.

2. 페널티 부여 - L1 L2 Elasticnet 방법이 존재한다. 

 

회귀 평가지표도 존재한다. 

1. SSR, MSE, MAE 평균제곱오차, 평균절대값오차

2. R**2 결정계수 

 

 

분류 

 

분류란? 주어진 데이터 입력값 x 가 어디에 속할지 분류하는 것이다. 

 

방법으로는 로지스틱 회귀분석 / SVM / 나이브 베이즈 분류 / KNN 이 존재한다. 

 

- 로지스틱 회귀분석: (sigmoid) 이진분류에 유용 

g(x) = e**x/1+e**x

 

- SVM: "고차원" 최적의 decision boundary를 어떻게 고를지? 2개의 classfication

margin이 최대가 되도록하는 decision boundary 를 찾는다. 

margin:  decision boundary와 svm사이의 거리

hard / soft : hard는 margin안에 data가 들어갈 수 x, soft는 들어갈 수 o

 

- 나이브베이즈분류: 베이지안 확률을 사용. 데이터가 독립이어야 함. 

반대의 확률을 이용한다. 

 

- KNN: nearest neighbor 새로운 데이터로부터 가장 거리가 가까운 데이터 k개를 이용하여 분류. 학습할 필요가 없음