2. 기계학습

 

 

시험 준비 및 공부 기록 아카이브 용으로 작성하는 글입니다.

다소 내용이 정제되어 있지 않을 수 있습니다.

 

기계학습의 개념

기계학습: 가장 정확하게 예측(분류 및 회귀)할 수 있는 최적의 매개변수를 찾는 과정. 처음엔 임의의 값에서 시작해 점점 성능을 개선해 최적값에 도달하는 것이 기계학습의 목표.

 

특징 공간

훈련집합으로 사용하는 데이터들의 값들은 특징 공간 내에 자리 잡음.

$d$차원의 데이터는 $ \mathbf{x} = (x_1, x_2, \dots, x_d)^T $ 로 표현하며, $d$차원 데이터를 학습하기 위해 $n$차원 곡선 모델을 사용한다면, 매개변수의 개수는 $ d^0 + d^1 + d^2 + \dots + d^n = \sum_{k=0}^{n} d^k = \frac{d^{n+1}-1}{d-1}$로 표현할 수 있음.

 

만약 원래의 특징 공간으로 분류가 불가능한 경우가 있다면, 특징 공간을 변형해서 분류하는 경우도 있으며, 이렇게 좋은 특징 공간을 자동으로 찾기 위한 작업을 표현 학습이라 칭함.

하지만 특징 공간의 차원이 높아질수록 유의미한 표현을 찾기 위해 지수적으로 많은 데이터가 필요해지는 차원의 저주 현상이 발생하기 쉬움. (MNIST를 예로 들면 784차원 공간 ($2^{784}$칸) 에 6만 개의 데이터 밖에 없기 때문)

 

목적 함수

목적 함수(비용 함수)는 모델의 성능을 정량적으로 측정하는 함수로, 모델의 성능이 높을수록 목적 함수의 값이 낮음.

목적 함수의 대표적인 예시로 선형회귀에 사용되는 평균제곱오차(MSE, Mean Sqaure Error)가 있음.

$$J(\Theta) = \frac{1}{n} \sum_{i=1}^{n} (f_{\Theta}(\mathbf{x}_i) - y_i)^2$$

 

$f_{\Theta}(\mathbf{x}_i)$는 예측함수의 출력, $y_i$는 예측함수의 목푯값이므로,  오차는  $f_{\Theta}(\mathbf{x}_i) - y_i$로 나타낼 수 있음.

MSE의 계산 예시

과소적합, 과잉적합

과소적합: 모델의 용량이 작아 오차가 큰 상황, 바이어스가 크고 분산이 작음 (그림의 왼쪽)

과잉적합: 모델의 용량이 커 노이즈까지 수용하는 상황, 바이어스가 작고 분산이 큼 (그림의 오른쪽)

기계학습의 목표는 낮은 바이어스와 낮은 분산을 가진 모델을 만드는 것이지만, 이 둘은 트레이드오프 관계이므로 바이어스를 최소한으로 희생하고 분산을 최대한 낮추는 전략을 가져야 함.

 

모델 선택 알고리즘

검증집합 이용: 훈련집합과 테스트집합과는 별도인 검증집합을 이용해 모델의 성능을 측정

교차검증: 데이터 양이 적거나 비용 문제로 검증집합을 따로 준비하지 못하는 경우, 훈련집합을 n등분해 학습과 평가를 한 뒤 평균을 취해 모델의 성능을 측정

부트스트랩: 데이터 분포가 불균형할 때, 훈련집합에서 데이터를 일부 뽑아 모델을 학습한 뒤, 뽑히지 않은 데이터로 모델을 평가해 모델의 성능을 측정

 

지도 방식

지도 학습: 특징 벡터 X와 목푯값 Y가 모두 주어진 상황. 회귀, 분류 기법이 이에 해당됨

비지도 학습: 특징 벡터 X는 주어지나 목푯값 Y가 주어지지 않는 상황. 군집화, 밀도 추정 등에 사용됨

강화 학습: 목푯값이 주어지는 대신, 누적 보상을 최대화하도록 스스로 학습함.

준지도 학습: 일부는 X와 Y를 모두 가지지만, 나머지는 X만 주어짐.