3-1. 기계학습 수학 - 선형대수

 

 

시험 준비 및 공부 기록 아카이브 용으로 작성하는 글입니다.

다소 내용이 정제되어 있지 않을 수 있습니다.

 

벡터와 행렬

데이터의 샘플은 특징 벡터로 표현 가능함.

$$ \mathbf{x} = \begin{pmatrix} x_1 \\ x_2 \\ x_3 \\ x_4 \end{pmatrix} = \begin{pmatrix} 5.1 \\ 3.5 \\ 1.4 \\ 0.2 \end{pmatrix} $$

 

특징 벡터가 여러 개라면 첨자를 통해 이들을 구분함.

$$ \mathbf{x}_1 = \begin{pmatrix} 5.1 \\ 3.5 \\ 1.4 \\ 0.2 \end{pmatrix}, \mathbf{x}_2 = \begin{pmatrix} 4.9 \\ 3.0 \\ 1.4 \\ 0.2 \end{pmatrix}, \mathbf{x}_3 = \begin{pmatrix} 4.7 \\ 3.2 \\ 1.3 \\ 0.2 \end{pmatrix}, \dots, \mathbf{x}_{n} = \begin{pmatrix} 5.9 \\ 3.0 \\ 5.1 \\ 1.8 \end{pmatrix} $$

 

이 벡터들을 여러 개를 담은 것을 행렬이라 함.

가로가 행, 세로가 열 -> $x_{행, 열}$ (맨날 헷갈리니까 주의!!)

$$ \mathbf{X} = \begin{pmatrix} 5.1 & 3.5 & 1.4 & 0.2 \\ 4.9 & 3.0 & 1.4 & 0.2 \\ 4.7 & 3.2 & 1.3 & 0.2 \\ 4.6 & 3.1 & 1.5 & 0.2 \\ \vdots & \vdots & \vdots & \vdots \\ 6.2 & 3.4 & 5.4 & 2.3 \\ 5.9 & 3.0 & 5.1 & 1.8 \end{pmatrix} = \begin{pmatrix} x_{1,1} & x_{1,2} & x_{1,3} & x_{1,4} \\ x_{2,1} & x_{2,2} & x_{2,3} & x_{2,4} \\ x_{3,1} & x_{3,2} & x_{3,3} & x_{3,4} \\ x_{4,1} & x_{4,2} & x_{4,3} & x_{4,4} \\ \vdots & \vdots & \vdots & \vdots \\ x_{n-1,1} & x_{n-1 ,2} & x_{n-1 ,3} & x_{n-1 ,4} \\ x_{n,1} & x_{n,2} & x_{n,3} & x_{n,4} \end{pmatrix} $$

 

전치행렬은 행렬 내 원소를 대각선축을 기준으로 서로 위치를 바꾼 행렬

$$ \mathbf{A} = \begin{pmatrix} a_{11} & a_{12} & \dots & a_{1m} \\ a_{21} & a_{22} & \dots & a_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \dots & a_{nm} \end{pmatrix}, \quad \mathbf{A}^T = \begin{pmatrix} a_{11} & a_{21} & \dots & a_{n1} \\ a_{12} & a_{22} & \dots & a_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1m} & a_{2m} & \dots & a_{nm} \end{pmatrix} $$

 

식으로 보면 지루하고 현학적이지만

대충 이런 식으로 뒤집는다 생각하면 된다

 

행렬을 이용하면 복잡한 식을 간결하게 정리할 수 있음

 

행렬의 곱셈은 $\mathbf{C} = \mathbf{AB}$로 정리할 수 있으며, $ c_{ij} = \sum_{k=1}^{s} a_{ik}b_{kj} $일 때만 성립함.

$$ \mathbf{AB} = \begin{pmatrix} 3 & 4 & 1 \\ 0 & 5 & 2 \end{pmatrix} \begin{pmatrix} 2 & 0 & 1 \\ 1 & 0 & 5 \\ 4 & 5 & 1 \end{pmatrix} = \begin{pmatrix} 3 \times 2 + 4 \times 1 + 1 \times 4 & 3 \times 0 + 4 \times 0 + 1 \times 5 & 3 \times 1 + 4 \times 5 + 1 \times 1 \\ 0 \times 2 + 5 \times 1 + 2 \times 4 & 0 \times 0 + 5 \times 0 + 2 \times 5 & 0 \times 1 + 5 \times 5 + 2 \times 1 \end{pmatrix} = \begin{pmatrix} 14 & 5 & 24 \\ 13 & 10 & 27 \end{pmatrix} $$

 

교환법칙$(\mathbf{AB} = \mathbf{BA})$은 성립하지 않으나 분배법칙$(\mathbf{A}(\mathbf{B}+\mathbf{C}) = \mathbf{AB} + \mathbf{BC})$과 결합법칙 $(\mathbf{A}(\mathbf{BC}) = (\mathbf{AB})\mathbf{C})$는 성립함.

벡터의 내적은 $ \mathbf{a} \cdot \mathbf{b} = \mathbf{a}^T \mathbf{b} = \sum_{k=1}^{d} a_k b_k $로 정리할 수 있음.

 

여기서 더 나아가 숫자 배열이 3차원 이상의 구조를 가지게 되면, 이를 텐서라 부름.

 

놈과 유사도

p차 놈: $ \|\mathbf{x}\|_p = \left( \sum_{i=1}^{d} |x_i|^p \right)^{\frac{1}{p}} $

예시) $ \mathbf{x} = (3 \quad -4 \quad 1) $ 일 때 2차 놈은 $ \|\mathbf{x}\|_2 = \left( 3^2 + (-4)^2 + 1^2 \right)^{1/2} = 5.099 $

최대 놈: $ \|\mathbf{x}\|_{\infty} = \max(|x_1|, |x_2|, \dots, |x_d|) $

예시) $ \mathbf{x} = (2 \quad -7 \quad 3) $ 일 때 최대 놈은 $ \|\mathbf{x}\|_{\infty} = \max(|2|, |-7|,  |3|) = 7 $

행렬의 프로베니우스 놈: $ \|\mathbf{A}\|_F = \sqrt{\sum_{i=1}^{n} \sum_{j=1}^{m} a_{ij}^2} $

예시) $ \left\| \begin{array}{cc} 2 & 1 \\ 6 & 4 \end{array} \right\|_F = \sqrt{2^2 + 1^2 + 6^2 + 4^2} = 7.550 $

코사인 유사도: 두 벡터가 얼마나 비슷한 방향을 가리키는지 나타내는 지표. 이때, 벡터의 크기는 상관 않고 방향만을 체크함. 1에 가까울수록 두 벡터가 유사한 방향을 가리키며, 0에 가까울수록 두 벡터가 수직에 가까워지며, -1에 가까울수록 두 벡터가 서로 반대 방향을 가리킴.

$$ \operatorname{cosine\_similarity}(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a}}{\|\mathbf{a}\|} \cdot \frac{\mathbf{b}}{\|\mathbf{b}\|} = \cos(\theta) $$

 

선형결합과 벡터공간

벡터: 공간상의 한 점으로, 화살표 끝이 벡터의 좌표.

서로 독립된 기저벡터 n개의 선형결합은 n차원의 벡터공간을 만들어냄.

예시) 기저벡터 a와 b의 선형결합: $ \mathbf{c} = \alpha_1 \mathbf{a} + \alpha_2 \mathbf{b} $