고유값과 고유벡터

정사각행렬 $A$에 대해 0이 아닌 벡터 $v$가 다음을 만족하면 $v$는 고유벡터, $\lambda$는 고유값이다.

$$ Av=\lambda v $$

고유벡터는 변환 후에도 방향이 유지되는 축이고, 고유값은 그 축 방향의 확대·축소 비율이다.

AI에서의 의미

• 공분산 행렬의 고유벡터는 데이터의 주된 변화 방향이다.
• 가장 큰 고유값은 반복 변환에서 지배적인 방향을 나타낸다.
• 그래프 라플라시안의 고유벡터는 군집과 임베딩에 활용된다.

대각화

독립인 고유벡터가 충분하면

$$ A=V\Lambda V^{-1} $$

로 나타낼 수 있다. 대칭행렬은 항상 직교대각화할 수 있다.

$$ A=Q\Lambda Q^T $$

공분산 행렬처럼 실수 대칭행렬을 다룰 때 특히 중요하다.

특이값 분해 (SVD)

모든 $m\times n$ 실수행렬은 다음과 같이 분해된다.

$$ A=U\Sigma V^T $$

• $V^T$: 입력을 중요한 방향으로 회전한다.
• $\Sigma$: 각 방향을 특이값만큼 확대·축소한다.
• $U$: 결과를 출력 공간의 방향으로 회전한다.