선형 시스템 $Ax=b$

행렬 $A$가 입력 벡터 $x$를 출력 벡터 $b$로 변환하는 관계이다. AI에서는 회귀계수 계산, 최적화, 확률모형, 신경망 계산을 이해하는 기초가 된다.

• $A\in\mathbb{R}^{m\times n}$, $x\in\mathbb{R}^n$, $b\in\mathbb{R}^m$
• 해가 하나인지, 여러 개인지, 존재하지 않는지는 $A$의 랭크와 영공간에 의해 결정된다.
• 정사각행렬에서 $\det(A)\neq0$이면 $A$는 가역이고 해가 유일하다.
• 실제 계산에서는 $A^{-1}b$를 직접 구하기보다 선형 시스템을 푸는 알고리즘을 사용한다.

행 소거법

가우스 소거법은 기본 행 연산으로 행렬을 삼각형 형태로 바꾸고 후진대입으로 해를 구한다. 가우스-조르당 소거법은 기약 행 사다리꼴까지 변환한다.

기본 행 연산은 다음과 같다.

1. 두 행을 교환한다.
2. 한 행에 0이 아닌 상수를 곱한다.
3. 한 행의 배수를 다른 행에 더한다.

과결정 시스템과 최소제곱법

데이터가 방정식보다 많으면 일반적으로 $Ax=b$를 정확히 만족하는 $x$가 없다. 이때 잔차의 L2-노름을 최소화한다.

$$ x^=\operatorname{argmin}_x\lVert Ax-b\rVert_2^2 $$

해는 $b$를 $A$의 열공간에 직교 사영한 결과이며, 다음 정규방정식을 만족한다.

$$ A^TAx=A^Tb $$

$A$의 열들이 선형독립이면

$$ x^*=(A^TA)^{-1}A^Tb $$

이지만, 수치적으로는 역행렬이나 정규방정식을 직접 계산하기보다 QR 분해 또는 SVD를 사용하는 것이 안정적이다.