컴퓨터는 실수를 유한한 비트로 표현하므로 반올림 오차가 발생한다. 수학적으로 같은 식도 계산 순서와 알고리즘에 따라 오차가 크게 달라질 수 있다.
행렬의 조건수는 입력의 작은 오차가 해에 얼마나 크게 증폭되는지 나타낸다.
$$ \kappa(A)=\lVert A\rVert\lVert A^{-1}\rVert $$
조건수가 크면 ill-conditioned 문제이며, 데이터나 계산의 작은 오차가 결과를 크게 바꿀 수 있다. 특징들의 스케일 차이와 다중공선성이 주요 원인이다.
$Ax=b$를 풀 때 $x=A^{-1}b$를 직접 계산하면 느리고 불안정할 수 있다. 라이브러리의 solve 계열 함수를 사용한다.
$A=LU$로 분해해 여러 우변 $b$에 대한 선형 시스템을 효율적으로 푼다.
$A=QR$에서 $Q$는 정규직교행렬, $R$은 상삼각행렬이다. 최소제곱 문제를 안정적으로 푸는 데 사용한다.
대칭 양의정부호 행렬에 대해 $A=LL^T$로 분해한다. 공분산 행렬, 가우시안 모델, 최적화에서 자주 사용한다.