배치 입력 $X\in\mathbb{R}^{B\times d_{in}}$, 가중치 $W\in\mathbb{R}^{d_{in}\times d_{out}}$, 편향 $b\in\mathbb{R}^{d_{out}}$에 대해
$$ Z=XW+b $$
이다. $B$는 배치 크기이며 $b$는 각 행에 브로드캐스팅된다. 활성화함수까지 적용하면 $Y=\phi(Z)$가 된다.
단어, 문장, 사용자, 상품을 고차원 벡터로 나타낸다. 코사인 유사도 또는 내적으로 가까운 벡터를 찾는다.
Scaled Dot-Product Attention은 다음과 같다.
$$ \operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$
선형회귀는 $Xw$가 목표 $y$를 잘 근사하도록 최소제곱 문제를 푼다. Ridge는 L2 규제를, Lasso는 L1 규제를 추가해 과적합을 줄인다.
중심화된 데이터 $X$의 표본 공분산 행렬은
$$ \Sigma=\frac{1}{n-1}X^TX $$
이다. 대칭이고 양의 준정부호이며, 대각 성분은 각 특징의 분산이고 비대각 성분은 특징 사이의 공분산이다.
모든 벡터 $x$에 대해 $x^TAx\ge0$이면 $A$는 양의 준정부호이다. 공분산 행렬, 커널 행렬, Hessian 분석에서 중요하다.