最小二乘公式

数据集：
$$
D = \lbrace (x_1, y_1),(x_2, y_2),\dots,(x_n, y_n) \rbrace \\
x \in \mathbb{R}^p; y \in \mathbb{R}
\tag{1}
$$
其中，每一个$x$都是一个$p$维的列向量，$y$ 是一个数。

即：
$$
\begin{align}
X & =
\left [
\begin{matrix}
x_1 & x_2 & \dots & x_n
\end{matrix}
\right] \\
& = \left [
\begin{matrix}
x_1^T \\
x_2^T \\
\vdots \\
x_n^T
\end{matrix}
\right] \\
& = \left [
\begin{matrix}
x_{11} & x_{12} & \dots & x_{1p} \\
x_{21} & x_{22} & \dots & x_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
x_{n1} & x_{n2} & \dots & x_{np} \\
\end{matrix}
\right] \\
Y & = \left [
\begin{matrix}
y_1 \\
y_2 \\
\vdots \\
y_n
\end{matrix}
\right ]
\end{align}
\tag{2}
$$

最小二乘估计

$$
\begin{align}
L(w) & = \sum_{i=1}^n || w^T x_i - y_i || ^2 \\
& = \sum_{i=1}^n (w^T x_i - y _ i)^2 \\
& = (W^TX^T - Y^T)(XW-Y) \\
& = W^TX^TXW - 2 W^TX^TY - Y^TY
\end{align}
\tag{3}
$$

对3式两边求导：
$$
\begin{align}
\frac{\partial L}{\partial w} & = 2 X^TXW - 2 X^TY \Longrightarrow 0 \\
X^TXW & = X^TY \\
W & = (X^TX)^{-1}X^TY
\end{align}
\tag{4}
$$
其中$(X^TX)^{-1}X^T$被称为伪逆。