SVD 概念的复习
对于任意的矩阵$A$，总是可以得到如下的分解:
$$
A = U_m \Sigma_{m \times n} V_n^T \tag{1}
$$
这样的分解被称为奇异值分解（SVD， Singular Value Decomposition），其中$U$为$m$阶方阵（酉矩阵）, $V$为$n$阶方阵（酉矩阵），
$\Sigma$是形状为$m \times n$的非负实数对角矩阵，其中存放的就是我们的奇异值。
我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的
特征向量，伸缩的比例就是特征值。
矩阵求导
矩阵求导的定义
| 自变量↓\因变量→ | 标量$y$ | 向量$\mathbf{y}$ | 矩阵$\mathbf{Y}$ |
|---|---|---|---|
| 标量$x$ | $\frac{\partial y}{\partial x}$ | $\frac{\partial \mathbf{y}}{\partial x}$ | $\frac{\partial \mathbf{Y}}{\partial x}$ |
| 向量$\mathbf{x}$ | $\frac{\partial y}{\partial \mathbf{x}}$ | $\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$ | $\frac{\partial \mathbf{Y}}{\partial \mathbf{x}}$ |
| 矩阵$\mathbf{X}$ | $\frac{\partial y}{\partial \mathbf{X}}$ | $\frac{\partial \mathbf{y}}{\partial \mathbf{X}}$ | $\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$ |
矩阵求导的两种布局：
分子布局($numerator\ layout$)和分母布局($denominator\ layout$ )。
| 名称 | 英文 | 符号 | 说明 |
|---|---|---|---|
| 选择 | select | $\sigma$ | 类似于 SQL 中的 where |
| 投影 | project | $\sqcap$ | 类似于 SQL 中的 select |
| 并 | union | $\cup$ | 类似于 SQL 中的 union |
| 集合差 | set-difference | $-$ | SQL中没有对应的操作符 |
| 笛卡儿积 | Cartesian-product | $\times$ | 类似于 SQL 中不带 on 条件的 inner join |
| 重命名 | rename | $\rho$ | 类似于 SQL 中的 as |
| 集合交 | intersection | $\cap$ | SQL中没有对应的操作符 |
| 自然连接 | natural join | $\Join$ | 类似于 SQL 中的 inner join |
| 赋值 | assignment | ← |
本文主要记录我在学习机器学习过程中对梯度概念复习的笔记，主要参考《高等数学》《简明微积分》以及维基百科上的资料为主，文章小节安排如下：
1）导数 2）导数和偏导数 3）导数与方向导数 4）导数与梯度 5）梯度下降法
离散概率分布
伯努利概率分布
伯努利分布（$Bernoulli \ distribution$）就是对单次抛硬币的建模，伯努利分布的概率密度函数($PDF, Probability\ Density
Function $)为：
$$
f(x) = p^x(1-p)^{1-x}
\tag{1.1}
$$
$$
P(X=x) = \left\lbrace
\begin{align}
1-p \qquad &, x = 0 \\
p \qquad &, x = 1
\end{align}
\right.
\tag{1.2}
$$
随机变量$x$只能取${0,1}$。对于所有的$PDF$，都要归一化！而这里对于伯努利分布，已经天然归一化了，因此归一化参数就是$1$。
标量、向量、矩阵、张量可以分别理解为0维、1维、2维和多维数组，对应着0维、1维、2维和多维空间（2019年8月14日）。
标量、向量、矩阵、张量可以分别理解为0阶、1阶、2阶和多阶数组，对应着0维、1维、2维和多维空间，每一个单位量的元素个数可以看做是维数，如：
