特征值和特征向量的定义如下：
$$
Ax = \lambda x
\tag{1}
$$
其中，$\lambda$是一个标量，$x$是一个向量，$\lambda$称作矩阵$A$的特征值，$x$是其对应的特征向量。
求得所有特征值和特征向量后，我们就可以对矩阵 A 进行特征分解。具体如下：
$$
A = W \Sigma W^{-1}
\tag{2}
$$
其中，$W$是由$A$的所有特征向量组成的$n\times n$维矩阵。$\Sigma$是以$A$的所有特征值$\lambda_1,\lambda_2,\dots,
\lambda_n$为对角线的对角矩阵。我们一般会把$W$的这$n$个特征向量标准化，即满足$||w_i|| = 1$或者$w_i^T \cdot w_i = w_i^T
w_i=1$，此时，$W$的$n$个向量为标准正交基。
故：
$$
W^{-1} = W^T
\tag{3}
$$
这样我们的特征分解表达式可以写成
$$
A = W \Sigma W^T
\tag{4}
$$
| 名称 | 英文 | 符号 | 说明 |
|---|---|---|---|
| 选择 | select | $\sigma$ | 类似于 SQL 中的 where |
| 投影 | project | $\sqcap$ | 类似于 SQL 中的 select |
| 并 | union | $\cup$ | 类似于 SQL 中的 union |
| 集合差 | set-difference | $-$ | SQL中没有对应的操作符 |
| 笛卡儿积 | Cartesian-product | $\times$ | 类似于 SQL 中不带 on 条件的 inner join |
| 重命名 | rename | $\rho$ | 类似于 SQL 中的 as |
| 集合交 | intersection | $\cap$ | SQL中没有对应的操作符 |
| 自然连接 | natural join | $\Join$ | 类似于 SQL 中的 inner join |
| 赋值 | assignment | ← |
本文主要记录我在学习机器学习过程中对梯度概念复习的笔记，主要参考《高等数学》《简明微积分》以及维基百科上的资料为主，文章小节安排如下：
1）导数 2）导数和偏导数 3）导数与方向导数 4）导数与梯度 5）梯度下降法
伯努利分布（$Bernoulli \ distribution$）就是对单次抛硬币的建模，伯努利分布的概率密度函数($PDF, Probability\ Density
Function $)为：
$$
f(x) = p^x(1-p)^{1-x}
\tag{1.1}
$$
$$
P(X=x) = \left\lbrace
\begin{align}
1-p \qquad &, x = 0 \\
p \qquad &, x = 1
\end{align}
\right.
\tag{1.2}
$$
随机变量$x$只能取${0,1}$。对于所有的$PDF$，都要归一化！而这里对于伯努利分布，已经天然归一化了，因此归一化参数就是$1$。
标量、向量、矩阵、张量可以分别理解为0维、1维、2维和多维数组，对应着0维、1维、2维和多维空间（2019年8月14日）。
标量、向量、矩阵、张量可以分别理解为0阶、1阶、2阶和多阶数组，对应着0维、1维、2维和多维空间，每一个单位量的元素个数可以看做是维数，如：
