SVD的实现和意义

SVD的实现和意义

SVD 概念的复习

对于任意的矩阵$A$,总是可以得到如下的分解:

$$
A = U_m \Sigma_{m \times n} V_n^T \tag{1}
$$

这样的分解被称为奇异值分解(SVD, Singular Value Decomposition),其中$U$为$m$阶方阵(酉矩阵), $V$为$n$阶方阵(酉矩阵), $\Sigma$是形状为$m \times n$的非负实数对角矩阵,其中存放的就是我们的奇异值。

特征值和特征向量的几何和物理意义(转载)

特征值和特征向量的几何和物理意义(转载)

我们知道,矩阵乘法对应了一个变换,是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中,原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换,不对这些向量产生旋转的效果,那么这些向量就称为这个矩阵的特征向量,伸缩的比例就是特征值

联合概率,条件概率和编辑概率的概念

联合概率,条件概率和编辑概率的概念

离散分布

对于离散分布来说,联合概率、编辑概率的解释如下表所示:

矩阵求导

矩阵求导

矩阵求导

矩阵求导的定义

自变量↓\因变量→标量$y$向量$\mathbf{y}$矩阵$\mathbf{Y}$
标量$x$$\frac{\partial y}{\partial x}$$\frac{\partial \mathbf{y}}{\partial x}$$\frac{\partial \mathbf{Y}}{\partial x}$
向量$\mathbf{x}$$\frac{\partial y}{\partial \mathbf{x}}$$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$$\frac{\partial \mathbf{Y}}{\partial \mathbf{x}}$
矩阵$\mathbf{X}$$\frac{\partial y}{\partial \mathbf{X}}$$\frac{\partial \mathbf{y}}{\partial \mathbf{X}}$$\frac{\partial \mathbf{Y}}{\partial \mathbf{X}}$

矩阵求导的两种布局:

分子布局($numerator\ layout$)和分母布局($denominator\ layout$ )。

关系代数基础

关系代数基础

名称英文符号说明
选择select$\sigma$类似于 SQL 中的 where
投影project$\sqcap$类似于 SQL 中的 select
union$\cup$类似于 SQL 中的 union
集合差set-difference$-$SQL中没有对应的操作符
笛卡儿积Cartesian-product$\times$类似于 SQL 中不带 on 条件的 inner join
重命名rename$\rho$类似于 SQL 中的 as
集合交intersection$\cap$SQL中没有对应的操作符
自然连接natural join$\Join$类似于 SQL 中的 inner join
赋值assignment
深度学习数学基础-大数定律和中心极限定律

深度学习数学基础-大数定律和中心极限定律

大数定律

大数定律一般有以下几种表述方式

深度学习的数学知识-微积分相关概念

深度学习的数学知识-微积分相关概念

本文主要记录我在学习机器学习过程中对梯度概念复习的笔记,主要参考《高等数学》《简明微积分》以及维基百科上的资料为主,文章小节安排如下:
1)导数
2)导数和偏导数
3)导数与方向导数
4)导数与梯度
5)梯度下降法

概率与统计相关概念

概率与统计相关概念

均值

$mean$,数列的算术平均值,反应了数列的集中趋势,等于有效数值的合除以有效数值的个数。也称为数学期望

深度学习数学基础-常见的概率分布

深度学习数学基础-常见的概率分布

离散概率分布

伯努利概率分布

伯努利分布($Bernoulli \ distribution$)就是对单次抛硬币的建模,伯努利分布的概率密度函数($PDF, Probability\ Density\ Function $)为:

$$
f(x) = p^x(1-p)^{1-x}
\tag{1.1}
$$

$$
P(X=x) = \left\lbrace
\begin{align}
1-p \qquad &, x = 0 \\
p \qquad &, x = 1
\end{align}
\right.
\tag{1.2}
$$

随机变量$x$只能取${0,1}$。对于所有的$PDF$,都要归一化!而这里对于伯努利分布,已经天然归一化了,因此归一化参数就是$1$。

深度学习数学基础-线性代数-标量、向量、矩阵和张量

深度学习数学基础-线性代数-标量、向量、矩阵和张量

标量、向量、矩阵、张量可以分别理解为0维、1维、2维和多维数组,对应着0维、1维、2维和多维空间(2019年8月14日)。

标量、向量、矩阵、张量可以分别理解为0阶、1阶、2阶和多阶数组,对应着0维、1维、2维和多维空间,每一个单位量的元素个数可以看做是维数,如:

Agile Angularjs Animation Application Artificial Intelligence BP Babel Bokeh Book C4.5 CART CD CLI CSS CentOS CheetSheet Cinder Clipboardjs Concept Continuous Delivery DeepLearning Department DevOps Develop Development Directive Distribution Django Document ECMA ELU ES5 ES6 ES7 Echarts Engine Entropy Filter Front End GELU Gallery Git Gradient descent Hexo Horizon ID3 ID3.5 Icarus JavaScript Javascript KVM LaTeX LeetCode LibreOffice Linux Logestic MNIST Machine Learning Mathematics Matrix MiddleWare Module Native Network Nginx NodeJS Numpy OOP OpenSSH OpenStack OpenStackApi Operations Oprations PDF PLA Pandas Pipline Probability Python ReLU React Relational algebra Restful Route SVD SVM Scalar Sigmoid SoftPlus Swish Team Tempest Tensor TensorFlow Testing Time TimeMachine Tips Vector Vmware Vue Vuex WSGI Web Word Cut aliyun auth babel certbot cost function debounce decision tree dns docker dockerfile eject error function footer git header homebrew html5 http https jupyter jwt keystone lab loader lodash loss function mathematics migrate nav openstack outline pdf2html pm2 proto prototype python replace request response rp rt ruby scikit-learn section singular value decomposition sklearn stylus tanh throttle url vue-router vue-ssr webpack 事件 事件代理 事件冒泡 事件捕获 位运算 低通滤波器 入门 全局 全局变量 全局对象 全栈 公式 决策树 几何意义 函数 分类器 剪枝 加速 动态变量 匹配滤波边缘检测 卷积 卷积核 原型链 双向绑定 反向传播 发布 变量类型 可视化 基尼指数 官方示例 对偶形式 对象 小技巧 平移和查分边缘检测 思维导图 感知机模型 手动实现 拉格朗日乘子法 推导 提交阶段 数据 数据绑定 最大似然估计 最小二乘估计 最小二乘回归树 最小二乘法 本地 朴素贝叶斯 朴素贝叶斯算法 机器学习 条件概率 标签模板 梯度下降 梯度方向边缘检测 概念 概率 模板字符 模板字符串 正则 求导 流程 源码 源码阅读 激活函数 灰度 特征值 特征向量 特征工程 生命周期 矩阵 神经元 神经网络 私有对象 科学计算 算法 算法实现 线性代数 线性回归 编译 缺失 联合概率 脚手架 识别 调试 贝叶斯 贝叶斯判定准则 边缘检测 边际概率 闭包 间隔 防抖动 限流 随机森林 高斯分布 高通滤波器
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×