深度学习数学基础-常见的概率分布

深度学习数学基础-常见的概率分布

离散概率分布

伯努利概率分布

伯努利分布($Bernoulli \ distribution$)就是对单次抛硬币的建模,伯努利分布的概率密度函数($PDF, Probability\ Density
Function $)为:

$$
f(x) = p^x(1-p)^{1-x}
\tag{1.1}
$$

$$
P(X=x) = \left\lbrace
\begin{align}
1-p \qquad &, x = 0 \\
p \qquad &, x = 1
\end{align}
\right.
\tag{1.2}
$$

随机变量$x$只能取${0,1}$。对于所有的$PDF$,都要归一化!而这里对于伯努利分布,已经天然归一化了,因此归一化参数就是$1$。

p=0.5

p=0.8

归一化

概率论中的归一化一般是指将一系列数值变为$(0,1)$之间的数的方法,数值之间的比值不会变。
$$
x = {x_i \over \Sigma_{j=1}^n x_j}
\tag{1.3}
$$

二项分布

很多次抛硬币的建模就是二项分布($binomial \ distribution$)了。注意二项分布有两个参数,$n$(抛硬币的次数)和$p$(每一次抛硬币某一面的概率),要考虑抛的次数$n$。

其$PDF$为:
$$
P(X=x) = \left \lbrace
\begin{aligned}
C_x^n p^x(1-p)^{n-x} \qquad &\\
0 \qquad & (otherwise)
\end{aligned}
\right.
\tag{1.4}
$$
其中的$C_x^n$是排列组合中的一个概念,如下:
$$
C_x^n = \frac{x!}{x!(x-n)!}
\tag{1.5}
$$

n=50, p=0.5

n=50, p=0.9

多项分布

多项式分布($Multinomial\ Distribution$)是二项式分布的推广。二项分布是单变量分布,而多项分布是多变量分布。二项分布的典型例子是
抛硬币,每次试验有正反两种对立的可能,多项分布的例子是扔骰子,每次试验有多种可能,进行多次试验,多项分布描述的是每种可能发生次数的联合概率分布。

在单次试验中,假设一共有$k$种可能情况,记这$k$种可能发生的概率为$\mu=[\mu_1, \cdots, \mu_k]$,并且$\sum_
{i=1}^k\mu_i=1$,记$X=[x_1,\cdots,x_k]$,其中$x_i\in\lbrace0,1\rbrace$,并且$\sum_{i=1}^k
x_i=1$,即$x_i$中只有一个为$1$,其他均为$0$,也就是每次试验只有一种可能发生,$x_i$取$1$的概率为$\mu_i$,那么,$x$的概率为:
$$
P(X|\mu) = \prod_{i=1}^k \mu_i^{x_i}
\tag{1.6}
$$
将试验进行$N$次,记第$i$种可能发生的次数为$m_i$,$\sum_{i=1}^k m_i = N$,那么多项分布表示$m_i$的联合概率分布为:
$$
P(m_1,\cdots,m_k | N, \mu) = Mult(m_1, \cdots, m_k|N,\mu) = \frac{N!}{m_1!\cdots m_k!}\prod_{i=1}^d\mu_i^{m_i}
\tag{1.7}
$$

连续概率分布

正态分布

正态分布,又称为高斯分布($Gaussian\ distribution$)的$PDF$为:
$$
f = \frac{1}{\sigma \sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma ^ 2}} = \frac{1}{\sigma \sqrt{2\pi}}exp({-\frac{(x-\mu)
^2}{2\sigma ^ 2}}) ,\qquad x \in (-\infty, +\infty)
\tag{2.1}
$$

一般将正态分布记为:
$$
X \sim N(\mu, \sigma^2)
\tag{2.2}
$$
上述$2.1$ 与 $2.2$中的$\mu$为正态分布的数学期望(期望值),决定了分布的位置;$\sigma^2$为其方差,开平方后的$\sigma$为其标准差,决定了其分布的
幅度

二项分布中重复无穷多次的话,就可以将其看成一个正态分布。

标准正态分布

在$2.1$式中,如果令$\mu = 0, \sigma = 1$则会变为标准正态分布,其$PDF$为:
$$
f(x) = f(x;0,1) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} = \frac{1}{\sqrt{2\pi}}exp({-\frac{x^2}{2}}) ,\qquad x \in (
-\infty, +\infty)
\tag{2.3}
$$
标准正态分布概率密度函数

卡方分布

卡方分布($chi-square\ distribution$),又称为$\chi^2-distritution$,记做:$\chi^2$,其$PDF$为:
$$
X = \sum_{i=1}^k Z^2_i
\tag{2.4}
$$
其中$Z_i$是相互独立而且满足标准正态分布的随机变量(其期望为0,方差为1)。

卡方分布概率密度函数

Beta 分布

首先,Beta分布的$PDF$如下:
$$
f(x;\alpha,\beta) = \left\lbrace
\begin{align}
\frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)} & \\
0 & \qquad (otherwise)
\end{align}
\right.
\tag{2.5}
$$
其中,$B(\alpha, \beta)$是Beta函数,其定义为:
$$
B(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha + \beta)}
\tag{2.6}
$$
$1.7$ 式中的$\Gamma$函数实际上是阶乘函数$f(x)=x!$在实数域上的推广:
$$
\begin{align}
\Gamma(x) & = \int_0^\infty t^{x-1}e^{-t}dt, & \qquad x \subset R \qquad&(Real \ Number)\\
\Gamma(x) & = x! = x\Gamma(x-1) & \qquad x \subset Z \qquad&(Integer)
\end{align}
\tag{2.7}
$$
Beta分布概率密度函数

具体理解

$$
先验分布 + 实验数据\implies后验分布
\tag{2.8}
$$

拉普拉斯分布

可以看作是两个不同位置的指数分布背靠背拼接在一起,所以它也叫作双指数分布。

其概率密度函数为:
$$
\begin{align}
f(x|\mu, b) & =\frac{1}{2b}exp(-{\frac{|x-\mu|}{b}}) \\
&= \frac{1}{2b}\left\lbrace
\begin{aligned}
exp(-\frac{\mu-x}{b}) & \qquad x < \mu\\
exp(-\frac{x-\mu}{b}) & \qquad x \geq \mu
\end{aligned}
\right.
\end{align}
\tag{2.9}
$$

PDF图像,From Wikipedia

其中,$b$决定函数图像的高度,成负相关;$\mu$决定图像的位置,成正相关。

深度学习数学基础-常见的概率分布

https://www.borgor.cn/posts/9310c4d2.html

作者

Cyrusky

发布于

2019-08-09

更新于

2024-11-18

许可协议

评论