熵

熵（Entropy），在本文中是指信息熵（Information
Entropy），简单的来说，就是指一件事情的不确定性的度量，其单位为（Bit）。相对的，信息的单位也是Bit，刚好是信息熵的反义词，是指一件事情的确定性。

首先，引入熵的计算公式：
$$
Ent(D) = - \sum_k^{| \mathcal{Y} |} P_k log_2{P_k}
\tag{1}
$$

离散分布

对于离散分布来说，联合概率、编辑概率的解释如下表所示：

快速配置Alibaba的Homebrew

首先确保你已经安装好了 Homebrew 了, 如果没有, 请参考 OPSX 指引页的 Homebrew 文档;

然后你只需要粘贴下述命令在对应终端运行.

矩阵求导

矩阵求导的定义

矩阵求导的两种布局：

分子布局($numerator\ layout$)和分母布局($denominator\ layout$ )。

数据集：
$$
D = \lbrace (x_1, y_1),(x_2, y_2),\dots,(x_n, y_n) \rbrace \\
x \in \mathbb{R}^p; y \in \mathbb{R}
\tag{1}
$$
其中，每一个$x$都是一个$p$维的列向量，$y$ 是一个数。