数据的准备

原始数据

1. 我们使用的原始数据集如下所示。
2. 以下数据集是SicKit Learn中，波士顿房价数据的钱 10 列，可以用如下的代码获取到：

1
2
3
4
5
6

from sklearn.datasets import load_boston
dataset = load_boston()
X_full, y_full = dataset.data, dataset.target
TenOfX = X_full_df.iloc[:, :10]
# TenOfX 即为我们的测试数据。
# 为了评估我们的填充效果，我们需要对这些数据做一下归一化处理。

本文主要描述以下概念及算法

• 信息增益的计算方法
• 信息增益比的计算方法
• ID3 算法的实现
• C4.5 算法的实现
• 决策树的剪枝算法
• 基尼指数的计算方法
• 最小二乘回归树生成算法
• CART 生成算法
• CART 剪枝算法

输入空间

1. 训练数据：$T = \lbrace (x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N) \rbrace$，

   其中，$x_i=(x^{(1)},x^{(2)},\cdots,x^{(n)})^T$，$x_i^{(j)}$是第$i$个样本的第$j$个特征，$x_i^{(j)} \in \lbrace
   a_{j1},a_{j2}, \cdots, a_{jS_j} \rbrace$， $a_{jl}$是第$j$个特征可能取到的第$l$个值，$j=1,2,\cdots,n$，$l=1,2,\cdots,S_j$，$y
   \in \lbrace c_1, c_2, \cdots ,c_K \rbrace$；

   • 训练数据中，共有$N$个数据样本；
   • 每个数据共有$n$个特征，即$n$维；
   • 第$j$个维度的取值可能有$S_j$种；
   • 最终可能的分类有$K$种。

2. 实例：$x$；

输出空间

实例$x$的分类

感知机模型( Perceptron Learning Algorithm )的基础属性

贝叶斯判定准则

贝叶斯判定该准则被描述为：为了最小化总体风险，只需要在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记，即：

$$
h^\star (x) = \arg\min_{c \in \mathcal{Y}} R(c | x)
\tag{1}
$$

此时，$h^\star$称作贝叶斯最优分类器。

注：此时的$h^\star$并不是一个可以计算的值，只是一个贝叶斯最优分类器的理论指导。

熵

熵（Entropy），在本文中是指信息熵（Information
Entropy），简单的来说，就是指一件事情的不确定性的度量，其单位为（Bit）。相对的，信息的单位也是Bit，刚好是信息熵的反义词，是指一件事情的确定性。

首先，引入熵的计算公式：
$$
Ent(D) = - \sum_k^{| \mathcal{Y} |} P_k log_2{P_k}
\tag{1}
$$

常见的卷积核

低通滤波器

$$
\left [
\begin{matrix}
1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1
\end{matrix}
\right ] * \frac{1}{9}
\tag{1}
$$

高斯分布

高斯分布的概率密度函数

$$
f(x) = \frac{1}{\sigma \sqrt{2\pi}} e^ {-\frac{(x-\mu)^2}{2 \sigma^2}}
\tag{1}
$$

奇异值分解的原理

特征值和特征向量

特征值和特征向量的定义如下：

$$
Ax = \lambda x
\tag{1}
$$

其中，$\lambda$是一个标量，$x$是一个向量，$\lambda$称作矩阵$A$的特征值，$x$是其对应的特征向量。

求得所有特征值和特征向量后，我们就可以对矩阵 A 进行特征分解。具体如下：

$$
A = W \Sigma W^{-1}
\tag{2}
$$

其中，$W$是由$A$的所有特征向量组成的$n\times n$维矩阵。$\Sigma$是以$A$的所有特征值$\lambda_1,\lambda_2,\dots,
\lambda_n$为对角线的对角矩阵。我们一般会把$W$的这$n$个特征向量标准化，即满足$||w_i|| = 1$或者$w_i^T \cdot w_i = w_i^T
w_i=1$，此时，$W$的$n$个向量为标准正交基。

故：

$$
W^{-1} = W^T
\tag{3}
$$

这样我们的特征分解表达式可以写成

$$
A = W \Sigma W^T
\tag{4}
$$

机器学习的定义

通常情况下来讲，机器学习有如下几个定义：

1. 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
2. 机器学习是对能通过经验自动改进的计算机算法的研究。
3. 机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。
4. 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T
   and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.