损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。

损失函数分为经验风险损失函数和结构风险损失函数
。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。一般用于防止过拟合，模型越复杂，其正则项的值就越大，相应的结构化风险损失函数的值就越大，相应的损失就越大。

常见的损失函数以及其优缺点如下：

激活函数是什么？

神经元

人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出。

我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的
特征向量，伸缩的比例就是特征值。

Scikit-Learn 中的决策树

在sklearn中，决策树在以下位置：

sklearn.tree

主要包含这么几种树：

本文主要讲解误差逆传播算法的实现。

BP网络

在将单层感知器转换为多层神经网络之后，其损失函数可以使用下面的军方误差的形式去表示，具体如下：

$$
E_k = \frac{1}{2} \sum_{j=1}^{l} (\hat{y}_j^k - y_j^k)^2
\tag{1}
$$

jieba（结巴）

专用于分词的 Python
库，GitHub：https://github.com/fxsjy/jieba，分词效果较好。

大数定律

大数定律一般有以下几种表述方式

本文主要记录我在学习机器学习过程中对梯度概念复习的笔记，主要参考《高等数学》《简明微积分》以及维基百科上的资料为主，文章小节安排如下：
1）导数 2）导数和偏导数 3）导数与方向导数 4）导数与梯度 5）梯度下降法

标量、向量、矩阵、张量可以分别理解为0维、1维、2维和多维数组，对应着0维、1维、2维和多维空间（2019年8月14日）。

标量、向量、矩阵、张量可以分别理解为0阶、1阶、2阶和多阶数组，对应着0维、1维、2维和多维空间，每一个单位量的元素个数可以看做是维数，如：