# 神经网络与其前向传播
一个三层的简单神经网络可以如图画出

![](https://gbwater.icu/static/img/9d0b1982723b4d25dee83730da1529bf.image.webp)



其中$x_i$是**输入**，$+1$是**偏置**，各$W$是**权重**，各$b$是各个神经元的**偏置**，各$z$是各个神经元的总输入，各$a$是各神经元的**输出**，它们满足
$$
z^{(2)}_i=\sum_j W_{ij}x_j+b^{(1)}_i
$$
$$
a^{(1)}_i=f(z_i^{(1)})
$$

写成矢量形式会更加清晰
$$
\bm{z}^{(l+1)}=\bm{W}^{(l)}\bm{a}^{(l)}+\bm{b}^{(l)}\quad \bm{a}^{(l+1)}=f(\bm{z}^{(l+1)})
$$

实际上神经网络可以不止两层，输出神经元也可以不止一个。从输入一层一层地计算得到输出的过程就叫**前向传播**

# 神经网络的训练与误差反向传播

神经网络的训练即调整各个权重和偏置，使得**代价函数**最小。假定有很多个训练样本
$$
(x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)})
$$

对于单个样本定义其代价函数为
$$
J(W,b,x,y)=\dfrac12||h_{W,b}(x)-y||^2
$$

总的代价函数除了各个样本的代价均值外，还要加上权重的惩罚项（**Weight decay**）
$$
J(W,b)=\left[\dfrac1m\sum_{i=1}^m\left(\dfrac12||h_{w,b}(x^{(i)})-y^{(i)}||^2\right)\right]+\dfrac\lambda2\sum_{i,j,l}|W_{i,j}^{(l)}|^2
$$

其中$\lambda$是一个超参数，较大的$\lambda$会使得训练倾向于减小权值。显然（好像也不显然）$J$并不是一个凸函数，理论上梯度下降法训练无法达到全局最优；不过实践中发现梯度下降法效果仍然不错

在更新参数时，也应遵循梯度下降法，按照代价函数的梯度更新参数
$$
W_{ij}^{(l)}=W_{ij}^{(l)}-\alpha\dfrac{\partial}{\partial W_{ij}^{(l)}}J(W,b)
$$
$$
b^{(l)}=b^{(l)}-\alpha\dfrac{\partial}{\partial b^{(l)}}J(W,b)
$$

鉴于
> $$
> z^{(2)}_i=\sum_j W_{ij}x_j+b^{(1)}_i
> $$
> $$
> a^{(1)}_i=f(z_i^{(1)})
> $$

只需要知道每个神经元的$z$误差即可，定义**感知误差**，这是一个向量
$$
\delta^{(l)}=\dfrac{\partial J(W,b)}{z^{(l)}}
$$
利用链式法则可以得到

$$
\delta^{(l)}=\dfrac{\partial a^{(l)}}{z^{(l)}}\cdot\dfrac{\partial z^{(l+1)}}{\partial a^{(l)}}\cdot\dfrac{\partial J(W,b)}{\partial z^{(l+1)}}=f'_l(z^{(l)})(W^{(l)})^T\delta^{(l+1)}
$$

即得到了误差的递推关系。那么利用感知误差更新各参数
$$
\dfrac{\partial}{\partial W_{ij}^{(l)}}J(W,b,x,y)=a_j^{(l)}\delta_i^{(l+1)}
$$
$$
\dfrac{\partial}{\partial b_i^{(l)}}J(W,b,x,y)=\delta_i^{(l+1)}
$$

# 梯度消失和梯度爆炸

神经网络的每一层应当有
$$
a_n=f(Wa_{n-1})
$$
那么求其导有
$$
\dfrac{\partial a_n}{\partial a_{n-1}}=f'\cdot W
$$

那么当$f'<1$时，梯度会在传播中越来越小；而$W>1$时，梯度会越来越大。称之为梯度消失与梯度爆炸

多层前馈神经网络

# 人工神经元

人工神经元的结构可以画出如图

![image.png](/static/img/0e7d18faf4809be9657e85c7d4a3662a.image.webp)

其中左侧的$x_i$称为**输入**，$+1$称为**偏置**。神经元中的输入经过加权求和后，还被作用了一个函数$f$，称为**激活函数**。激活函数给神经元**引入了非线性因素**，使得神经网络可以任意逼近任何非线性函数。神经元的输出为
$$
a=f\left(w_1x_1+w_2x_2+\cdots+b\right)
$$

为了便于梯度下降，希望激活函数是连续可导的


# 激活函数

最开始的激活函数是`Logistic`，即Sigmoid
$$
\sigma(x)=\dfrac{1}{1+e^{-x}}
$$

![image.png](/static/img/2792ba3d09ee9fcebbd505c163ad1967.image.webp)

这是由熵推出的表征概率的函数，不过在后来的实践中发现只要是个非线性的函数就可以，最简单的非线性函数莫过于`ReLU`
$$
ReLU(x)=max(0,x)
$$

![image.png](/static/img/d8b4f79c159bebdb862f0307aa8a31f7.image.webp)

它的光滑版本是`Softplus`
$$
Softplus(x)=\log(1+e^x)
$$

![image.png](/static/img/37ca01ae028882f0ac4a3538a6bfe06a.image.webp)

此外还可能用双曲正切函数`tanh`
$$
tanh(x)=\dfrac{e^x-e^{-x}}{e^x+e^{-x}}
$$

![image.png](/static/img/5ca5b4ad889d8bb6cf4aa447407a52d6.image.webp)

# 感知机

感知机由两层神经元组成，只有一层功能神经元，可以将其画图如下

![image.png](/static/img/daa830a9c2c8aad6a0465c07e60e6e74.image.webp)

由于其激活函数是阈值函数，也被称作阈值逻辑单元。可以使用感知机实现简单的逻辑运算，比如`与`和`或`

![image.png](/static/img/ee0e2da25d241372dc69f076418b1a16.image.webp)

不过非常可惜的是，感知机是一种线性分类器（见[线性分类与感知机](https://gbwater.icu/post/51)），面对非线性可分的逻辑（如异或XOR），它就无能为力了。不过鉴于在[支持向量机与SVM](https://gbwater.icu/post/52)中提到

> 如果训练数据本身就不是线性可分的，可以考虑将数据映射到更高维的空间，并尝试使用线性分类

可以尝试将数据映射到另一个空间，再尝试将其线性分类。映射的操作也可以通过感知机完成

<center><img src="/static/img/ebc3a36253ccc132e3634f244907c817.image.webp" width=50%/></center>

不过此处的激活函数采取ReLU，由此即可实现异或

# 多层感知机MLP

两层感知机即可解决异或，更多层不是翻天了？实际上这就是**多层前馈神经网络**。有万能近似定理

:::info{title="Note"}
一个网络只要有两层计算单元，且其中第一层是非线性的，第二层是线性的，那么它可以以任意精度逼近任何连续函数
:::

这意味着只有一个隐藏层的多层前馈网络足以逼近任何函数，同时还可以保证很高的精度和令人满意的效果

感知机与多层感知机MLP

# 集成学习

集成学习选择一个由一系列假设$h_1,h_2,\cdots,h_n$构成的集合，通过平均投票或者其他方法将预测结果组合

- 每个单独的假设称为**基模型**
- 它们组合后的模型称为**集成模型**



假设集成学习通过**简单投票法**结合K个基分类器，若超过半数的基分类器正确，则集成分类就输出正确，即
$$
h(x)=sign\left(\sum_i h_i(x)\right)
$$

假定基分类器的错误率相互独立，若为$\epsilon$，则集成后的错误率为
$$
\sum_{k=0}^{K/2}{K\choose k}(1-\epsilon)^k\epsilon^{K-k}\leq\exp\left(-\dfrac12K(1-2\epsilon)^2\right)
$$

随着$K$增大，错误率将指数下降

# 自助聚合法（Bagging）
首先创建多个随机训练数据集（训练数据集的子集）。然后基于随机训练数据集建立多个基模型。最后，汇总这些基模型的结果，可使用平均或多数投票

# 提升法（Boosting）
Boosting 是一种迭代的集成学习方法，它的目标是让分类器（或者模型）在训练过程中重点关注那些难以分类的样本

具体做法是根据上一轮分类的结果，自适应地调整训练样本的权重，使得错误分类的样本权重变大，让分类器在下一轮中更关注这些难以分类的样本

# 自适应提升法AdaBoost
AdaBoost 算法通过迭代训练多个弱分类器，每轮根据上轮分类结果调整样本权重，使错误分类的样本获得更高权重，从而在下一轮训练中被弱分类器重点关注。最终，所有弱分类器按其性能加权组合，形成一个强分类器。这个过程通过加权投票机制，将多个表现一般的弱分类器整合为一个高性能的强分类器
$$
H_k(x)=sign\left(\sum_{k=1}^L\alpha_kh_k(x)\right)
$$

# 随机森林
随机森林是一种集成学习算法，主要通过多个决策树的组合来进行分类或回归。它的工作流程如下：

1. 随机采样：从训练数据集中通过有放回的方式随机抽取若干个样本，形成多个新的训练子集
2. 随机特征选择：在构建每棵决策树时，从所有特征中随机选择一部分特征，然后基于这些特征来分裂节点
3. 构建决策树：使用上述样本和选定特征，利用决策树算法（如CART）生成一棵决策树，每棵树独立生长，不进行剪枝
4. 投票或平均：对于分类任务，随机森林将所有决策树的结果进行投票，选择出现次数最多的类别作为最终结果；对于回归任务，取所有树预测结果的平均值作为输出
5. 
随机森林通过引入随机性（随机样本和随机特征），有效地降低了单个决策树过拟合的风险，并提高了模型的泛化能力

# 堆叠泛化

**堆叠泛化（Stacking）** 是一种集成学习方法，主要通过将不同类型的模型组合起来，进一步提升预测性能

1. 使用相同数据训练不同模型：在同一训练数据集上，分别训练多个不同类型的基模型（如SVM、逻辑回归、决策树等）
2. 预测与验证：基模型对训练数据进行预测，并使用验证集（通过交叉验证）得到每个模型的输出结果
3. 构建第二层模型：将基模型的预测结果作为新的输入特征，训练一个高层次的集成模型（如逻辑回归、线性回归等）。该模型负责综合所有基模型的结果，得到最终的预测输出
4. 堆叠多层：堆叠可以继续多层扩展，每一层的输出作为下一层的输入，逐步优化整体模型性能

堆叠泛化通过组合多种不同模型的优势，并用一个新的集成模型学习如何整合它们的结果，从而减少偏差，提升预测效果，通常能优于单个模型的性能

集成学习

# k近邻分类
kNN模型是一种非参数模型，它用数据本身来表示模型。kNN分类中对于待分类的数据点，寻找其周围最近的$k$个已知样例，以其中多数的类别为分类结果



# 1NN分类器

1NN分类器的判别边界是Voronoi剖分形成的多个线段的连接

![image.png](/static/img/1874548ee2dfab1ad5811e619b25b8ac.image.webp)

这样将形成一张**Voronoi图**。如果对于距离的定义不一样，形成的Voronoi图也不一样，如

![image.png](/static/img/fbffe479184c39fa64363e0635df9989.image.webp)

# 常见距离度量
- 通常使用闵可夫斯基距离
$$
L^p(u,v)=\left(\sum_i|u_i-v_i|^p\right)^{\dfrac1p}
$$

- 汉明距离：对于二进制数据，定义其汉明距离为不同二进制位的数目

- 数据各个维度的取值范围可能不一样，为了规避这种影响，需要对每一个维度进行归一化

- 马氏距离：考虑数据的协方差，适合维度间存在相关性的场景。设$\sum$为数据各个维度的协方差矩阵，则马氏距离定义为
$$
d=\sqrt{(x_j-x_p)^T{\sum}^{-1}(x_j-x_p)}
$$
马氏距离是一种距离的度量，可以看作是欧氏距离的一种修正，修正了欧式距离中各个维度尺度不一致且相关的问题

# 维数灾难
在高维空间中，最接近的数据点之间的距离通常并不小, 并没有足够多的近距离数据点，称为**维数灾难**

k近邻分类kNN

# 最大间隔分类器

对线性可分的数据集而言，分类面的选择是无穷多的。希望找到一个离数据点最远的决策面，即SVM。SVM是基于向量空间的机器学习方法，从决策面到最近数据点的距离决定了分类器的间隔



# SVM求解

对于一个超平面的决策边界而言
$$
w^Tx+b=0
$$
一个点到决策边界的欧氏距离是（$y$取$\pm1$）
$$
r=y\dfrac{w^Tx+b}{||w||}
$$
由于数据点可以放大，不妨要求所有点的函数间隔至少为`1`，并且至少有一个点的**函数间隔**为`1`
$$
\min|w^Tx_i+b|=1
$$
由于对称性，应当存在两个点$x_a,x_b$使得
$$
w^Tx_a+b=1\\
w^Tx_b+b=-1
$$
也就是说
$$
w^T(x_a-x_b)=2
$$
这意味着
$$
||x_a-x_b||=\dfrac{2}{||w||}
$$
问题就转化为了使得$||w||$最小，也即希望$||w||^2$最小（去除根号），即求解一个二次函数优化问题

:::info{title="Note"}
希望找到向量$w$和实数$b$使得对于所有的样例点$(x_i,y_i)$都有
$$
y_i(w^Tx_i+b)\geq 1
$$
并且使得下式取到最大值
$$
w^Tw
$$
:::

求解这个问题可以使用**拉格朗日对偶**。对于每个不等式约束
> $$
> y_i(w^Tx_i+b)\geq1
> $$

都引入一个拉格朗日因子$\alpha_i$，构造拉格朗日函数
$$
L(w,b,\alpha)=\dfrac12||w||^2-\sum_i\alpha_i[y_i(w^Tx_i+b)-1]
$$

那么原问题的求解等价于求解
$$
\max_\alpha\min_{w,b}L(w,b,\alpha)
$$

为了求解它，将拉格朗日函数对$w,b$求偏导并令其为零
$$
\dfrac{\partial L}{\partial w}=w-\sum_i\alpha_iy_ix_i=0
$$

$$
\dfrac{\partial L}{\partial b}=\sum_i\alpha_iy_i=0
$$

代入原问题，等价于求解
$$
\max_\alpha\quad\sum_i\alpha_i-\dfrac12\sum_{i,j}\alpha_i\alpha_jy_iy_j(x_i^Tx_j)
$$

求解得到$\alpha$后，欲得到参数只需要
$$
w=\sum_i\alpha_iy_ix_i\qquad b=y_k-w^Tx_k
$$
其中$(x_k,y_k)$是某一组使得$y_k(w^Tx_k+b)\geq1$取等号的样例。分类函数就是
$$
f(x)=sign(w^Tx+b)
$$
或是直接用$\alpha$写为

:::info{title="Note"}
$$
f(x)=sign\left(\sum_i\alpha_iy_ix_i^Tx+b\right)
$$
:::

分类函数的符号决定了数据点的归属

# 软间隔SVM

如果由于误差的原因，训练数据并不是线性可分的，可以允许决策间隔犯一些错误。可以引入松弛变量$\xi_i$，一个非零的$\xi_i$表示对$x_i$未满足间隔需求下的惩罚量。优化的问题变为

:::info{title="Note"}
希望找到向量$w$，实数$b$和非负向量$\xi$，使得
$$
y_i(w^Tx_i+b)\geq 1-\xi_i
$$
并且使得下式最小
$$
\sqrt{w^Tw}+C\sum_i\xi_i
$$
:::
其中的参数$C$是用于调节过拟合的正则项

# 非线性SVM

如果训练数据本身就不是线性可分的，可以考虑将数据映射到更高维的空间，并尝试使用线性分类。注意到原始的分类函数含有内积项
> $$
> f(x)=sign\left(\sum_i\alpha_iy_ix_i^Tx+b\right)
> $$

只需要将低维的内积$x^Tx$换为高维的内积即可
$$
K(x_i,x_j)
$$

$K$称为**核函数**，它形式上应该是映射到的高位向量的内积
$$
K(x_i,x_j)=\varphi(x_i^T)\varphi(x_j)
$$
不过实际上不需要真的做这个映射。有Mercer Theorem

:::tip{title="Note"}
任何半正定对称函数都可以作为核函数
:::

只需要找到一个核函数使得数据线性可分就行了