监督学习

监督学习的目标是学习一个未知的目标函数 $f$

学习的输入称为训练集，其中的数据是成对的，称为有标签样本

D=\{(x_j,y_j)\}

它满足

y_j=f(x_j)

若 $y$ 是离散的，称为分类问题；若是连续的，称为拟合问题

学习的结果是目标函数 $f$ 的近似，记为 $h$ ，它取自一个预先设置的假设空间 $\mathscr{H}$ ，其中包含了所有的可能函数

学习的过程是对假设空间施加约束的过程

学习效果的衡量

学习误差定义为

提示

学习误差=偏差+方差

其中偏差是不同训练集上预测结果偏离期望值的平均程度，方差是改变训练集导致的预测结果的变化。常用MSE衡量学习误差

模型评估

机器学习希望找到一个和未来的样例最佳拟合的假设。每个样例应当满足

每个样例出现的概率应当相等
每个样例出现与先前出现的样例无关，即是独立的

最佳拟合即希望错误率最小，即 $h(x)\neq y$ 的比例。不过根据实际情况，机器学习中用损失函数代替错误率

损失函数 $L(x,y,y')$ 定义为当真实情况为 $f(x)=y$ 时，模型预测值为 $y'$ 的效用损失，即输入为 $x$ 时，输出 $y$ 与 $y'$ 的效用差值

对于回归任务常用的度量是均方误差MSE

E(f;D)=\dfrac{1}{m}\sum_{i=1}^m(f(x_i)-y_i)^2

也可以使用平均绝对值误差MAE

E(f;D)=\dfrac{1}{m}\sum_{i=1}^m|f(x_i)-y_i|

对于分类任务，错误率和精度是常用的性能度量

错误率：分错样本占样本总数的比率
精度（正确率）：分对样本占样本总数的比率

E(f;D)=\dfrac{1}{m}\sum_{i=1}^m\mathbb{I}(f(x_i)\neq y_i),~acc(f;D)=1-E(f;D)

统计真实标记和预测结果的组合可得到混淆矩阵

定义查准率和查全率

查准率P=\dfrac{TP}{TP+FP},~查全率P=\dfrac{TP}{TP+FN}

这是一对矛盾的指标，不可能都高。对样本进行分类时，模型给出样本为目标类别的概率。根据预测结果按正例可能性大小对样例进行排序，并逐个把样本作为正例进行预测，则可以得到查准率-查全率曲线，简称P-R曲线

平衡点取为

查准率=查全率

对于P-R曲线有交叉的分类器可以用平衡点衡量性能高低。更常用的是F1度量

F1=\dfrac{2PR}{P+R}=\dfrac{2TP}{总数N+TP-TM}

若对查准率和查全率的重视程度不同，应用 $F_\beta$

F_\beta=\dfrac{(1+\beta^2)PR}{\beta^2\cdot P+R}

$\beta=1$ ：F1
$\beta>1$ ：重视查全率
$\beta<1$ ：重视查准率

以假正例率为横轴，真正例率为纵轴，可以画出ROC曲线

给定 $m^+$ 个整理和 $m_-$ 个反例，根据预测结果对样本排序，将分类阈值设为每个样本的预测值，记样本坐标

(x:序号, y:预测值)

进行坐标映射

(x,y)\to \begin{cases} (x,y+\dfrac{1}{m^+})&真正例\\ (x+\dfrac{1}{m^-},y)&假正例 \end{cases}

连接邻接点得到ROC图，面积称为AUC值

训练集、测试集、验证集

一般将样例分为两组

训练集(Training set)：用于训练从而得到假设
测试集(Test set)：用于评估假设的错误率

若模型需要超参数优化，或是评估不同的备选模型，还需要验证集 (Validation set)

直接将数据集划分为两个互斥集合的方式称为留出法。若样例数量不够，无法构成这三个数据集，可以采取如下的办法

k折交叉验证（k-fold cross-validation）的方法：每个样例都被作为训练数据和验证数据，但不同时提供
数据增强（Data Augmentation）：使用少量数据通过先验知识产生更多的相似生成数据来扩展训练数据集

k折交叉验证即将数据集分层采样划分为k个大小相似的互斥子集，每次用 $k-1$ 子集的并作为训练集，余下一个子集作为测试集，最终返回k个测试结果的均值。常用k取10

对数据的划分方式可能存在多种，所以可以随机使用不同的划分方式重复p次，评估结果取为p次结果的均值，称为p次k折交叉验证

在数据集较小时，可以对数据集进行有放回采样。假定数据集大小为m，进行m次有放回采样得到训练集，会存在一些样本多次出现，一些样本不出现。对于一个样本，一次采样不被抽到的概率为

1-\dfrac1m

所以m次采样都不被抽到的概率为

\left(1-\dfrac1m\right)^m

令m趋于无穷得到

\lim_{m\to+\infty}\left(1-\dfrac1m\right)^m=\dfrac{1}{e}=0.368

约摸三分之一的样本不会被抽到。这种方法称为自助法

泛化与过拟合