假设检验
目录
1 假设与假设检验 3
1.1 假设 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 原假设的提法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 一样本正态总体参数检验 4
2.1 方差已知检验均值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 方差未知检验均值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.3 均值未知检验方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.4 均值已知检验方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3 两样本正态总体的情形 6
3.1 方差未知检验均值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.2 方差已知检验均值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.3 均值未知检验方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.4 均值已知检验方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4 成对数据 7
5 其他分布的检验 7
5.1 0-1 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
5.2 泊松分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1
5.3 指数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
6 置信区间与假设检验 9
7 拟合优度检验 9
7.1 离散总体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
7.2 连续总体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
8 列联表的独立性和齐一性检验 11
8.1 独立性检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
8.2 齐一性检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
9 似然比检验 12
10 秩和检验 12
11 符号检验 12
1 假设与假设检验
1.1 假设
假设分为原假设 (零假设)↔ 备择假设 (对立假设)
错误分为两类:
第一类错误:𝐻
0
成立但是被拒绝 (弃真); 第二类错误:𝐻
0
不成立但是被接受 (存伪)
一个例子是
𝐻
0
: 𝜇 = 500 ↔ 𝐻
1
: 𝜇 = 490
第一类错误的概率:𝑃(𝑥 < 𝜏|𝜇 = 500), 希望它小则取较小的 𝜏
第二类错误的概率:𝑃(𝑥 ≥ 𝜏|𝜇 = 490), 希望它小则取较大的 𝜏
犯第一类错误和第二类错误的概率不可能同时减小,优先控制第一类错误
1.2 假设检验
假设检验的步骤如下
1. 提出假设 𝐻
0
↔ 𝐻
1
2. 提出统计量作为参数的检验统计量
3. 构造拒绝域
4. 借助两类错误计算临界值
拒绝域的构造需要在控制第一类错误的基础上, 尽量少犯第二类错误, 设
𝑃(𝑥 < 𝜏|𝐻
0
: 𝜇 = 500) ≤ 𝛼
𝛼 称为显著性水平. 标准化后就是
𝑃
𝑥 − 𝜇
0
p
𝜎
2
/𝑛
<
𝜏 − 𝜇
0
p
𝜎
2
/𝑛
!
< 𝛼
利用分位数即可得到概率
若将 𝐻
0
与 𝐻
1
调换, 则 ℎ
0
: 𝜇 = 490 ↔ 𝐻
1
: 𝜇
1
↔ 𝐻
1
: 𝜇 = 500
拒绝域 𝑤 = {𝑥 > 𝜏}
𝑃(𝑥 > 𝜏|𝜇 = 490) < 𝛼 ⇒ 𝑃
𝑥 − 490
p
𝜎
2
/𝑛
>
𝜏 − 490
p
𝜎
2
/𝑛
!
< 𝛼
注意到此时原先的第一类错误变成了第二类错误, 并且 𝑥 的分布改变了, 因此得出的结论可能相反
功效函数
功效函数为在 𝐻
1
成立时取拒绝域的概率 𝑃(𝑊), 是一个关于参数的函数. 其意义为在 𝐻
0
不成立时拒绝
原假设的概率, 即不犯第二类错误的概率
1.3 原假设的提法
原则一: 将受保护的对象置为零假设, 希望零假设不被轻易推翻
原则二: 若希望证明某个命题, 则将其对立命题作为零假设
原则三: 假设检验的拒绝零假设结果比不能拒绝零假设更有保证
2 一样本正态总体参数检验
2.1 方差已知检验均值
若 𝜎
2
𝜎
2
0
已知, 希望检验 𝜇, 利用双侧检验
𝐻
0
: 𝜇 = 𝜇
0
↔ 𝐻
1
: 𝜇 ≠ 𝜇
0
期望拒绝域的形式为
𝑊 = {𝑋 < 𝜏
1
或𝑋 > 𝜏
2
}
直接标准化即可得到无参数分布
𝑋 − 𝜇
p
𝜎
2
/𝑛
∼ 𝑁 (0, 1)
一类错误
𝑃
𝑋 < 𝜏
1
𝑜𝑟 𝑋 > 𝜏
2
𝜇 = 𝜇
0
= 𝛼
那么拒绝域就是
𝑋 − 𝜇
0
p
𝜎
2
/𝑛
> 𝑈
𝛼
2
2.2 方差未知检验均值
若 𝜎
2
未知, 利用样本方差构造 𝑡 分布
𝑇 =
√
𝑛(𝑋 − 𝜇)
𝑆
∼ 𝑡
𝑛−1
则一类错误
𝑃
|
𝑇
|
< 𝑡
𝑛−1
𝛼
2
𝜇 = 𝜇
0
= 𝛼
拒绝域就是 (懒得代进去了)
|
𝑇
|
> 𝑡
𝑛−1
𝛼
2
2.3 均值未知检验方差
在 𝜇 未知的情况下检验 𝜎
2
. 采用双侧检验
𝐻
0
: 𝜎
2
= 𝜎
2
0
↔ 𝐻
1
: 𝜎
2
≠ 𝜎
2
0
取 𝑆
2
为 𝜎
2
的估计量, 拒绝域为
𝑊 = {𝑆
2
< 𝜏
1
𝑜𝑟 𝑆
2
> 𝜏
2
}
构造无参数分布
𝑇 =
(𝑛 − 1)𝑆
2
𝜎
2
∼ 𝜒
2
𝑛−1
第一类错误
𝑃
𝑆
2
< 𝜏
1
𝑜𝑟 𝑆
2
> 𝜏
2
𝜎
2
= 𝜎
2
0
= 𝛼
得到拒绝域
𝑇 < 𝜒
2
𝑛−1
(1 − 𝛼/2) 𝑜𝑟 𝑇 > 𝜒
2
𝑛−1
(𝛼/2)
2.4 均值已知检验方差
若已知 𝜇 = 𝜇
0
, 统计量换为
Õ
(𝑥
𝑘
− 𝜇
0
)
2
它们是独立同分布的正态变量, 按照定义构造卡方分布
𝑇 =
Õ
𝑥
𝑘
− 𝜇
0
𝜎
2
∼ 𝜒
2
𝑛
于是拒绝域为
𝑇 < 𝜒
2
𝑛
(1 −
𝛼
2
) 𝑜𝑟 𝑇 > 𝜒
2
𝑛
(
𝛼
2
)
3 两样本正态总体的情形
3.1 方差未知检验均值
𝜎
2
1
= 𝜎
2
2
= 𝜎
2
未知(相等才能消去 𝜎!), 希望检验 𝜇
𝐻
0
: 𝜇
1
= 𝜇
2
↔ 𝐻
1
: 𝜇
1
> 𝜇
2
令 𝜇 = 𝜇
1
− 𝜇
2
, 则假设等价为
𝐻
0
: 𝜇 = 0 ↔ 𝐻
1
: 𝜇 > 0
𝜇
1
− 𝜇
2
的估计量为 𝑋 −𝑌, 期望拒绝域的形式为
𝑊 = {𝑋 −𝑌 > 𝜏}
构造无参数分布
𝑇 =
𝑋 −𝑌 − (𝜇
1
− 𝜇
2
)
r
1
𝑛
+
1
𝑚
r
(𝑚 − 1)𝑆
2
𝑥
+ (𝑛 − 1)𝑆
2
𝑌
𝑛 + 𝑚 − 2
∼ 𝑡
𝑛+𝑚−2
一类错误
𝑃(𝑊 |𝜇
1
− 𝜇
2
= 0) = 𝛼
于是得到拒绝域
𝑇 > 𝑡
𝑚+𝑛−2
(𝛼)
3.2 方差已知检验均值
若 𝜎
2
1
, 𝜎
2
2
已知, 标准化构造无参数分布
𝑇 =
𝑋 −𝑌 − (𝜇
1
− 𝜇
2
)
r
1
𝑚
𝜎
2
1
+
1
𝑛
𝜎
2
2
∼ 𝑁 (0, 1)
第一类错误
𝑃(𝑊 |𝜇
1
= 𝜇
2
) = 𝛼
3.3 均值未知检验方差
若 𝜇
1
, 𝜇
2
未知, 希望检验 𝜎
2
1
, 𝜎
2
2
𝐻
0
: 𝜎
2
1
=
𝜎
2
2
↔ 𝐻
1
: 𝜎
2
1
< 𝜎
2
2
对于
方差而言, 构造比值更方便
. 假设等价为
𝐻
0
: 𝜎
2
1
/𝜎
2
2
= 1 ↔ 𝐻
1
: 𝜎
2
1
/𝜎
2
2
< 1
拒绝域的形式为
𝑊 =
𝑆
2
𝑋
𝑆
2
𝑌
< 𝜏
构造无参数分布
𝑇 =
𝑆
2
𝑋
𝑆
2
𝑌
𝜎
2
2
𝜎
2
1
∼ 𝐹
𝑛−1,𝑚−1
注意此时 𝑇 中的 𝜎
2
1
, 𝜎
2
2
与期望比值相反, 写拒绝域时需要注意不等号的方向
3.4 均值已知检验方差
若已知 𝜇
1
, 𝜇
2
, 就可以直接用定义构造 𝐹 分布
𝑇 =
1
𝑚
Í
(𝑋
𝑖
− 𝜇
1
)
2
𝜎
2
1
1
𝑛
Í
(𝑌
𝑗
− 𝜇
2
)
2
𝜎
2
2
∼ 𝐹
𝑚,𝑛
4 成对数据
在两样本正态总体的检验中, 要求两样本是独立的. 对于成对数据
{(𝑋
1
, 𝑌
1
), ··· , (𝑋
𝑛
, 𝑌
𝑛
)}
数据对之间通常可以认为是独立的, 数据对内部通常不独立. 取 𝑍 = 𝑋 −𝑌, 则
𝐸 𝑍 = 𝐸 𝑋 − 𝐸𝑌 = 𝜇
1
− 𝜇
2
通常认为 𝑍 服从正态分布, 转化为一正态样本检验问题
5 其他分布的检验
5.1 0-1 分布
𝑋 ∼ 𝐵𝑒𝑟 (𝑝 ), 关于 𝑝 的检验.𝑝 的估计量为
ˆ
𝑝 = 𝑋, 采用双侧检验
𝐻
0
: 𝑝 = 𝑝
0
↔ 𝐻
1
: 𝑝 ≠ 𝑝
0
拒绝域就为
𝑊 = {𝑋 < 𝜏
0
𝑜𝑟 𝑋 > 𝜏
1
}
第一类错误
𝑝(𝑊 |𝐻
0
) = 𝛼
对其标准化
𝑋 − 𝑝
p
𝑝(1 − 𝑝)/𝑛
<
𝜏
0
− 𝑝
p
𝑝(1 − 𝑝)/𝑛
𝑜𝑟
𝑋 − 𝑝
p
𝑝(1 − 𝑝)/𝑛
>
𝜏
1
− 𝑝
p
𝑝(1 − 𝑝)/𝑛
若检验两总体 𝐻
0
: 𝑝
1
= 𝑝
2
即 𝐻
0
: 𝑝 = 𝑝
1
− 𝑝
2
= 0
ˆ
𝑝 =
ˆ
𝑝
1
−
ˆ
𝑝
2
= 𝑋 −𝑌
拒绝域就是
𝑊 = {𝑋 −𝑌 > 𝜏}
标准化
𝑋 −𝑌 − (𝑝
1
− 𝑝
2
)
r
𝑝
1
(1 − 𝑝
1
)
𝑛
+
𝑝
2
(1 − 𝑝
2
)
𝑛
∼ 𝑁 (0, 1)
5.2 泊松分布
对于泊松变量
𝑋 ∼ 𝑃𝑜𝑖(𝜆), 𝐻
0
: 𝜆 = 𝜆
0
↔ 𝐻
1
: 𝜆 > 𝜆
0
可以有多种标准化的方法
𝑋 − 𝜆
p
𝜆/𝑛
,
𝑋 − 𝜆
q
𝑋/𝑛
,
𝑋 − 𝜆
𝑆
由大数律, 它们都会收敛到正态分布上
5.3 指数分布
对指数分布
𝐸 𝑋 =
1
𝜆
,
ˆ
𝜆 =
1
𝑋
拒绝域
𝑊 = {𝑋 < 𝜏}
实际上可以不用中心极限定理, 因为 2𝑛𝜆𝑋 ∼ 𝜒
2
2𝑛
, 那么
𝑝
2𝑛𝜆𝑋 < 2𝑛𝜆𝜏
𝐻
0
< 𝛼
6 置信区间与假设检验
考察假设检验与置信区间的联系. 假设能通过样本与参数构造一个无参数分布
𝑇 (𝑋, 𝜃) ∼ 𝐹 (𝑡)
注意这一步在置信区间与假设检验中都是相同的!在区间估计中, 会利用分位数给出 𝑇 的取值
𝑃(𝑇
1
≤ 𝑇 ≤ 𝑇
2
) = 1 − 𝛼
进而得到 𝜃 的区间
𝜃
1
(𝑇
1
, 𝑋) ≤ 𝜃 ≤ 𝜃
2
(𝑇
2
, 𝑋)
在假设检验时, 取双侧检验
𝐻
0
: 𝜃 = 𝜃
0
↔ 𝐻
1
: 𝜃 ≠ 𝜃
0
那么接受域 (即不拒绝) 也就是
𝑃(𝑇
1
≤ 𝑇 ≤ 𝑇
2
) = 1 − 𝛼
虽然最后得到的拒绝域是样本的函数, 拒绝某个 𝜃 也是依照样本来看的. 但是如果反过来想什么样的参数
才能不被拒绝, 那么就是在置信区间中的 𝜃 不能被拒绝
因此
双侧检验的接受域就是参数 𝜃 的 1 − 𝛼 置信区间
单侧检验与单侧置信区间也有同样的对应关系
7 拟合优度检验
检验数据是否来源于某个总体, 称为拟合优度检验
7.1 离散总体
假设 𝑋 服从某个离散分布
𝑋 𝑎
1
··· 𝑎
𝑘
𝑃 𝑝
1
··· 𝑝
𝑘
检验假设是否正确
𝐻
0
: 𝑃(𝑋 = 𝑎
𝑖
) = 𝑝
𝑖
采取计数的方式, 设样本取 𝑎
𝑘
的数量为 𝑛
𝑘
, 在原假设成立的条件下有
𝑛
𝑖
∼ 𝐵(𝑛, 𝑝
𝑖
) ⇒ 𝐸𝑛
𝑘
= 𝑛𝑝
𝑖
对其标准化得到标准正态分布, 猜想
𝑇 =
𝑘
Õ
𝑘=1
𝑛
𝑖
− 𝑛𝑝
𝑖
p
𝑛𝑝
𝑖
(1 − 𝑝
𝑖
)
!
2
∼ 𝜒
2
𝑘−1
实际上
𝑇 =
𝑘
Õ
𝑖=1
(𝑛
𝑖
− 𝑛𝑝
𝑖
)
2
𝑛𝑝
𝑖
∼ 𝜒
2
𝑘−1
这是因为 𝑛 大时 𝐵(𝑛, 𝑝) → 𝑃𝑜𝑖(𝑛𝑝), 由于
Í
𝑛
𝑖
= 𝑛, 维度降 1
一种简单的记忆方式是下表
类别 𝑎
1
𝑎
2
··· 𝑎
𝑘
理论频数 (E) 𝑛𝑝
1
𝑛𝑝
2
··· 𝑛𝑝
𝑘
实际频数 (O) 𝑛
1
𝑛
2
··· 𝑛
𝑘
那么
𝑇 =
Õ
(𝑂 − 𝐸)
2
𝐸
当 𝑇 = 0 时完全支持 𝐻
0
, 因而取上 𝛼 分位数, 第一类错误
𝑝(𝑇 > 𝜏
0
|𝐻
0
) = 𝛼
拒绝域就是
𝑇 > 𝜒
2
𝑘−1
(𝛼)
若离散总体含有未知参数, 即
𝑝 依赖于 𝑟 个 𝜃
𝑖
, 只需要利用最大似然估计量估计, 进而得到 𝑝
𝑖
的最大似
然估计量
ˆ
𝑝
𝑖
, 此时
𝜒
2
=
𝑘
Õ
𝑖=1
(𝑛
𝑖
− 𝑛
ˆ
𝑝
𝑖
)
2
𝑛
ˆ
𝑝
𝑖
∼ 𝜒
2
𝑘−1−𝑟
即 𝜒
2
的自由度应该减去估计的独立参数的个数
7.2 连续总体
设 𝑋 ∼ 𝐹 (𝑥), 在显著性水平 𝛼 下检验原假设
𝐻
0
: 𝑋 ∼ 𝐹
0
(𝑥; 𝜃
1
, ··· , 𝜃
𝑛
)
可以采用离散化处理, 将实数轴分为 𝑘 个子区间 (𝑎
𝑗−1
, 𝑎
𝑗
], 其中 𝑎
0
= −∞, 𝑎
𝑘
= ∞, 记
𝑝
𝑗
= 𝑃
𝐻
0
(𝑎
𝑗−1
< 𝑋 ≤ 𝑎
𝑗
) = 𝐹
0
(𝑎
𝑗
) − 𝐹
0
(𝑎
𝑗−1
)
然后就可以采用离散拟合优度的方法进行检验
8 列联表的独立性和齐一性检验
列联表是一种按两个属性作双向分类的表, 每一个属性可以有不同的水平. 如果第一个属性有 𝑎 个水平,
第二个属性有 𝑏 个水平, 称为 𝑎 × 𝑏 表
B
A
sum
1 2 ··· i ··· a
1 𝑛
11
𝑛
21
··· 𝑛
𝑖1
··· 𝑛
𝑎1
𝑛
·1
2 𝑛
12
𝑛
22
··· 𝑛
𝑖2
··· 𝑛
𝑎2
𝑛
·2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
𝑗 𝑛
1 𝑗
𝑛
2 𝑗
··· 𝑛
𝑖 𝑗
··· 𝑛
𝑎 𝑗
𝑛
·𝑗
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
𝑏 𝑛
1𝑏
𝑛
2𝑏
··· 𝑛
𝑖𝑏
··· 𝑛
𝑎𝑏
𝑛
·𝑏
sum 𝑛
1·
𝑛
2·
··· 𝑛
𝑖·
··· 𝑛
𝑎·
𝑛
8.1 独立性检验
考察两个属性之间是否独立, 作原假设
𝐻
0
: 𝑋与𝑌独立
约定
𝑃
𝑖 𝑗
= 𝑃(𝐴 = 𝑖 𝑎𝑛𝑑 𝐵 = 𝑗 )
当原假设成立时就有
𝑃
𝑖 𝑗
= 𝑃𝑖·𝑃
·𝑗
将所有的 𝑛
𝑖 𝑗
行列求和可以得到 𝑛
𝑖·
, 𝑛
·𝑗
, 即可得到估计量
ˆ
𝑃
𝑖·
=
𝑛
𝑖·
𝑛
,
ˆ
𝑃
·𝑗
=
𝑛
·𝑗
𝑛
取检验统计量为
𝜒
2
=
Õ
𝑖
Õ
𝑗
(𝑛
𝑖 𝑗
− 𝑛
𝑖·
𝑛
·𝑗
)
2
𝑛
𝑖·
𝑛
·𝑗
将二维表拉成一维, 共有 𝑎𝑏 个数据, 估计了 𝑎 + 𝑡𝑏 − 2 个参数 (两类分别有和为一, 自由度减二), 那么就
有
𝜒
2
∼ 𝜒
2
(𝑎−1)𝑏−2
8.2 齐一性检验
齐一性检验即检验在 𝐴 取不同值的条件下,𝐵 分布完全相同 (当然也可以是 𝐴 相同), 即
𝐻
0
: 𝑃(𝐵 = 𝑗 |𝐴 = 1) = 𝑃(𝐵 = 𝑗 |𝐴 = 2) = ···
此时的 𝜒
2
也服从 𝜒
2
(𝑎−1)(𝑏−1)
,检验方法与独立性检验相同
9 似然比检验
𝐻
0
: 𝜃 ≤ 𝜃
0
↔ 𝐻
1
: 𝜃 > 𝜃
0
. 取样本则导出似然函数 𝐿(𝑥, 𝜃). 分别在原假设和对立假设的区域上取似然函数
的最大值, 再代回似然函数得到 𝐿
𝐻
0
(𝑥), 𝐿
𝐻
1
(𝑥), 作比值
𝐿
𝐻
1
(𝑥)
𝐿
𝐻
0
(𝑥)
比值越大越支持 𝐻
1
, 记比值为统计量 𝐿 𝑅, 拒绝域为
𝑊 = {𝐿𝑅 > 𝑐}
10 秩和检验
对于两个总体均值的检验
𝑋
:
𝐹
(
𝑥
)
, 𝑌
:
𝐹
(
𝑦
−
𝜃
)
假设 𝐻
0
: 𝜃 ≤ 0 ↔ 𝐻
1
: 𝜃 > 0, 即右侧均值大拒绝. 设有样本
𝑋
1
··· 𝑋
𝑛
1
, 𝑌
1
···𝑌
𝑛
2
⇒ 𝑍
1
≤ · ·· ≤ 𝑍
𝑛
1
+𝑛
2
若 𝑌
𝑗
= 𝑍
𝑅
𝑗
, 则称 𝑅
𝑗
是 𝑌
𝑗
在 {𝑍 } 中的秩
𝑊
𝑌
=
Õ
𝑅
𝑗
称为 𝑌 的秩和, 拒绝域为
𝑊 = {𝑊
𝑌
> 𝑐}
当 𝑛
2
≤ 𝑛, 𝑛
1
≥ 20 时,𝑊
𝑌
满足中心极限定理
𝑇 =
𝑊
𝑌
−
𝑛
2
(𝑛 + 1)
2
r
(𝑛 + 1)𝑛
1
𝑛
2
12
∼ 𝑁 (0, 1)
11 符号检验
比较两个总体的优劣/大小, 样本无具体的值, 只有是/否即
𝑆
𝑖
= ” + ”(𝐴优于𝐵)𝑜𝑟” − ”(𝐵优于𝐴)
假设 𝐻
0
: 𝐴 优于 𝐵 ↔ 𝐻
1
: 𝐵 优于 𝐴 ⇔ 𝐵 = 𝐴 𝐵 > 𝐴, 那么
𝑇 =
Õ
𝑆
𝑘
∼ 𝐵(𝑛,
1
2
)
拒绝域就是 𝑊 = {𝑇 < 𝜏}, 可以由二项分布或者中心极限定理得到拒绝域