统计量与三大分布
目录
1 统计量 2
1.1 若干常用的统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 三大分布 2
2.1 𝜒
2
分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2.2 t 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.3 F 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3 正态总体样本均值和样本方差的分布 5
3.1 样本均值和方差的独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3.2 正态分布方差的 𝜒
2
分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.3 均值与方差的 𝑡 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3.4 两正态样本的 𝐹 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
4 指数样本与 𝜒
2
分布 7
1
1 统计量
1.1 若干常用的统计量
设 𝑋
1
, ··· , 𝑋
𝑛
是从某总体 𝑋 中抽取的样本, 则称
𝑋 =
1
𝑛
𝑛
𝑖=1
𝑋
𝑖
为样本均值
𝑆
2
=
1
𝑛 − 1
𝑛
𝑖=1
𝑋
𝑖
− 𝑋
2
为样本方差,𝑆 称为样本标准差
𝑎
𝑘
=
1
𝑛
𝑛
𝑖=1
𝑋
𝑘
𝑖
为样本 𝑘 阶矩, 记为 𝑚
𝑘
若将样本按大小排列
𝑋
(1)
≤ 𝑋
(2)
≤ ··· ≤ 𝑋
(𝑛)
则称
(𝑋
(1)
≤ 𝑋
(2)
≤ ··· ≤ 𝑋
(𝑛)
)
为次序统计量. 利用它可以定义中位数
{
可以由样本估计分布函数, 也就是经验分布函数
𝐹
𝑛
(𝑥) =
{𝑋
1
, ··· , 𝑋
𝑛
中 ≤ 𝑥的个数}
𝑛
2 三大分布
2.1 𝜒
2
分布
设 𝑋
1
, ··· , 𝑋
𝑛
是服从标准正态分布 𝑁 (0, 1) 的独立同分布的随机变量, 则称
𝜒
2
= 𝑋
2
1
+ ··· + 𝑋
2
𝑛
服从自由度为 𝑛 的 𝜒
2
分布. 有概率密度函数
𝑓
𝑛
(𝑦) =
1
2
𝑛
2
Γ(
𝑛
2
)
𝑦
𝑛
2
−1
𝑒
−
𝑦
2
, 𝑦 > 0
若 𝑋 ∼ 𝜒
2
𝑛
, 记 𝑃(𝑋 > 𝑐) = 𝛼, 则 𝑐 = 𝜒
2
𝑛
(𝛼), 称为 𝜒
2
𝑛
分布的上侧 𝛼 分位数. 同样可以定义下侧分位数
有期望与方差 (由定义结合正态分布给出)
𝐸 𝑋 = 𝑛, 𝑉 𝑎𝑟 𝑋 = 2𝑛
𝜒
2
分布具有再生性,
𝑍
1
∼ 𝜒
2
𝑛
1
, 𝑍
2
∼ 𝜒
2
𝑛
2
⇒ 𝑍
1
+ 𝑍
2
∼ 𝜒
2
𝑛
1
+𝑛
2
由定义直接即证.𝜒
2
分布绘制如下
2.2 t 分布
设 𝑋 ∼ 𝑁 (0, 1), 𝑌 ∼ 𝜒
2
𝑛
, 且 𝑋, 𝑌 独立, 则称
𝑇 =
𝑋
𝑌/𝑛
为自由度为 𝑛 的 𝑡 变量, 记为 𝑇 ∼ 𝑇
𝑛
若 𝑐 满足 𝑃(𝑇 > 𝑐)𝛼, 称 𝑐 为上 𝛼 分位数. 由于 𝑡 分布是对称的,上 𝛼 分位数和下 𝛼 分位数互为相反数
𝑡 分布绘制如下
当 𝑛 → +∞ 时,𝑡 分布趋于标准正态分布.𝑡 分布的期望和方差为
𝐸 𝑋 = 0, 𝑉𝑎 𝑟 𝑋 =
𝑛
𝑛 − 2
, (𝑛 > 2)
2.3 F 分布
设 𝑋 ∼ 𝜒
2
𝑚
, 𝑌 ∼ 𝜒
2
𝑛
, 且 𝑋, 𝑌 独立, 则称
𝐹 =
𝑋/𝑚
𝑌/𝑛
为自由度分别为 𝑚 和 𝑛 的 𝐹 变量, 记为 𝐹 ∼ 𝐹
𝑚,𝑛
若 𝑐 满足 𝑃(𝐹 > 𝑐) = 𝛼, 称 𝑐 为上 𝛼 分位数. 上 𝛼 分位数可以得到下 𝛼 分位数.
若 𝐹 ∼ 𝐹
𝑚,𝑛
, 则
1
𝐹
∼ 𝐹
𝑛,𝑚
. 设 𝑐
2
为 𝐹
𝑛,𝑚
的上 𝛼 分位数, 则
𝑃(
1
𝐹
≤ 𝑐) = 1 − 𝛼 ⇒ 𝑃(𝐹 ≥
1
𝑐
) = 1 − 𝛼
于是
1
𝑐
即为 𝐹
𝑚,𝑛
的下 𝛼 分位数
另外, 有
𝑇 ∼ 𝑡
𝑛
⇒ 𝑇
2
∼ 𝐹
1,𝑛
由定义即得.𝐹 分布绘制如下, 它是一个不对称的图形
3 正态总体样本均值和样本方差的分布
3.1 样本均值和方差的独立性
正态总体的样本均值与方差是独立的
欲证明该结论, 构造正交矩阵
𝐴 =
1
√
𝑛
1
√
𝑛
1
√
𝑛
···
1
√
𝑛
−1
√
2
1
√
2·1
0 ··· 0
1
√
3·2
1
√
3·2
−
√
2
√
3
··· 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
√
𝑛(𝑛−1)
1
√
𝑛(𝑛−1)
1
√
𝑛(𝑛−1)
···
−
√
𝑛−1
√
𝑛
令 𝑌 = 𝐴𝑋, 则
𝑌
1
=
1
√
𝑛
𝑋
𝑖
=
√
𝑛 · 𝑋
并且由正态分布的再生性, 得到
𝑌
𝑖
∼ 𝑁 (0, 𝜎
2
), 𝑖 ≥ 2
正交变换不改变向量长度, 则有
𝑌
2
1
+ ··· +𝑌
2
𝑛
= 𝑋
2
1
+ ··· + 𝑋
2
𝑛
因而
(𝑛 − 1)𝑆
2
=
(𝑋
𝑖
− 𝑋)
2
=
𝑋
2
𝑖
− 𝑛𝑋
2
=
𝑌
2
𝑖
−𝑌
2
1
=
𝑛
2
𝑌
2
𝑖
因此 𝑋 只与 𝑌
1
有关,𝑆
2
只与 𝑌
2
, ··· , 𝑌
𝑛
有关. 只需要证明 𝑌
𝑖
两两独立即可. 对于正态变量, 利用协方差
𝐶𝑜𝑣(𝑌
𝑖
, 𝑌
𝑗
) = 𝐸 [(𝑌
𝑖
− 𝐸𝑌
𝑖
)(𝑌
𝑗
− 𝐸𝑌
𝑗
)] = 𝐸
𝑛
𝑘=1
𝐴
𝑖𝑘
𝑋
𝑘
·
𝑛
𝑙=1
𝐴
𝑗𝑙
𝑋
𝑙
=
𝑘
𝑙
𝐴
𝑖𝑘
𝐴
𝑘𝑙
𝐸 [𝑋
𝑘
𝑋
𝑙
]
由于 𝑋
𝑖
之间独立, 因此 𝑘 = 𝑙 时 𝐸 [𝑋
𝑘
𝑋
𝑙
] = 𝜎
2
,𝑘 ≠ 𝑙 时 𝐸 [𝑋
𝑘
𝑋
𝑙
] = 0. 因而
𝐶𝑜𝑣
(
𝑌
𝑖
, 𝑌
𝑗
)
=
𝜎
2
𝑘
𝐴
𝑖𝑘
𝐴
𝑗 𝑘
=
𝜎
2
𝐴
𝑇
𝑖
𝐴
𝑗
由于 𝐴 为正交阵,𝑖 ≠ 𝑗 时上式为零. 也即
𝐶𝑜𝑣(𝑌
𝑖
, 𝑌
𝑗
) = 0, 𝑖 ≠ 𝑗
因此得到 𝑌
𝑖
之间彼此独立, 故 𝑌
1
与余下的 𝑌
𝑖
独立, 即得到 𝑋 与 𝑆
2
独立
3.2 正态分布方差的 𝜒
2
分布
根据上述证明过程
(𝑛 − 1)𝑆
2
=
𝑛
2
𝑌
2
𝑖
而 𝑌
𝑖
(𝑖 ≥ 2) 是服从正态分布 𝑁 (0, 𝜎
2
) 的独立同分布的正态变量, 故两边除以 𝜎 就得到了 𝑛 − 1 个独立
的标准正态变量的和, 由定义知服从 𝜒
2
𝑛−1
(𝑛 − 1)𝑆
2
𝜎
∼ 𝜒
2
𝑛−1
3.3 均值与方差的 𝑡 分布
由正态分布的再生性, 有
𝑋 ∼ 𝑁 (𝜇,
𝜎
2
𝑛
)
将其标准化得到标准正态变量
𝑋 − 𝜇
𝜎
2
/
𝑛
∼ 𝑁 (0, 1)
又由于上文方差结论
(𝑛 − 1)𝑆
2
𝜎
∼ 𝜒
2
𝑛−1
可以构造 𝑡 变量
𝑋 − 𝜇
𝜎
2
/𝑛
(𝑛−1)𝑆
2
𝜎
2
(𝑛 − 1)
=
√
𝑛(𝑋 − 𝜇)
𝑆
∼ 𝑡
𝑛−1
于是
√
𝑛(𝑋 − 𝜇)
𝑆
∼
𝑡
𝑛−1
3.4 两正态样本的 𝐹 分布
同样地由于
(𝑛 − 1)𝑆
2
𝜎
∼ 𝜒
2
𝑛−1
若有两组独立的正态样本 𝑋
1
, ··· , 𝑋
𝑚
, 𝑌
1
, ··· , 𝑌
𝑛
, 样本方差分别为 𝑆
1
, 𝑆
2
, 可以构造出 𝐹 变量
(𝑚−1)𝑆
2
1
𝜎
2
1
(𝑚 − 1)
(𝑚−1)𝑆
2
2
𝜎
2
2
(𝑛 − 1)
=
𝑆
2
1
𝑆
2
2
·
𝜎
2
2
𝜎
2
1
∼ 𝐹
𝑚−1,𝑛−1
即
𝑆
2
1
𝑆
2
2
·
𝜎
2
2
𝜎
2
1
∼ 𝐹
𝑚−1,𝑛−1
4 指数样本与 𝜒
2
分布
若有指数总体 𝑋 ∼ 𝐸𝑥 𝑝(𝜆) 与样本 𝑋
1
, ··· , 𝑋
𝑛
, 则
2𝑛𝜆𝑋 ∼ 𝜒
2
2
𝑛
这是由于对于单个指数变量 𝑋 ∼ 𝐸𝑥 𝑝(𝜆), 令 𝑌 = 2𝜆𝑋, 由密度变换
𝑓
𝑌
(𝑦) = 𝑓
𝑋
𝑌
2𝜆
·
1
2𝜆
=
1
2
𝑒
−
𝑦
2
这是 𝜒
2
2
的概率密度函数, 因而 𝑌 ∼ 𝜒
2
2
. 又由于 𝜒
2
分布的再生性,2𝑛𝜆𝑋 ∼ 𝜒
2
2𝑛
