中心位置方差和矩数字特征
目录
1 方差和矩 2
1.1 方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 常见分布的方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 伯努利变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 二项分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.3 泊松分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.4 几何分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.5 负二项分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.6 均匀分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.7 指数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.8 正态分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 标准化随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 矩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 协方差和相关系数 5
2.1 协方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 相关系数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 其他数字特征和相关函数 8
1
1 方差和矩
1.1 方差
设 𝑋 为随机变量, 分布为 𝐹, 若 𝑋 平方可积, 则称
𝐸 (𝑋 − 𝐸 𝑋)
2
≡ 𝜎
2
≡ 𝑉𝑎𝑟 𝑋
为 𝑋 或分布 𝐹 的方差, 其平方根称为标准差. 利用期望的性质展开得到
𝑉𝑎𝑟𝑋 = 𝐸 𝑋
2
− (𝐸 𝑋)
2
由于方差不为负, 因此
𝐸 𝑋
2
≥ (𝐸 𝑋)
2
利用期望的性质还能得到
𝑉𝑎𝑟(𝑐𝑋) = 𝐸 (𝑐𝑋)
2
− (𝐸𝑐𝑋) = 𝑐
2
𝐸 𝑋
2
− 𝑐
2
(𝐸 𝑋)
2
= 𝑐
2
𝑉𝑎𝑟𝑋
对于加上常数
𝑉𝑎𝑟(𝑋 + 𝑏) = 𝐸 (𝑋 + 𝑏)
2
− (𝐸 𝑋 + 𝑏)
2
= 𝐸 𝑋
2
− (𝐸 𝑋)
2
= 𝑉𝑎𝑟 𝑋
当随机变量的方差为 0 时, 该变量为常数
对于任意常数 𝑐, 都有
𝑉𝑎𝑟𝑋 ≤ 𝐸 (𝑋
𝑐
)
2
展开得到
𝐸 𝑋
2
− (𝐸 𝑋)
2
≤ 𝐸 𝑋
2
+ 𝑐
2
− 2𝑐𝐸 𝑋
也就是
0 ≤ (𝐸 𝑋 − 𝑐)
2
于是当且仅当 𝑐 = 𝐸 𝑋 时等号成立
对于随机变量和的方差
𝑉𝑎𝑟(𝑋+𝑌) = 𝐸 (𝑋+𝑌)
2
−(𝐸 (𝑋+𝑌))
2
= 𝐸 𝑋
2
+𝐸𝑌
2
+2𝐸 𝑋𝑌−(𝐸 𝑋)
2
−(𝐸𝑌)
2
−2𝐸 𝑋𝐸𝑌 = 𝑉𝑎𝑟 𝑋+𝑉 𝑎𝑟𝑌 +2(𝐸 𝑋𝑌 −𝐸 𝑋 ·𝐸𝑌 )
当 𝑋,𝑌 独立时
𝐸 𝑋𝑌 = 𝐸 𝑋 · 𝐸𝑌
那么此时
𝑉𝑎𝑟 (𝑋 +𝑌) = 𝑉 𝑎𝑟 𝑋 +𝑉𝑎𝑟𝑌
至此可以得出线性组合的性质: 若 𝑋
1
, · ·· , 𝑋
𝑛
相互独立, 那么
𝑉𝑎𝑟
𝑛
Õ
𝑘=1
𝑎
𝑘
𝑋
𝑘
+ 𝑎
0
!
=
𝑛
Õ
𝑘=1
𝑎
2
𝑘
𝑉𝑎𝑟 𝑋
𝑘
1.2 常见分布的方差
1.2.1 伯努利变量
𝑋 ∼ 𝐵𝑒𝑟 (𝑝), 𝐸 𝑋 = 𝑝
那么
𝑉𝑎𝑟 𝑋 = 𝐸 𝑋
2
− (𝐸 𝑋)
2
= 𝑝 − 𝑝
2
= (1 − 𝑝)𝑝
1.2.2 二项分布
𝑋 ∼ 𝐵(𝑛, 𝑝), 𝐸 𝑋 = 𝑛𝑝
记 𝑌
𝑛
为 𝑛 个独立的伯努利变量, 则
𝑉𝑎𝑟 𝑋 = 𝑉𝑎𝑟
𝑛
Õ
𝑘=1
𝑌
𝑘
!
= 𝑛𝑝(1 − 𝑝)
也可以
𝐸 𝑋
2
=
𝑛
Õ
𝑘=0
𝑘
2
𝐶
𝑘
𝑛
· 𝑝
𝑘
(1 − 𝑝)
𝑛−𝑘
=
𝑛
Õ
𝑘=1
[𝑘 + 𝑘 (𝑘 − 1)]𝐶
𝑘
𝑛
· 𝑝
𝑘
(1 − 𝑝)
𝑛−𝑘
于是
𝐸 𝑋
2
= 𝑛𝑝 +
𝑛
Õ
𝑘=2
𝑛!
(𝑘 − 2)!(𝑛 − 𝑘)!
𝑝
𝑘
(1 − 𝑝)
𝑛−𝑘
= 𝑛𝑝 + 𝑛(𝑛 − 1)𝑝
2
再减去期望的平方得到
𝑉𝑎𝑟 𝑋 = 𝑛𝑝(1 − 𝑝)
1.2.3 泊松分布
𝑋 ∼ 𝑃𝑜𝑖(𝜆), 𝐸 𝑋 = 𝜆
计算平方的期望
𝐸 𝑋
2
=
∞
Õ
𝑘=0
𝑘
2
𝜆
𝑘
𝑘!
𝑒
−𝜆
=
∞
Õ
𝑘=1
[𝑘 + 𝑘 (𝑘 − 1)]
𝜆
𝑘
𝑘!
𝑒
−𝜆
于是
𝐸 𝑋
2
= 𝜆 + 𝜆
2
∞
Õ
𝑘=2
𝜆
𝑘−2
(𝑘 − 2)!
𝑒
−𝜆
= 𝜆 + 𝜆
2
再减去期望的平方得到
𝑉𝑎𝑟 𝑋 = 𝜆
1.2.4 几何分布
𝑋 ∼ 𝐺𝑒𝑟 (𝑝), 𝐸 𝑋 =
1
𝑝
还是计算平方的期望
𝐸 𝑋
2
=
∞
Õ
𝑘=1
𝑘
2
· 𝑝(1 − 𝑝)
𝑘−1
利用级数求导得到
1.2.5 负二项分布
可以将负二项分布变量拆成数个几何分布变量的和从而计算得到方差
1.2.6 均匀分布
积分可以得到
𝑋 ∼ 𝑈 (𝑎, 𝑏), 𝑉 𝑎𝑟 𝑋 =
(𝑏 − 𝑎)
2
12
1.2.7 指数分布
𝑓 (𝑥) = 𝜆𝑒
−𝜆𝑥
, 𝑥 > 0
那么
𝐸 𝑋
2
=
∫
∞
0
𝑥
2
𝜆𝑒
−𝜆𝑥
𝑑𝑥 = −𝑥
2
𝑒
−𝜆𝑥
∞
0
+
∫
∞
0
2𝑥𝑒
−𝜆𝑥
𝑑𝑥 = 2
𝐸 𝑋
𝜆
于是
𝑉𝑎𝑟 𝑋 = 𝐸 𝑋
2
− (𝐸 𝑋)
2
=
1
𝜆
2
1.2.8 正态分布
𝑋 ∼ 𝑁 (𝜇𝜎
2
), Φ(𝑋) =
1
√
2𝜋
𝑒
−
𝑥
2
2
对于标准正态
𝑉𝑎𝑟 𝑋 = 𝐸 𝑋
2
=
∫
+∞
−∞
𝑥
2
1
√
2𝜋
𝑒
−
𝑥
2
2
𝑑𝑥 = 1
由方差的线性性质得到
𝑋 ∼ 𝑁 (𝜇𝜎
2
)
则
𝑉𝑎𝑟 𝑋 = 𝜎
2
1.3 标准化随机变量
定义
𝑋
∗
=
𝑋 − 𝐸 𝑋
√
𝑉𝑎𝑟 𝑋
为 𝑋 的标准化随机变量, 显然有
𝐸 𝑋
∗
= 0, 𝑉 𝑎𝑟 𝑋 = 1
1.4 矩
设 𝑋 为随机变量,𝑐 为常数, 则定义 𝑋 关于 𝑐 点的 𝑟 阶矩
𝐸 [(𝑋 − 𝑐)
𝑟
]
当 𝑐 = 0,𝛼
𝑘
= 𝐸 𝑋
𝑟
称为 𝑋 的 𝑟 阶原点矩; 当 𝑐 = 𝐸 𝑋 时 𝜇
𝑘
称为 𝑟 阶中心矩
定义偏度系数为中心化后的三阶矩
𝛾 − 1 = 𝐸
"
𝑋
𝜇
𝜎
3
#
=
𝜇
3
𝜎
3
=
𝐸
(𝑋
𝜇
)
3
(𝐸 [(𝑋 − 𝜇)
2
])
3
2
用于描述分布峰的偏移程度
定义峰度系数为标准化的四阶矩, 用于描述峰的尖锐程度
𝛾
2
= 𝐸
"
𝑋
𝜇
𝜎
4
#
=
𝜇
4
𝜎
4
=
𝐸 [(𝑋 − 𝜇)
4
]
(𝐸 [(𝑋 − 𝜇)
2
])
2
定义矩母函数
𝑋 ⇒ 𝐸 𝑒
𝑡 𝑥
= 𝑔
𝑥
(𝑡)
可以有特征函数
𝐸𝑒
𝑖𝑡 𝑥
特征函数与密度函数是傅里叶变换的关系. 对矩母函数求导并在 0 处取值, 就可以得到任意阶矩
对于指数分布
𝑔
𝑥
(𝑡) =
𝜆
𝜆 − 𝑡
2 协方差和相关系数
2.1 协方差
注意到
𝑉𝑎𝑟 (𝑋 +𝑌) = 𝑉 𝑎𝑟 𝑋 +𝑉𝑎 𝑟𝑌 + 2𝐸 (𝑋 − 𝐸𝑥)(𝑌 − 𝐸𝑌)
若 𝑋,𝑌 平方可积, 那么定义协方差
𝐶𝑜𝑣 = 𝐸 (𝑋 − 𝐸 𝑋)(𝑌 − 𝐸𝑌 )
根据定义可以得到性质
𝐶𝑜𝑣(𝑋, 𝑌 ) = 𝐶𝑜𝑣 (𝑌 , 𝑋), 𝐶𝑜𝑣 (𝑋, 𝑋) = 𝑉𝑎𝑟 (𝑋)
𝐶𝑜𝑣(𝑋, 𝑌 ) = 𝐸 𝑋𝑌 − 𝐸 𝑋 𝐸𝑌
若有 𝑋,𝑌 独立, 那么 𝐶𝑜𝑣(𝑋, 𝑌 ) = 0. 但是协方差为零不能得到独立, 一个反例为单位圆上的均匀分布
(𝑋,𝑌 ) ∼ 𝑈
𝑅(0,1)
考察协方差的线性性
𝐶𝑜𝑣(𝑋, 𝑏) = 0
𝐶𝑜𝑣(𝑎𝑋,𝑌 ) = 𝐸 (𝑎 𝑋𝑌 ) − 𝐸𝑎𝑋 · 𝐸𝑌 = 𝑎𝐶𝑜𝑣(𝑋, 𝑌 )
𝐶𝑜𝑣(𝑋
1
+𝑋
2
, 𝑌) = 𝐸 [(𝑋
1
+𝑋
2
)𝑌]−𝐸 (𝑋
1
+𝑋
2
)·𝐸𝑌 = 𝐸 (𝑋
1
𝑌+𝑋
2
𝑌)−[𝐸 𝑋
1
·𝐸𝑌 +𝐸 𝑋
2
·𝐸𝑌 ] = 𝐶𝑜𝑣(𝑋
1
, 𝑌)+𝐶𝑜𝑣(𝑋
2
, 𝑌)
那么推广得到
𝐶𝑜𝑣
𝑚
Õ
𝑖=1
𝑎
𝑖
𝑋
𝑖
+ 𝑎
0
,
𝑚
Õ
𝑗=1
𝑎
𝑗
𝑌
𝑗
+ 𝑏
0
!
=
Õ
𝑖 𝑗
𝑎
𝑖
𝑎
𝑗
𝐶𝑜𝑣(𝑋
𝑖
, 𝑌
𝑗
)
于是得到协方差矩阵
Õ
=
𝐷(𝜉
1
) 𝐶𝑜𝑠(𝜉
1
, 𝜉
2
) ·· · 𝐶𝑜𝑣(𝜉
1
, 𝜉
𝑛
)
𝐶𝑜𝑠(𝜉
2
, 𝜉
1
) 𝐷(𝜉
2
) ·· · 𝐶𝑜𝑣(𝜉
2
, 𝜉
𝑛
)
.
.
.
.
.
.
.
.
.
.
.
.
𝐶𝑜𝑠(𝜉
𝑛
, 𝜉
1
) ·· · 𝐶𝑜𝑣(𝜉
𝑛
, 𝜉
2
) 𝐷 (𝜉
𝑛
)
这是一个对称矩阵并且是非负定的
对于正态分布的协方差
(𝑋,𝑌 ) ∼ 𝑁 (𝑎, 𝑏, 𝜎
2
1
, 𝜎
2
2
, 𝜌)
可以做线性变换, 平方和拆分, 转换成标准正态得到
𝐶𝑜𝑠(𝑋, 𝑌 ) = 𝐸 𝑋𝑌 − 𝐸 𝑋 · 𝐸𝑌
=
∬
𝑥𝑦 𝑓 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 − 𝑎𝑏
= 𝐸 [(𝑋 − 𝐸 𝑋)(𝑌 − 𝐸𝑌 )]
=
∬
(𝑥 − 𝑎)(𝑦 − 𝑏) 𝑓 (𝑥, 𝑦)𝑑𝑥𝑑𝑦
= 𝜌𝜎
1
𝜎
2
也可以取条件
𝑌 |
𝑋= 𝑥
∼ 𝑁 (𝑏 + 𝜌
𝜎
2
𝜎
1
(𝑥 − 𝑎), · ··)
于是
𝐸 (𝑌 |𝑋 = 𝑥) = 𝑏 + 𝜌
𝜎
2
𝜎
1
(𝑥 − 𝑎)
于是
𝐸 (𝑥𝑌 |𝑋 = 𝑥) = 𝑥
𝑏 + 𝜌
𝜎
2
𝜎
1
(𝑥 − 𝑎)
于是
𝐸 (𝑋𝑌 |𝑋 = 𝑥) = 𝑋
𝑏 + 𝜌
𝜎
2
𝜎
1
(𝑋 − 𝑎)
再令条件不固定
𝐸 (𝑋𝑌 |𝑋) = 𝑋
𝑏 + 𝜌
𝜎
2
𝜎
1
(𝑋 − 𝑎)
再取期望根据全期望公式得到
𝐸 [𝐸 (𝑋𝑌 |𝑋)] = 𝐸 𝑋𝑌 = 𝑏𝑎 + 𝜌
𝜎
2
𝜎
1
𝜎
2
1
+ 𝑎
2
− 𝑎
2
= 𝑏𝑎 + 𝜌𝜎
1
𝜎
2
则其协方差矩阵为
Õ
=
"
𝜎
2
1
𝜌𝜎
1
𝜎
2
𝜌𝜎
1
𝜎
2
𝜎
2
2
#
也能得到协方差
2.2
相关系数
对于二元正态, 由于
|
Í
|
≥ 0, 那么
𝜌
2
≤ 1
对于标准化的变量
𝐶𝑜𝑣(𝑋
∗
, 𝑌
∗
) = 𝐸 𝑋
∗
𝑌
∗
=
𝐸 [(𝑋 − 𝐸 𝑋)(𝑌 − 𝐸𝑌)]
√
𝑉𝑎𝑟 𝑋
√
𝑉𝑎𝑟𝑌
=
𝐶𝑜𝑣(𝑋, 𝑌 )
√
𝑉𝑎𝑟 𝑋 ·𝑉 𝑎𝑟𝑌
定义其为相关系数 𝜌
𝑋𝑌
对于二元正态有
𝐶𝑜𝑣(𝑋
∗
, 𝑌
∗
) =
𝜌𝜎
1
𝜎
2
𝜎
1
𝜎
2
= 𝜌
对于 𝑋,𝑌 , 简记
𝐸 𝑋 ≡ 𝜇
1
, 𝑉 𝑎𝑟 𝑋 ≡ 𝜎
2
1
𝐸𝑌 ≡ 𝜇
2
, 𝑉 𝑎𝑟𝑌 ≡ 𝜎
2
2
希望证明
𝐶𝑜𝑣
2
(𝑋,𝑌 ) ≤ 𝜎
2
1
𝜎
2
2
令
𝑇 = 𝐸
(
𝑡(𝑥 − 𝜇
1
) + (𝑌 − 𝜇
2
)
)
2
≥ 0, ∀𝑡
展开为
𝑡
的二次函数得到
𝑇 = 𝜎
1
𝑡
2
+ 𝜎
2
2
+ 2𝐶𝑜𝑣(𝑋, 𝑌)𝑡
于是判别式小于等于零
4𝐶𝑜𝑣
2
(𝑋,𝑌 ) − 4𝜎
2
1
𝜎
2
2
≤ 0
即证. 当等号成立时 Δ = 0, 可以写为完全平方
𝑇 = (𝜎
1
𝑡 ± 𝜎
2
)
2
当 𝑡 = ∓
𝜎
2
𝜎
1
时 𝑇 = 0, 则有 𝑡𝑋 +𝑌 方差为零,𝑋, 𝑌 保持线性关系. 根据相关系数的定义, 此时有
|
𝜌
|
= 1
相关系数只表示线性关系, 不表示独立性.
3 其他数字特征和相关函数
