Lecture 22：期望

来源：MIT 6.1200J / 18.062J Mathematics for Computer Science，Spring 2024

---

1. 期望的定义

定义（期望值 / 均值）： 随机变量 $R$ 的期望（expected value，或均值）定义为： $$\mathbb{E}[R] := \sum_{\omega \in S} R(\omega) \cdot \Pr[\omega]$$

注意： 期望值不一定是 $R$ 可取到的值（例如掷一枚骰子的期望是 $3.5$）。

示例一（骰子）： $S=1,2,3,4,5,6$，$R(\omega )=\omega$：

$$\mathbb{E}[R]=1\cdot \frac{1}{6}+2\cdot \frac{1}{6}+\cdots +6\cdot \frac{1}{6}=\frac{7}{2}$$

示例二（指示随机变量）： 事件 $A$ 的指示随机变量 $I_A$ 的期望等于事件概率：

$$\mathbb{E}[I_A]=Pr[A]$$

---

2. 等价计算公式

定理一（按值域求和）：

$$\mathbb{E}[R]=\sum _{x\in \text{range}(R)}x\cdot Pr[R=x]$$

当结果数量远多于 $R$ 的取值数时，此公式更高效。

定理二（自然数值域时的尾和公式）： 若 $\text{range}(R)\subseteq \mathbb{N}$，则：

$$\mathbb{E}[R]=\sum _{i=0}^{\mathrm{\infty }}i\cdot Pr[R=i]=\sum _{i=0}^{\mathrm{\infty }}Pr[R>i]$$

证明思路： $Pr[R=i]$ 在后一个求和中被计数 $i$ 次，恰好对应期望的定义。

---

3. 期望无穷大的情形

若 $Pr[\text{时延}=i]=1/i$（$i=1,2,\dots$），则期望时延为 $\sum _{i=1}^{\mathrm{\infty }}1/i$，发散至无穷。

此时，样本均值（有限次观测的平均值）始终有限，但无法逼近真实期望，需特别注意。

---

4. 期望的线性性（Linearity of Expectation）

定理（线性性）： 对任意随机变量 $R_1$、$R_2$： $$\mathbb{E}[R_1 + R_2] = \mathbb{E}[R_1] + \mathbb{E}[R_2]$$ 无需独立性假设！

与概率对比： $Pr[A\cap B]=Pr[A]\cdot Pr[B]$ 仅在独立时成立；$Pr[A\cup B]=Pr[A]+Pr[B]$ 仅在互斥时成立。但期望的线性性对任意随机变量均成立。

示例（两枚骰子之和）： $R=R_1+R_2$（$R_i$ 为第 $i$ 枚骰子）：

$$\mathbb{E}[R]=\mathbb{E}[R_1]+\mathbb{E}[R_2]=\frac{7}{2}+\frac{7}{2}=7$$

即使两枚骰子完全相关（永远一样），此计算也成立！

四个易混淆公式总结：

公式	说明
$\mathbb{E}[R]=\sum _{\omega \in S}R(\omega )\cdot Pr[\omega ]$	定义，对结果求和
$\mathbb{E}[R]=\sum _{x}x\cdot Pr[R=x]$	等价形式，对 RV 值求和
$\mathbb{E}[R]=\sum _{i=0}^{\mathrm{\infty }}Pr[R>i]$	仅当 $\text{range}(R)\subseteq \mathbb{N}$ 时有效
$\mathbb{E}[R_1+R_2]=\mathbb{E}[R_1]+\mathbb{E}[R_2]$	线性性，对多个 RV 求和

---

5. 平均故障时间（Mean Time to Failure）

问题： 零件各自以概率 $p$ 有缺陷，直到第一个有缺陷零件为止共生产了多少个零件（含该零件）？

令 $R$ 为该数量，利用尾和公式：

$$\mathbb{E}[R]=\sum _{i=0}^{\mathrm{\infty }}Pr[R>i]=\sum _{i=0}^{\mathrm{\infty }}(1-p{)}^i=\frac{1}{1-(1-p)}=\frac{1}{p}$$

---

6. 手机取回问题（Cellphone Check Problem）

问题： $n$ 人把手机放入袋中，随机取回一部，期望有多少人取回自己的手机？

直接法困难： 需计算 $Pr[R=k]$，表达式很复杂。

用线性性求解： 令 $I_i$ 为"第 $i$ 人取回自己手机"的指示随机变量，则 $R=\sum _{i=1}^n{I}_i$：

$$\mathbb{E}[R]=\sum _{i=1}^n\mathbb{E}[I_i]=\sum _{i=1}^{n}Pr[I_i=1]=n\cdot \frac{1}{n}=1$$

转盘版本： $n$ 人的手机在转盘上旋转，要么全取回（概率 $1/n$），要么全没取回（概率 $1-1/n$）：

$$\mathbb{E}[R]=n\cdot \frac{1}{n}+0\cdot (1-\frac{1}{n})=1$$

两个版本中各 $I_i$ 的独立性截然不同，但线性性使计算同样简单。

参考（复杂直接公式）：

$$Pr[R=k]=\frac{1}{k!}\sum _{i=0}^{n-k}\frac{(-1{)}^i}{i!}$$

线性性大大简化了计算，且适用于变量间存在任意相关性的情形。

---

7. 彩票游戏（How to Win the Lottery）

规则： 三人各下注 2 颗糖，猜正反面，根据猜对人数分配奖池。

• 公平游戏时：$\mathbb{E}[P]=0$（$P$ 为某人净收益）
• 若另两人串通（总选相反）：$\mathbb{E}[P]=-1/2$

直觉： 串通使某人永远无法独赢 4 颗糖，导致期望收益下降。

伟大的期望

一个随机变量的期望值（或称为期望）是一个能够揭示该变量行为特征的单一数值。期望值也被称为均值或平均值。更准确地说，一个随机变量的期望值是它的所有可能取值的加权平均值，其中每个取值的权重是它出现的概率。正式地讲，随机变量的期望值定义如下：

$Ex[R]::=\sum _{w\in S}R(w)Pr[w]$​

还有另外一种标准方法定义期望。

IMPORTANT

Thm 17.5.1

对于任何随机变量R，$Ex[R]=\sum _{x\in range(R)}x·Pr[R=x]$​​。

其中range(R)表示R的取值范围，或者是值域

直觉上， 期望值就是长期平均结果。如果你反复多次试验，比如扔骰子、抽签，每次结果是某个值 x，出现的概率是 $Pr[R=x]$，那么在大量重复试验后，平均结果就会趋近于这个加权平均值。

期望的线性性质

IMPORTANT

Thm 17.5.1

对于任何随机变量$R_1$和$R_2$，都有$Ex[R_1+R_2]=Ex[R_1]+Ex[R_2]$

IMPORTANT

Thm 17.5.2

对于任何随机变量$R_1$和$R_2$，都有$Ex[a_1{R}_1+a_2{R}_2]=a_{1}Ex[R_1]+a_{2}Ex[R_2]$

它不要求独立性，适用于各种复杂问题。

NOTE

定义指示随机变量 $R_i$，表示事件 $A_i$ 是否发生：

• 如果试验结果 $\omega$ 落在事件 $A_i$ 里，那么 $R_i(\omega )=1$，
• 否则 $R_i(\omega )=0$​。

IMPORTANT

给定一组事件 $A_1,A_2,\dots ,A_n$，则它们中发生的事件数的期望为 $\mathbb{E}[\text{number of events that occur}]=\sum _{i=1}^{n}Pr[A_i]$

也就是说：你有一堆事件（可能有关也可能无关），我们关心的是“有多少个事件会发生”这个数量的期望（期望值），或者说当你要计算一组事件中“平均会有多少发生”时，这个期望值就是每个事件发生的概率之和。举个例子，如果投掷两次筛子，两次投掷的结果总和的期望 = 3.5 + 3.5 = 7

二项分布的线性期望

虽然看起来你需要计算一个复杂的求和，但其实可以用非常直观且强大的方法轻松解决。

n 次独立抛硬币，每次出正面概率为 p，期望出多少次正面？

Solution:

• 有 n 枚硬币，每一枚独立地以概率 p 出现正面。

• 令随机变量 J 表示正面（heads）的总数。

• J服从参数为 $Bin(n,p)$的二项分布，即：

  $Pr[J=k]=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$

• 我们想求：

  $\mathbb{E}[J]=\sum _{k=0}^{n}k\cdot Pr[J=k]$

这个求和确实很复杂，直接代入公式计算不现实。但我们可以换一种聪明的方式。

💡 核心思路：把总数表示为 n 个“是否是正面”的指标变量之和

我们定义 $J_i$ 为第 i 枚硬币是否为正面的指示变量：

$i=\{\begin{array}{ll}1& \text{如果第 }i\text{ 枚硬币是正面}\\ 0& \text{否则}\end{array}$

这样，总的正面数 J 就是这些指示变量的总和：

$J=J_1+J_2+\cdots +J_n$

由于每个 $J_i$ 都是独立抛一次硬币得出的结果，它是 1 的概率是 p。所以最终$E[J]=n\cdot p$

集邮员问题

我们去 Taco Bell 买儿童套餐，每次会随机得到一辆不同颜色的“小赛车”。颜色一共有 nnn 种，每种颜色被选中的概率是等概率（uniform），且每次独立。我们大约要买多少次套餐，才能收集到 每种颜色各至少一辆？

无限求和的线性期望

如果我们有一串随机变量$R_0,R_1,R_2,\dots$​，并且它们的期望之和是绝对收敛的，那么我们可以安全地交换期望和求和：

$$\mathbb{E}[\sum _{i=0}^{\text{infin}}{R}_i]=\sum _{i=0}^{\text{infin}}E[R_i]$$

绝对收敛： 就是把所有的$E[R_i]$都变成正数再求和，结果仍然是有限的（不发散）。为什么需要这个条件——因为无穷级数在数学上很敏感——如果不绝对收敛，可能交换求和顺序会改变结果，甚至得出错误的结论。

随机变量乘积的期望

在一般情况下，乘积的期望 ≠ 期望的乘积。但如果如果两个随机变量 $R_1$ 和 $R_2$ 是独立的，那么：$E[R1\cdot R2\cdot \cdots \cdot Rn]=E[R1]\cdot E[R2]\cdot \cdots \cdot E[Rn]$