Lec 22 期望与期望的线性

资料依据：课程视频与 transcript · Lecture notes

TL;DR

• 期望是随机变量按结果概率加权的平均值；对非负整数变量，也可用尾和公式将期望写成超过各阈值的概率之和。
• 期望的线性对任意随机变量都成立，不需要独立性；因而可把难以直接分析的总量拆成简单随机变量之和。
• 指示随机变量的期望等于对应事件的概率；用一组指示变量分别计数对象，是计算随机计数量期望的通用方法。

1. 期望的定义

定义（期望值 / 均值）： 随机变量 $R$ 的期望（expected value，或均值）定义为： $\mathbb{E}[R] := \sum_{\omega \in S} R(\omega) \cdot \Pr[\omega]$

注意： 期望值不一定是 $R$ 可取到的值（例如掷一枚骰子的期望是 $3.5$）。

示例一（骰子）： $S = {1,2,3,4,5,6}$，$R(\omega) = \omega$：

$\mathbb{E}[R] = 1 \cdot \frac{1}{6} + 2 \cdot \frac{1}{6} + \cdots + 6 \cdot \frac{1}{6} = \frac{7}{2}$

示例二（指示随机变量）： 事件 $A$ 的指示随机变量 $I_A$ 的期望等于事件概率：

$\mathbb{E}[I_A] = \Pr[A]$

---

2. 等价计算公式

定理一（按值域求和）：

$\mathbb{E}[R] = \sum_{x \in \text{range}(R)} x \cdot \Pr[R = x]$

当结果数量远多于 $R$ 的取值数时，此公式更高效。

定理二（自然数值域时的尾和公式）： 若 $\text{range}(R) \subseteq \mathbb{N}$，则：

$\mathbb{E}[R] = \sum_{i=0}^{\infty} i \cdot \Pr[R = i] = \sum_{i=0}^{\infty} \Pr[R > i]$

证明思路： $\Pr[R = i]$ 在后一个求和中被计数 $i$ 次，恰好对应期望的定义。

---

3. 期望无穷大的情形

若 $\Pr[\text{时延} = i] = 1/i$（$i = 1, 2, \ldots$），则期望时延为 $\sum_{i=1}^{\infty} 1/i$，发散至无穷。

此时，样本均值（有限次观测的平均值）始终有限，但无法逼近真实期望，需特别注意。

---

4. 期望的线性性（Linearity of Expectation）

定理（线性性）： 对任意随机变量 $R_1$、$R_2$： $\mathbb{E}[R_1 + R_2] = \mathbb{E}[R_1] + \mathbb{E}[R_2]$ 无需独立性假设！

与概率对比： $\Pr[A \cap B] = \Pr[A] \cdot \Pr[B]$ 仅在独立时成立；$\Pr[A \cup B] = \Pr[A] + \Pr[B]$ 仅在互斥时成立。但期望的线性性对任意随机变量均成立。

示例（两枚骰子之和）： $R = R_1 + R_2$（$R_i$ 为第 $i$ 枚骰子）：

$\mathbb{E}[R] = \mathbb{E}[R_1] + \mathbb{E}[R_2] = \frac{7}{2} + \frac{7}{2} = 7$

即使两枚骰子完全相关（永远一样），此计算也成立！

四个易混淆公式总结：

公式	说明
$\mathbb{E}[R] = \sum_{\omega \in S} R(\omega) \cdot \Pr[\omega]$	定义，对结果求和
$\mathbb{E}[R] = \sum_{x} x \cdot \Pr[R=x]$	等价形式，对 RV 值求和
$\mathbb{E}[R] = \sum_{i=0}^{\infty} \Pr[R > i]$	仅当 $\text{range}(R) \subseteq \mathbb{N}$ 时有效
$\mathbb{E}[R_1 + R_2] = \mathbb{E}[R_1] + \mathbb{E}[R_2]$	线性性，对多个 RV 求和

---

5. 平均故障时间（Mean Time to Failure）

问题： 零件各自以概率 $p$ 有缺陷，直到第一个有缺陷零件为止共生产了多少个零件（含该零件）？

令 $R$ 为该数量，利用尾和公式：

$\mathbb{E}[R] = \sum_{i=0}^{\infty} \Pr[R > i] = \sum_{i=0}^{\infty} (1-p)^i = \frac{1}{1-(1-p)} = \frac{1}{p}$

---

6. 手机取回问题（Cellphone Check Problem）

问题： $n$ 人把手机放入袋中，随机取回一部，期望有多少人取回自己的手机？

直接法困难： 需计算 $\Pr[R = k]$，表达式很复杂。

用线性性求解： 令 $I_i$ 为"第 $i$ 人取回自己手机"的指示随机变量，则 $R = \sum_{i=1}^n I_i$：

$\mathbb{E}[R] = \sum_{i=1}^n \mathbb{E}[I_i] = \sum_{i=1}^n \Pr[I_i = 1] = n \cdot \frac{1}{n} = 1$

转盘版本： $n$ 人的手机在转盘上旋转，要么全取回（概率 $1/n$），要么全没取回（概率 $1 - 1/n$）：

$\mathbb{E}[R] = n \cdot \frac{1}{n} + 0 \cdot \left(1 - \frac{1}{n}\right) = 1$

两个版本中各 $I_i$ 的独立性截然不同，但线性性使计算同样简单。

参考（复杂直接公式）：

$\Pr[R = k] = \frac{1}{k!} \sum_{i=0}^{n-k} \frac{(-1)^i}{i!}$

线性性大大简化了计算，且适用于变量间存在任意相关性的情形。

---

7. 彩票游戏（How to Win the Lottery）

规则： 三人各下注 2 颗糖，猜正反面，根据猜对人数分配奖池。

• 公平游戏时：$\mathbb{E}[P] = 0$（$P$ 为某人净收益）
• 若另两人串通（总选相反）：$\mathbb{E}[P] = -1/2$

直觉： 串通使某人永远无法独赢 4 颗糖，导致期望收益下降。

伟大的期望

一个随机变量的期望值（或称为期望）是一个能够揭示该变量行为特征的单一数值。期望值也被称为均值或平均值。更准确地说，一个随机变量的期望值是它的所有可能取值的加权平均值，其中每个取值的权重是它出现的概率。正式地讲，随机变量的期望值定义如下：

$Ex[R] ::= \sum_{w\in S}R(w)\Pr[w]$

还有另外一种标准方法定义期望。

[!IMPORTANT]

Thm 17.5.1

对于任何随机变量 R，$Ex[R] = \sum_{x\in range(R)} x · \Pr[R = x]$。

其中 range(R)表示 R 的取值范围，或者是值域

直觉上， 期望值就是长期平均结果。如果你反复多次试验，比如扔骰子、抽签，每次结果是某个值 x，出现的概率是 $\Pr[R = x]$，那么在大量重复试验后，平均结果就会趋近于这个加权平均值。

期望的线性性质

[!IMPORTANT]

Thm 17.5.1

对于任何随机变量$R_1$和$R_2$，都有$Ex[R_1+R_2] = Ex[R_1] + Ex[R_2]$

[!IMPORTANT]

Thm 17.5.2

对于任何随机变量$R_1$和$R_2$，都有$Ex[a_1R_1+a_2R_2] = a_1Ex[R_1] + a_2Ex[R_2]$

它不要求独立性，适用于各种复杂问题。

[!NOTE]

定义指示随机变量 $R_i$，表示事件 $A_i$ 是否发生：

• 如果试验结果 $\omega$ 落在事件 $A_i$ 里，那么 $R_i(\omega) = 1$，
• 否则 $R_i(\omega) = 0$。

[!IMPORTANT]

给定一组事件 $A_1, A_2, \dots, A_n$，则它们中发生的事件数的期望为 $\mathbb{E}[\text{number of events that occur}] = \sum_{i=1}^n \Pr[A_i]$

也就是说：你有一堆事件（可能有关也可能无关），我们关心的是“有多少个事件会发生”这个数量的期望（期望值），或者说当你要计算一组事件中“平均会有多少发生”时，这个期望值就是每个事件发生的概率之和。举个例子，如果投掷两次筛子，两次投掷的结果总和的期望 = 3.5 + 3.5 = 7

二项分布的线性期望

虽然看起来你需要计算一个复杂的求和，但其实可以用非常直观且强大的方法轻松解决。

n 次独立抛硬币，每次出正面概率为 p，期望出多少次正面？

Solution:

• 有 n 枚硬币，每一枚独立地以概率 p 出现正面。

• 令随机变量 J 表示正面（heads）的总数。

• J 服从参数为 $Bin(n, p)$的二项分布，即：

  $\Pr[J = k] = \binom{n}{k} p^k (1 - p)^{n - k}$

• 我们想求：

  $\mathbb{E}[J] = \sum_{k=0}^n k \cdot \Pr[J = k]$

这个求和确实很复杂，直接代入公式计算不现实。但我们可以换一种聪明的方式。

💡 核心思路：把总数表示为 n 个“是否是正面”的指标变量之和

我们定义 $J_i$ 为第 i 枚硬币是否为正面的指示变量：

$i = \begin{cases} 1 & \text{如果第 } i \text{ 枚硬币是正面} \\ 0 & \text{否则} \end{cases}$

这样，总的正面数 J 就是这些指示变量的总和：

$J = J_1 + J_2 + \dots + J_n$

由于每个 $J_i$ 都是独立抛一次硬币得出的结果，它是 1 的概率是 p。所以最终$E[J]=n⋅p$

集邮员问题

我们去 Taco Bell 买儿童套餐，每次会随机得到一辆不同颜色的“小赛车”。颜色一共有 nnn 种，每种颜色被选中的概率是等概率（uniform），且每次独立。我们大约要买多少次套餐，才能收集到 每种颜色各至少一辆？

无限求和的线性期望

如果我们有一串随机变量$R_0, R_1, R_2, \dots$，并且它们的期望之和是绝对收敛的，那么我们可以安全地交换期望和求和：

$$\mathbb{E}[\sum^{\infin}_{i=0}R_i] = \sum^{\infin}_{i=0}E[R_i]$$

绝对收敛： 就是把所有的$E[R_i]$都变成正数再求和，结果仍然是有限的（不发散）。为什么需要这个条件——因为无穷级数在数学上很敏感——如果不绝对收敛，可能交换求和顺序会改变结果，甚至得出错误的结论。

随机变量乘积的期望

在一般情况下，乘积的期望 ≠ 期望的乘积。但如果如果两个随机变量 $R_1$ 和 $R_2$ 是独立的，那么：$E[R1⋅R2⋅⋯⋅Rn]=E[R1]⋅E[R2]⋅⋯⋅E[Rn]$

我的理解