条件期望与全期望公式

条件期望的定义

条件期望根据随机变量的不同有较多定义。

(1) 设 $X$ 和 $Y$ 都是离散型随机变量，则 $X$ 在给定事件 $Y=y$ 条件时的条件期望

$$\begin{aligned} \mathrm{E}(X \mid Y=y) & =\sum_x x\cdot \mathrm{Pr}(X=x \mid Y=y) \\ & =\sum_x x \cdot\frac{\mathrm{Pr}(X=x, Y=y)}{\mathrm{Pr}(Y=y)} \end{aligned}$$

(2) 设 $X$ 是连续性随机变量， $Y$ 是离散型随机变量，则

$$\mathrm{E}(X \mid Y=y)=\int_{-\infty}^{\infty} x f_X(x \mid Y=y) \mathrm{d} x$$

(3) 设 $X$ 和 $Y$ 都是连续型随机变量，联合密度函数为 $f_{X, Y}(x, y)$ ，$Y$ 的密度函数为 $f_Y(y)$ ，$X$ 的条件概率密度函数 $f_{X\mid Y}(x\mid y) = \frac{f_{X, Y}(x, y)}{f_Y(y)}$ ，则

$$\begin{aligned} \mathrm{E}(X \mid Y=y) & =\int_{-\infty}^{\infty} x f_{X \mid Y}(x \mid y) \mathrm{d} x \\ & =\frac{1}{f_Y(y)} \int_{-\infty}^{\infty} x f_{X, Y}(x, y) \mathrm{d} x \end{aligned}$$

一般来讲，在 OI 中仅涉及第一种条件期望。

---

区分 $\mathrm{E}(X), \mathrm{E}(X \mid Y), \mathrm{E}(X \mid Y=y)$

$\mathrm{E}(X)$ ：一个数，表示 $X$ 的期望。

$\mathrm{E}(X\mid Y)$ ：一个随机变量，且关于 $Y$​ 的函数。

$\mathrm{E}(X\mid Y=y)$ ：以 $y$ 为自变量的函数，对于给定 $y$ 有唯一值对应。

$\mathrm{E}(X)$ 是对所有的 $\omega \in \Omega$ ，$X(\omega)$ 取值 全体的加权平均（参照期望的定义）

$\mathrm{E}(X\mid Y = y)$ 是局限在 $\omega \in \{\omega : Y(\omega)=y\}$ 时，$X(\omega)$ 取值 局部的加权平均 。

---

全期望公式

设 $X,Y$ 为离散型随机变量，下列期望和条件期望均存在，则

$$\mathrm{E}(X)=\mathrm{E}(\mathrm{E}(X \mid Y))$$

若 $Y$ 为离散型随机变量，则

$$\begin{aligned} \mathrm{E}(X) & =\mathrm{E}(\mathrm{E}(X \mid Y)) \\ & =\sum_y \mathrm{E}(X \mid Y=y) \cdot \mathrm{Pr}(Y=y) \end{aligned}$$

若 $Y$ 为连续型随机变量，则

$$\begin{aligned} \mathrm{E}(X) & =\mathrm{E}(\mathrm{E}(X \mid Y)) \\ & =\int_{-\infty}^{\infty} \mathrm{E}(X \mid Y=y) \mathrm{d} F_Y(y) \end{aligned}$$

离散型的证明如下：

$$\begin{aligned} \mathrm{E}(\mathrm{E}(X \mid Y)) & =\sum_y \mathrm{E}(X \mid Y=y) \cdot \mathrm{P}(Y=y) \\ & =\sum_y\left(\sum_x x \cdot \mathrm{P}(X=x \mid Y=y)\right) \cdot \mathrm{P}(Y=y) \\ & =\sum_y \sum_x x \cdot \mathrm{P}(X=x \mid Y=y) \cdot \mathrm{P}(Y=y) \\ & =\sum_y \sum_x x \cdot \mathrm{P}(Y=y \mid X=x) \cdot \mathrm{P}(X=x) \\ & =\sum_x \sum_y x \cdot \mathrm{P}(Y=y \mid X=x) \cdot \mathrm{P}(X=x) \\ & =\sum_x x \cdot \mathrm{P}(X=x) \cdot\left(\sum_y \mathrm{P}(Y=y \mid X=x)\right) \\ & =\sum_x x \cdot \mathrm{P}(X=x) \\ & =\mathrm{E}(X) \end{aligned}$$

特殊情况：若 $\{A_i\}_i$ 是一个样本空间的有限集或可列集，则

$$\mathrm{E}(X)=\mathrm{E}(\mathrm{E}(X \mid Y))=\sum_i \mathrm{E}\left(X \mid A_i\right) \cdot \mathrm{P}\left(A_i\right)$$

---

$\mathrm{E}(X\mid Y=y)$ 的另一种求解方式

对于 $\mathrm{E}(X\mid Y=y)$ ，若无法直接通过定义式计算，同样可以使用全期望公式进行求解

将 $X\mid Y=y$ 视作全期望公式中的 $X$ ，则

对于离散型的情形，有如下等式成立

$$\begin{aligned} \mathrm{E}(X \mid Y=y) & =\mathrm{E}(\mathrm{E}(X \mid Y=y, Z)) \\ & =\sum_z \mathrm{E}(X \mid Y=y, Z=z) \cdot \mathrm{Pr}(Z\mid Y) \end{aligned}$$

对于连续型的情形，有如下等式成立

$$\begin{aligned} \mathrm{E}(X \mid Y=y) & =\mathrm{E}(\mathrm{E}(X \mid Y=y, Z)) \\ & =\int_{-\infty}^{\infty} \mathrm{E}(X \mid Y=y)\mathrm{d} F_Z(z) \end{aligned}$$

---

参考文献：

[1] https://zhuanlan.zhihu.com/p/417592820