条件期望与全期望公式
条件期望的定义
条件期望根据随机变量的不同有较多定义。
- 设 \(X\) 和 \(Y\) 都是离散型随机变量，则 \(X\) 在给定事件 \(Y=y\) 条件时的条件期望 \[ \begin{aligned} \mathrm{E}(X \mid Y=y) & =\sum_x x\cdot \mathrm{Pr}(X=x \mid Y=y) \\ & =\sum_x x \cdot\frac{\mathrm{Pr}(X=x, Y=y)}{\mathrm{Pr}(Y=y)} \end{aligned} \]
- 设 \(X\) 是连续性随机变量， \(Y\) 是离散型随机变量，则 \[ \mathrm{E}(X \mid Y=y)=\int_{-\infty}^{\infty} x f_X(x \mid Y=y) \mathrm{d} x \]
- 设 \(X\) 和 \(Y\) 都是连续型随机变量，联合密度函数为 \(f_{X, Y}(x, y)\) ，\(Y\) 的密度函数为 \(f_Y(y)\) ，\(X\) 的条件概率密度函数 \(f_{X\mid Y}(x\mid y) = \frac{f_{X, Y}(x, y)}{f_Y(y)}\) ，则 \[ \begin{aligned} \mathrm{E}(X \mid Y=y) & =\int_{-\infty}^{\infty} x f_{X \mid Y}(x \mid y) \mathrm{d} x \\ & =\frac{1}{f_Y(y)} \int_{-\infty}^{\infty} x f_{X, Y}(x, y) \mathrm{d} x \end{aligned} \] 一般来讲，在 OI 中仅涉及第一种条件期望。
区分 \(\mathrm{E}(X), \mathrm{E}(X \mid Y), \mathrm{E}(X \mid Y=y)\)
\(\mathrm{E}(X)\) ：一个数，表示 \(X\) 的期望。
\(\mathrm{E}(X\mid Y)\) ：一个随机变量，且关于 \(Y\) 的函数。
\(\mathrm{E}(X\mid Y=y)\) ：以 \(y\) 为自变量的函数，对于给定 \(y\) 有唯一值对应。
\(\mathrm{E}(X)\) 是对所有的 \(\omega \in \Omega\) ，\(X(\omega)\) 取值 全体的加权平均（参照期望的定义）
\(\mathrm{E}(X\mid Y = y)\) 是局限在 \(\omega \in \{\omega : Y(\omega)=y\}\) 时，\(X(\omega)\) 取值 局部的加权平均 。
全期望公式
设 \(X,Y\) 为离散型随机变量，下列期望和条件期望均存在，则 \[ \mathrm{E}(X)=\mathrm{E}(\mathrm{E}(X \mid Y)) \] 若 \(Y\) 为离散型随机变量，则 \[ \begin{aligned} \mathrm{E}(X) & =\mathrm{E}(\mathrm{E}(X \mid Y)) \\ & =\sum_y \mathrm{E}(X \mid Y=y) \cdot \mathrm{Pr}(Y=y) \end{aligned} \] 若 \(Y\) 为连续型随机变量，则 \[ \begin{aligned} \mathrm{E}(X) & =\mathrm{E}(\mathrm{E}(X \mid Y)) \\ & =\int_{-\infty}^{\infty} \mathrm{E}(X \mid Y=y) \mathrm{d} F_Y(y) \end{aligned} \]
离散型的证明如下： \[ \begin{aligned} \mathrm{E}(\mathrm{E}(X \mid Y)) & =\sum_y \mathrm{E}(X \mid Y=y) \cdot \mathrm{P}(Y=y) \\ & =\sum_y\left(\sum_x x \cdot \mathrm{P}(X=x \mid Y=y)\right) \cdot \mathrm{P}(Y=y) \\ & =\sum_y \sum_x x \cdot \mathrm{P}(X=x \mid Y=y) \cdot \mathrm{P}(Y=y) \\ & =\sum_y \sum_x x \cdot \mathrm{P}(Y=y \mid X=x) \cdot \mathrm{P}(X=x) \\ & =\sum_x \sum_y x \cdot \mathrm{P}(Y=y \mid X=x) \cdot \mathrm{P}(X=x) \\ & =\sum_x x \cdot \mathrm{P}(X=x) \cdot\left(\sum_y \mathrm{P}(Y=y \mid X=x)\right) \\ & =\sum_x x \cdot \mathrm{P}(X=x) \\ & =\mathrm{E}(X) \end{aligned} \]
特殊情况：若 \(\{A_i\}_i\) 是一个样本空间的有限集或可列集，则 \[ \mathrm{E}(X)=\mathrm{E}(\mathrm{E}(X \mid Y))=\sum_i \mathrm{E}\left(X \mid A_i\right) \cdot \mathrm{P}\left(A_i\right) \]
\(\mathrm{E}(X\mid Y=y)\) 的另一种求解方式
对于 \(\mathrm{E}(X\mid Y=y)\) ，若无法直接通过定义式计算，同样可以使用全期望公式进行求解
将 \(X\mid Y=y\) 视作全期望公式中的 \(X\) ，则
对于离散型的情形，有如下等式成立 \[ \begin{aligned} \mathrm{E}(X \mid Y=y) & =\mathrm{E}(\mathrm{E}(X \mid Y=y, Z)) \\ & =\sum_z \mathrm{E}(X \mid Y=y, Z=z) \cdot \mathrm{Pr}(Z\mid Y) \end{aligned} \] 对于连续型的情形，有如下等式成立 \[ \begin{aligned} \mathrm{E}(X \mid Y=y) & =\mathrm{E}(\mathrm{E}(X \mid Y=y, Z)) \\ & =\int_{-\infty}^{\infty} \mathrm{E}(X \mid Y=y)\mathrm{d} F_Z(z) \end{aligned} \]
参考文献：
