【CT3系列】MGF 矩量母函数：和 My Girlfriend 缩写一样的函数

Jackie

发布于：2021年1月18日

MGF 矩量母函数：和 My Girlfriend 缩写一样的函数。

导语

看了上一篇《恋爱险的起源》的朋友们应该都了解MGF这个梗了。没看过上一篇，真的以为MGF是My Girlfriend才点进来看的同学，请自行面壁思过，不好好考精算证，想什么女朋友（手动doge）。

进入正题。MGF的全称是Moment Generating Function，即矩量母函数。在统计学中，矩又被称为动差(moment)。因此，矩量母函数(Moment Generating Function,简称MGF)又被称为动差生成函数。MGF是IFoA CT3第五章的内容。

定义

首先，我们引入MGF的定义。随机变量 $X$ 的矩量母函数 $M_{X} (t)$ 对所有存在期望值的 $t$ 定义为： \[ M_{X} (t)=E[ e^{tX} ] \] 我们知道，期望的公式为 \[ E[ g(x)]=\left\{ \begin{array}{l} \sum\limits_{x}^{}g(x)P(X=x) ,若X离散 \\ \int\nolimits_{\text{-} \infty }^{\infty }g(x)f_{X} (x)dx,若X连续 \end{array} \right. \] 因此，可以推出MGF的公式为 \[M_{X} (t)=E[ e^{tX} ]=\left\{ \begin{array}{l} \sum\limits_{x}^{}e^{tx} P(X=x) ,若X离散 \\ \int\nolimits_{\text{-} \infty }^{\infty }e^{tx} f_{X} (x)dx,若X连续 \end{array} \right. \]

随机变量的所有矩能由矩量母函数相继求微分得到

我们把 $M_{X} (t)$ 称为矩量母函数，因为 $X$ 的所有矩能由 $M_{X} (t)$ 相继求微分得到。例如： \[ M_{X} ^{'} (t)=\frac{d}{dt} E[ e^{tX} ]=E[ \frac{d}{dt} (e^{tX} )]=E[ Xe^{tX} ] \] 因此， \[M_{X} ^{'} (0)=E[ X]\] 类似地， \[M_{X} ^{''} (t)=\frac{d}{dt} M_{X} ^{'} (t)=\frac{d}{dt} E[ Xe^{tX} ]=E[ \frac{d}{dt} (Xe^{tX} )]=E[ X^{2} e^{tX} ]\] 所以， \[M_{X} ^{''} (0)=E[ X^{2} ]\] 一般地，$M_{X} (t)$ 的 $n$ 阶导数在 $t=0$ 时等于 $E[ X^{n} ]$，也就是说， $M_{X} ^{(n)} (0)=E[ X^{n} ],n\geq 1$

我们换种方法再证明一次：

首先将 $M_{X} (t)$ 各项根据泰勒级数展开： \[ \begin{array}{l} M_{X} (t)=E(e^{tX} )=E(1+tX+\frac{t^{2} }{2!} X^{2} +\frac{t^{3} }{3!} X^{3} +...) \\ =1+tE[ X]+\frac{t^{2} }{2!} E[ X^{2} ]+\frac{t^{3} }{3!} E[ X^{3} ]+...\end{array} \] 在 $M_{X} (t)$ 的展开式中，第 $r$ 项为 $\frac{t^{r} }{r!} E[ X^{r} ]$，对 $M_{X} (t)$ 求一阶导： \[M_{X} ^{'} (t)=E[ X]+tE[ X^{2} ]+\frac{t^{2} }{2!} E[ X^{3} ]+...\] 所以， \[M_{X} ^{'} (0)=E[ X]\]

对 $M_{X} (t)$ 求二阶导： \[M_{X} ^{''} (t)=E[ X^{2} ]+tE[ X^{3} ]+...\] 所以， \[M_{X} ^{''} (0)=E[ X^{2} ]\]

计算特定分布的矩量母函数

接下来，我们以泊松分布为例，介绍如何计算特定分布的矩量母函数。已知 $X\sim poi(\lambda )$，那么 \[ \begin{array}{l} M_{X} (t)=E[ e^{tX} ] \\ =\sum\limits_{}^{}e^{tX} P(X=x) \\ =\sum\limits_{}^{}e^{tx} \frac{\lambda ^{x} }{x!} e^{-\lambda } \\ =e^{-\lambda } \sum\limits_{}^{}\frac{(\lambda e^{t} )^{x} }{x!} \\ =e^{-\lambda } e^{\lambda e^{t} } \\ =e^{\lambda (e^{t} -1)} \end{array} \] 考试中可能会出现这种题型，但如果题目中没有特别的要求，我们无需背诵每个分布对应的矩量母函数。直接查找公式书即可。

两个重要性质

矩量母函数的一个重要性质是，独立随机变量和的矩量母函数正是单个矩量母函数的乘积。为了理解这一点，假设$X$和$Y$是独立的，它们分别有矩量母函数 $M_{X} (t)$ 和$M_{Y} (t)$，那么 $X+Y$ 的矩量母函数 $M_{X+Y} (t)$ 是： \[M_{X+Y} (t)=E[ e^{t(X+Y)} ]=E[ e^{tX} e^{tY} ]=E[ e^{tX} ]E[ e^{tY} ]=M_{X} (t)M_{Y} (t)\] 矩量母函数的另一个重要性质是，矩量母函数唯一地确定了分布。这就是说，在随机变量的矩量母函数和分布函数之间存在一一对应关系。这个性质的一个重要应用是，如果两种概率分布的MGF相同，那么他们的概率密度函数（概率分布也相同）。因此，只要推导出复合函数的MGF的表达式，就可以知道复合函数的概率分布。这样说可能还有点抽象，不要着急，我们来举例说明。例：如果 $X$ 和 $Y$ 分别是以 $(n,p)$ 和 $(m,p)$ 为参数的独立二项随机变量，那么 $X+Y$ 的分布是什么？解： $X+Y$ 的矩量母函数为： \[M_{X+Y} (t)=M_{X} (t)M_{Y} (t)=(pe^{t} +1-p)^{n} (pe^{t} +1-p)^{m} =(pe^{t} +1-p)^{n+m} \] 而 $(pe^{t} +1-p)^{n+m}$ 正是以 $(n+m,p)$ 为参数的二项随机变量的矩量母函数，从而它一定是 $X+Y$ 的分布。即是说，$X+Y$ 的分布为以 $(n+m,p)$ 为参数的二项分布。

总结

可以说，MGF概念的引入让CT3变得生动起来。通过MGF，我们可以很方便地推导概率分布的种种性质，而无需重复地使用积分求解。矩的推导，独立随机变量线性组合的概率分布，复合分布的性质，都因为MGF的引入变得非常简单。如果你很遗憾地想，自己不仅没有Girlfriend，连矩量母函数都看不懂，那该怎么办呢？没关系，除了MGF以外，母函数还包括累计量母函数（cumulant generating function，简称CGF），概率母函数（probability generating function，简称PGF）。它们都使得矩的推导变得相当便捷。CGF，PGF，MGF，看懂其中一种，其余两种自然就懂了。 CGF，MGF和PGF之间存在一些对应关系，比如，CGF是MGF的对数；而将PGF中的$t$换成$e^{t} $，即可得到MGF。三者原理相似，这里不再赘述，请自行参阅教材。

思考题

用MGF的相关知识证明以下结论：

如果随机变量$X$服从参数为$(\alpha ,\lambda )$的伽马分布，那么$2\lambda X$服从自由度为$2$的卡方分布。

证明：

查表可知，伽马分布的矩量母函数 \[M_{X} (t)=(1-\frac{1}{\lambda} )^{-\alpha } \] 当 $Y=a+bX$， \[M_{Y} (t)=E[ e^{tY} ]=E[ e^{t(a+bX)} ]=e^{at} E[ e^{btX} ]=e^{at} M_{X} (bt)\] 这里，$a=0$，$b=2$，所以： \[M_{Y} (t)=M_{X} (2\lambda t)=(1-\frac{2\lambda t}{\lambda } )^{-\alpha } =(1-2t)^{-\alpha } \] 这正是自由度为 $2 $ 的卡方分布的矩量母函数。因此，$2\lambda X$ 服从自由度为 $2$ 的卡方分布。