特征函数&高阶矩的计算

随机变量的特征函数

定义: 设$X$是一个随机变量, 称

$$\phi(t) = E(e^{\mathrm itX}) = E\cos(tX) + \mathrm{i}E\sin(tX)$$

为随机变量$X$的特征函数.

Note: $ e^{\mathrm{i}x} = \cos(x) + \mathrm{i}\sin(x) \leftarrow$欧拉公式

对于离散型随机变量$X$, 若其分布律为$P(X=a_k) = p_k,k=1,2,\cdots$, 则$X$的特征函数为

$$\phi(t) = \sum_{k=1}^{\infty}p_k e^{\mathrm ita_k}.$$

对于连续型随机变量$X$, 若其密度函数为$f(x)$, 则$X$的特征函数为

$$\phi(t) = \int_{-\infty}^{\infty}f(x)e^{\mathrm{i}tx}\mathrm dx$$

对于连续型随机变量, 其特征函数就是分布密度函数的 傅里叶变换.

存在性

随机变量特征函数的存在性, 即函数项级数$\sum_{k=1}^{\infty}p_k e^{\mathrm ita_k}$和含参无穷积分$\int_{-\infty}^{\infty}f(x)e^{\mathrm{i}tx} \mathrm dx$是否收敛的问题.

由于

$$\sum_{k=1}^{\infty} \left\vert p_k e^{\mathrm ita_k}\right\vert = E(\left\vert e^{\mathrm itX} \right\vert) = 1 (绝对收敛) \Rightarrow \sum_{k=1}^{\infty}p_k e^{\mathrm ita_k}收敛$$

$$\int_{-\infty}^{\infty} \left\vert f(x)e^{\mathrm{i}tx}\mathrm dx\right\vert = E(\left\vert e^{\mathrm itX} \right\vert) = 1 (绝对收敛) \Rightarrow \int_{-\infty}^{\infty}f(x)e^{\mathrm{i}tx}\mathrm dx 收敛$$

所以特征函数一定存在.

唯一性

证明唯一性的关键是要证明分布函数与特征函数一一对应.

常用分布的特征函数

二项分布的特征函数

设随机变量$X$服从二项分布$B(n,p)$, 求$X$的特征函数.

$$\begin{split} \phi(t) &= \sum_{k=0}^{n} P(X = k) e^{ikt}\\ &= \sum_{k=0}^{n}C^k_n p^k(1-p)^{n-k}e^{ikt}\\ &= \sum_{k=0}^{n}C^k_n (pe^{it})^k(1-p)^{(n-k)}\\ 二项式\rightarrow &= (pe^{it}+1-p)^n \\ &= (pe^{it}+q)^n. \qquad 其中q=1-p \end{split}$$

特别的, 当二项分布的n取1时, $B(1,p)$为0-1分布, 其特征函数为

$$\phi(t) = pe^{it} + q$$

泊松分布的特征函数

设随机变量$X$服从泊松分布$\pi(\lambda)$, 求$X$的特征函数.

$$\begin{split} \phi(t) &= \sum_{k=0}^\infty P(X = k) e^{ikt}\\ &= \sum_{k=0}^\infty \frac{\lambda^k}{k!}e^{-\lambda}e^{ikt}\\ &= \sum_{k=0}^\infty \frac{(\lambda e^{it})^k}{k!}e^{-\lambda}\\ 泰勒公式\rightarrow &= e^{\lambda(e^{it}-1)} \end{split}$$

均匀分布的特征函数

设随机变量$X$服从均匀分布$U(a,b)$, 求$X$的特征函数.

$$\phi(t) = E(e^{itX}) = \int_{a}^{b} \frac{1}{b-a}e^{itx}dx = \frac{e^{ibt}-e^{iat}}{(b-a)it}$$

标准正态分布的特征函数

设随机变量$X$服从标准正太分布$N(0,1)$, 求$X$的特征函数.

$$\begin{split} \phi(t) &= E(e^{itX}) = \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}e^{itx}dx\\ &= e^{-\frac{t^2}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp{\left( -\frac{1}{2} (x-it)^2\right)} dx\\ &= e^{-\frac{t^2}{2}} \end{split}$$

其中需要用到

$$\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp{\left( -\frac{1}{2} (x-it)^2 \right)} dx = 1$$

证明略(严格的证明需要借助微分方程), 可以借助$\int_{-\infty}^\infty e^{-x^2}dx = \sqrt{\pi}$形式化地理解一下.

一般正太分布的特征函数

设随机变量$X$服从正太分布$N(\mu,\sigma^2)$, 求$X$的特征函数.

令$Y=\frac{X-\mu}{\sigma}\sim N(0,1)$, 即$X = \mu + \sigma Y$, 计算$X$的特征函数

$$\begin{split} \phi(t) &= E(e^{itX}) = E(e^{it(\mu + \sigma Y)}) \\ 期望的线性性质\rightarrow &= e^{i\mu t}E(e^{i(\sigma t)Y}) \\ &= e^{i\mu t}e^{-(\sigma t)^2/2} \\ \end{split} \quad(eq12)$$

特征函数的性质

设$\phi(t)$为随机变量$X$的特征函数, 则

1. $\phi(0)=1,\quad \vert \phi(t) \vert \leq 1, \quad \phi(-t) = \overline{\phi(t)}$

2. 设$Y = aX + b$, 其中$a,b$均为实常数, 则$Y$的特征函数为

   $$\phi_Y(t) = e^{ibt}\phi_X(at);$$

3. 设如果$X_1,X_2,\cdots,X_n$相互独立, $X_i$的特征函数为$\phi_i(t)$, 则$Y=X_1+X_2+\cdots+X_n$的特征函数为

   $$\phi_Y(t) = \phi_1(t)\phi_2(t)\cdots\phi_n(t);$$

4. 如果$E(X^k)$存在, 则

   $$\phi^{(k)}(t) = i^{k}E(X^ke^{itX}), \qquad \phi^{(k)}(0) = i^kE(X^k).$$

   Note: $E(X^k)$为随机变量$X$的k阶原点矩

证明:

1. 由特征函数的定义

   $$\phi(0) = E(e^{i0X}) = E(1) = 1;$$

   $$\vert \phi(t) \vert = \vert E(e^{itX})\vert \leq E(\vert e^{itX}\vert) = 1;$$

   $$\phi(-t) = E\cos(-tX) + iE\sin(-tX) = E\cos(tX) - iE\sin(tX) = \overline{\phi(t)}.$$

2. 由期望的运算性质

$$\phi_Y(t) = E(e^{itY}) = E(e^{it(aX+b)}) = e^{ibt}E(e^{i(at)X}) = e^{ibt}\phi(at).$$

3. 由期望的运算性质$E(XY) \overset{独立}{=} E(X)E(Y)$

   $$\begin{split} \phi_Y(t) &= E(e^{itY}) = E(e^{itX_1}e^{itX_2} \cdots e^{itX_n})\\ 独立性\rightarrow &= E(e^{itX_1})E(e^{itX_2})\cdots E(e^{itX_n}) \\ &= \phi_1(t)\phi_2(t)\cdots \phi_n(t). \end{split}$$

4. 以下运算成立

   $$\begin{split} \phi^{(k)}(t) &= \frac{d^k}{dt^k}\int_{-\infty}^{\infty}e^{itx}f(x)dx \\ 绝对收敛一致收敛?\rightarrow &= \int_{-\infty}^{\infty}\frac{d^k}{dt^k}(e^{itx})f(x)dx \\ &= i^k \int_{-\infty}^{\infty}x^k e^{itx}dx = i^kE(X^ke^{itX}) \\ 注意这里不能拆开 &\neq i^k E(X^k)E(e^{itX}) \end{split}$$

   当取$t=0$时, 有

   $$\phi^{(k)}(0) = i^kE(X^k)$$

常用分布的高阶矩

正态分布的高阶矩

设随机变量$X\sim N(0,\sigma^2)$, 求$E(X^k), k=1,2,\cdots$

$$\begin{split} E(X^k) = \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty} x^k\exp(-\frac{x^2}{2\sigma^2})\mathrm dx \\ \overset{令\frac{x}{\sigma}=u}{=} \frac{\sigma^k}{\sqrt{2\pi}}\int_{-\infty}^{\infty}u^k\exp(-\frac{u^2}{2})\mathrm du \end{split}$$

当 $k$ 为奇数时, 上述被积函数为奇函数, 故积分为 $0$

$$E(X^k) = 0, \quad k = 1,3,5,\cdots$$

当 $k$ 为偶数时, 上述被积函数为偶函数. 作变换令 $z=u^2/2$ (目的是为了凑Gamma函数)

$$\begin{split} &\frac{\sigma^k}{\sqrt{2\pi}}\int_{-\infty}^{\infty}u^k\exp(-\frac{u^2}{2})\mathrm du \\ \overset{u=\sqrt{2z}}{=}&\quad \frac{2^{\frac{k}{2}}\sigma^k}{\sqrt{\pi}} \int_{0}^{\infty}z^{(k-1)/2}e^{-z}\mathrm dz \\ =& \frac{2^{\frac{k}{2}}\sigma^k}{\sqrt{\pi}}\Gamma(\frac{k+1}{2}) = \sigma^k(k-1)!! = \sigma^k(k-1)(k-3)\cdots1. \end{split}$$

$\Gamma(\frac{k+1}{2}) = (\frac{k-1}{2})(\frac{k-3}{2})\cdots(\frac{1}{2})\Gamma(\frac{1}{2}) = \frac{(k-1)!!}{2^{k/2}}\sqrt{\pi}$

中心矩和原点矩的关系

中心矩 $v_k$ 和原点矩 $\mu_k$ 之间存在如下类似二项式的关系

$$v_k = E(X - E(X))^k = E(X-\mu_1)^k \overset{二项式}{=} E\left[ \sum_{i=0}^k C_k^i X^i(-\mu_1)^{k-i} \right] = \sum_{i=0}^k C_k^i (-\mu_1)^{k-i} EX^i =\sum_{i=0}^k C_k^i (-\mu_1)^{k-i} \mu_i$$

$$\mu_k = EX^k = E\left(X-\mu_1 + \mu_1\right)^k \overset{二项式}{=} E\left[ \sum_{i=0}^k C_k^i (X-\mu_1)^i\mu_1^{k-i} \right] = \sum_{i=0}^k C_k^i\mu_1^{k-i}E(X-\mu_1)^i = \sum_{i=0}^k C_k^i\mu_1^{k-i}v_i$$