随机变量的特征函数

定义: 设XX是一个随机变量, 称

ϕ(t)=E(eitX)=Ecos⁡(tX)+iEsin⁡(tX)\phi(t) = E(e^{\mathrm itX}) = E\cos(tX) + \mathrm{i}E\sin(tX)

为随机变量XX的特征函数.

Note: eix=cos⁡(x)+isin⁡(x)←e^{\mathrm{i}x} = \cos(x) + \mathrm{i}\sin(x) \leftarrow 欧拉公式

对于离散型随机变量XX, 若其分布律为P(X=ak)=pk,k=1,2,⋯P(X=a_k) = p_k,k=1,2,\cdots, 则XX的特征函数为

ϕ(t)=∑k=1∞pkeitak.\phi(t) = \sum_{k=1}^{\infty}p_k e^{\mathrm ita_k}.

对于连续型随机变量XX, 若其密度函数为f(x)f(x), 则XX的特征函数为

ϕ(t)=∫−∞∞f(x)eitxdx\phi(t) = \int_{-\infty}^{\infty}f(x)e^{\mathrm{i}tx}\mathrm dx

对于连续型随机变量, 其特征函数就是分布密度函数的 傅里叶变换.

存在性

随机变量特征函数的存在性, 即函数项级数∑k=1∞pkeitak\sum_{k=1}^{\infty}p_k e^{\mathrm ita_k}和含参无穷积分∫−∞∞f(x)eitxdx\int_{-\infty}^{\infty}f(x)e^{\mathrm{i}tx} \mathrm dx是否收敛的问题.

由于

∑k=1∞∣pkeitak∣=E(∣eitX∣)=1(绝对收敛)⇒∑k=1∞pkeitak收敛\sum_{k=1}^{\infty} \left\vert p_k e^{\mathrm ita_k}\right\vert = E(\left\vert e^{\mathrm itX} \right\vert) = 1 (\text{绝对收敛}) \Rightarrow \sum_{k=1}^{\infty}p_k e^{\mathrm ita_k}\text{收敛}

∫−∞∞∣f(x)eitxdx∣=E(∣eitX∣)=1(绝对收敛)⇒∫−∞∞f(x)eitxdx收敛\int_{-\infty}^{\infty} \left\vert f(x)e^{\mathrm{i}tx}\mathrm dx\right\vert = E(\left\vert e^{\mathrm itX} \right\vert) = 1 (\text{绝对收敛}) \Rightarrow \int_{-\infty}^{\infty}f(x)e^{\mathrm{i}tx}\mathrm dx \text{收敛}

所以特征函数一定存在.

唯一性

证明唯一性的关键是要证明分布函数与特征函数一一对应.

常用分布的特征函数

二项分布的特征函数

设随机变量XX服从二项分布B(n,p)B(n,p), 求XX的特征函数.

ϕ(t)=∑k=0nP(X=k)eikt=∑k=0nCnkpk(1−p)n−keikt=∑k=0nCnk(peit)k(1−p)(n−k)二项式→=(peit+1−p)n=(peit+q)n.其中 q=1−p\begin{split} \phi(t) &= \sum_{k=0}^{n} P(X = k) e^{ikt}\\ &= \sum_{k=0}^{n}C^k_n p^k(1-p)^{n-k}e^{ikt}\\ &= \sum_{k=0}^{n}C^k_n (pe^{it})^k(1-p)^{(n-k)}\\ \text{二项式}\rightarrow &= (pe^{it}+1-p)^n \\ &= (pe^{it}+q)^n. \qquad \text{其中 }q=1-p \end{split}

特别的, 当二项分布的n取1时, B(1,p)B(1,p)为0-1分布, 其特征函数为

ϕ(t)=peit+q\phi(t) = pe^{it} + q

泊松分布的特征函数

设随机变量XX服从泊松分布π(λ)\pi(\lambda), 求XX的特征函数.

ϕ(t)=∑k=0∞P(X=k)eikt=∑k=0∞λkk!e−λeikt=∑k=0∞(λeit)kk!e−λ泰勒公式→=eλ(eit−1)\begin{split} \phi(t) &= \sum_{k=0}^\infty P(X = k) e^{ikt}\\ &= \sum_{k=0}^\infty \frac{\lambda^k}{k!}e^{-\lambda}e^{ikt}\\ &= \sum_{k=0}^\infty \frac{(\lambda e^{it})^k}{k!}e^{-\lambda}\\ \text{泰勒公式}\rightarrow &= e^{\lambda(e^{it}-1)} \end{split}

均匀分布的特征函数

设随机变量XX服从均匀分布U(a,b)U(a,b), 求XX的特征函数.

ϕ(t)=E(eitX)=∫ab1b−aeitxdx=eibt−eiat(b−a)it\phi(t) = E(e^{itX}) = \int_{a}^{b} \frac{1}{b-a}e^{itx}dx = \frac{e^{ibt}-e^{iat}}{(b-a)it}

标准正态分布的特征函数

设随机变量XX服从标准正太分布N(0,1)N(0,1), 求XX的特征函数.

ϕ(t)=E(eitX)=∫−∞∞12πe−x22eitxdx=e−t22∫−∞∞12πexp⁡(−12(x−it)2)dx=e−t22\begin{split} \phi(t) &= E(e^{itX}) = \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}e^{itx}dx\\ &= e^{-\frac{t^2}{2}} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp{\left( -\frac{1}{2} (x-it)^2\right)} dx\\ &= e^{-\frac{t^2}{2}} \end{split}

其中需要用到

∫−∞∞12πexp⁡(−12(x−it)2)dx=1\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} \exp{\left( -\frac{1}{2} (x-it)^2 \right)} dx = 1

证明略(严格的证明需要借助微分方程), 可以借助∫−∞∞e−x2dx=π\int_{-\infty}^\infty e^{-x^2}dx = \sqrt{\pi}形式化地理解一下.

一般正太分布的特征函数

设随机变量XX服从正太分布N(μ,σ2)N(\mu,\sigma^2), 求XX的特征函数.

令Y=X−μσ∼N(0,1)Y=\frac{X-\mu}{\sigma}\sim N(0,1), 即X=μ+σYX = \mu + \sigma Y, 计算XX的特征函数

ϕ(t)=E(eitX)=E(eit(μ+σY))期望的线性性质→=eiμtE(ei(σt)Y)=eiμte−(σt)2/2(eq12)\begin{split} \phi(t) &= E(e^{itX}) = E(e^{it(\mu + \sigma Y)}) \\ \text{期望的线性性质}\rightarrow &= e^{i\mu t}E(e^{i(\sigma t)Y}) \\ &= e^{i\mu t}e^{-(\sigma t)^2/2} \\ \end{split} \quad(eq12)

特征函数的性质

设ϕ(t)\phi(t)为随机变量XX的特征函数, 则

  1. ϕ(0)=1,∣ϕ(t)∣≤1,ϕ(−t)=ϕ(t)‾\phi(0)=1,\quad \vert \phi(t) \vert \leq 1, \quad \phi(-t) = \overline{\phi(t)}

  2. 设Y=aX+bY = aX + b, 其中a,ba,b均为实常数, 则YY的特征函数为

    ϕY(t)=eibtϕX(at);\phi_Y(t) = e^{ibt}\phi_X(at);

  3. 设如果X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n相互独立, XiX_i的特征函数为ϕi(t)\phi_i(t), 则Y=X1+X2+⋯+XnY=X_1+X_2+\cdots+X_n的特征函数为

    ϕY(t)=ϕ1(t)ϕ2(t)⋯ϕn(t);\phi_Y(t) = \phi_1(t)\phi_2(t)\cdots\phi_n(t);

  4. 如果E(Xk)E(X^k)存在, 则

    ϕ(k)(t)=ikE(XkeitX),ϕ(k)(0)=ikE(Xk).\phi^{(k)}(t) = i^{k}E(X^ke^{itX}), \qquad \phi^{(k)}(0) = i^kE(X^k).

    Note: E(Xk)E(X^k)为随机变量XX的k阶原点矩

证明:

  1. 由特征函数的定义

    ϕ(0)=E(ei0X)=E(1)=1;\phi(0) = E(e^{i0X}) = E(1) = 1;

    ∣ϕ(t)∣=∣E(eitX)∣≤E(∣eitX∣)=1;\vert \phi(t) \vert = \vert E(e^{itX})\vert \leq E(\vert e^{itX}\vert) = 1;

    ϕ(−t)=Ecos⁡(−tX)+iEsin⁡(−tX)=Ecos⁡(tX)−iEsin⁡(tX)=ϕ(t)‾.\phi(-t) = E\cos(-tX) + iE\sin(-tX) = E\cos(tX) - iE\sin(tX) = \overline{\phi(t)}.

  2. 由期望的运算性质

ϕY(t)=E(eitY)=E(eit(aX+b))=eibtE(ei(at)X)=eibtϕ(at).\phi_Y(t) = E(e^{itY}) = E(e^{it(aX+b)}) = e^{ibt}E(e^{i(at)X}) = e^{ibt}\phi(at).

  1. 由期望的运算性质E(XY)=独立E(X)E(Y)E(XY) \overset{\text{独立}}{=} E(X)E(Y)

    ϕY(t)=E(eitY)=E(eitX1eitX2⋯eitXn)独立性→=E(eitX1)E(eitX2)⋯E(eitXn)=ϕ1(t)ϕ2(t)⋯ϕn(t).\begin{split} \phi_Y(t) &= E(e^{itY}) = E(e^{itX_1}e^{itX_2} \cdots e^{itX_n})\\ \text{独立性}\rightarrow &= E(e^{itX_1})E(e^{itX_2})\cdots E(e^{itX_n}) \\ &= \phi_1(t)\phi_2(t)\cdots \phi_n(t). \end{split}

  2. 以下运算成立

    ϕ(k)(t)=dkdtk∫−∞∞eitxf(x)dx绝对收敛一致收敛?→=∫−∞∞dkdtk(eitx)f(x)dx=ik∫−∞∞xkeitxdx=ikE(XkeitX)注意这里不能拆开≠ikE(Xk)E(eitX)\begin{split} \phi^{(k)}(t) &= \frac{d^k}{dt^k}\int_{-\infty}^{\infty}e^{itx}f(x)dx \\ \text{绝对收敛一致收敛?}\rightarrow &= \int_{-\infty}^{\infty}\frac{d^k}{dt^k}(e^{itx})f(x)dx \\ &= i^k \int_{-\infty}^{\infty}x^k e^{itx}dx = i^kE(X^ke^{itX}) \\ \text{注意这里不能拆开} &\neq i^k E(X^k)E(e^{itX}) \end{split}

    当取t=0t=0时, 有

    ϕ(k)(0)=ikE(Xk)\phi^{(k)}(0) = i^kE(X^k)

常用分布的高阶矩

正态分布的高阶矩

设随机变量X∼N(0,σ2)X\sim N(0,\sigma^2), 求E(Xk),k=1,2,⋯E(X^k), k=1,2,\cdots

E(Xk)=12πσ∫−∞∞xkexp⁡(−x22σ2)dx=令 xσ=uσk2π∫−∞∞ukexp⁡(−u22)du\begin{split} E(X^k) = \frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty} x^k\exp(-\frac{x^2}{2\sigma^2})\mathrm dx \\ \overset{\text{令}\,\frac{x}{\sigma}=u}{=} \frac{\sigma^k}{\sqrt{2\pi}}\int_{-\infty}^{\infty}u^k\exp(-\frac{u^2}{2})\mathrm du \end{split}

当 kk 为奇数时, 上述被积函数为奇函数, 故积分为 00

E(Xk)=0,k=1,3,5,⋯E(X^k) = 0, \quad k = 1,3,5,\cdots

当 kk 为偶数时, 上述被积函数为偶函数. 作变换令 z=u2/2z=u^2/2 (目的是为了凑Gamma函数)

σk2π∫−∞∞ukexp⁡(−u22)du=u=2z2k2σkπ∫0∞z(k−1)/2e−zdz=2k2σkπΓ(k+12)=σk(k−1)!!=σk(k−1)(k−3)⋯1.\begin{split} &\frac{\sigma^k}{\sqrt{2\pi}}\int_{-\infty}^{\infty}u^k\exp(-\frac{u^2}{2})\mathrm du \\ \overset{u=\sqrt{2z}}{=}&\quad \frac{2^{\frac{k}{2}}\sigma^k}{\sqrt{\pi}} \int_{0}^{\infty}z^{(k-1)/2}e^{-z}\mathrm dz \\ =& \frac{2^{\frac{k}{2}}\sigma^k}{\sqrt{\pi}}\Gamma(\frac{k+1}{2}) = \sigma^k(k-1)!! = \sigma^k(k-1)(k-3)\cdots1. \end{split}

Γ(k+12)=(k−12)(k−32)⋯(12)Γ(12)=(k−1)!!2k/2π\Gamma(\frac{k+1}{2}) = (\frac{k-1}{2})(\frac{k-3}{2})\cdots(\frac{1}{2})\Gamma(\frac{1}{2}) = \frac{(k-1)!!}{2^{k/2}}\sqrt{\pi}

中心矩和原点矩的关系

中心矩 vkv_k 和原点矩 μk\mu_k 之间存在如下类似二项式的关系

vk=E(X−E(X))k=E(X−μ1)k=二项式E[∑i=0kCkiXi(−μ1)k−i]=∑i=0kCki(−μ1)k−iEXi=∑i=0kCki(−μ1)k−iμiv_k = E(X - E(X))^k = E(X-\mu_1)^k \overset{\text{二项式}}{=} E\left[ \sum_{i=0}^k C_k^i X^i(-\mu_1)^{k-i} \right] = \sum_{i=0}^k C_k^i (-\mu_1)^{k-i} EX^i =\sum_{i=0}^k C_k^i (-\mu_1)^{k-i} \mu_i

μk=EXk=E(X−μ1+μ1)k=二项式E[∑i=0kCki(X−μ1)iμ1k−i]=∑i=0kCkiμ1k−iE(X−μ1)i=∑i=0kCkiμ1k−ivi\mu_k = EX^k = E\left(X-\mu_1 + \mu_1\right)^k \overset{\text{二项式}}{=} E\left[ \sum_{i=0}^k C_k^i (X-\mu_1)^i\mu_1^{k-i} \right] = \sum_{i=0}^k C_k^i\mu_1^{k-i}E(X-\mu_1)^i = \sum_{i=0}^k C_k^i\mu_1^{k-i}v_i