向量和矩阵的范数

向量范数

对于向量

$$x = [x_1,x_2,\cdots,x_n]$$

p-范数

表示向量空间中的p阶闵氏距离

$$\|x\|_p=(\sum_{i=1}^n|x_i|^p)^{\frac{1}{p}}$$

1-范数

当p取1时, 表示曼哈顿距离

$$\|x\|_1 = \sum_{i=1}^n|x_i|$$

2-范数(欧氏范数)

当p取2时, 表示欧式距离

$$\|x\|_2 = (\sum_{i=1}^n x_i^2)^{\frac{1}{2}}$$

$\infty$-范数

当$p\rightarrow +\infty$时

$$\|x\|_{\infty} = \max|x_i|$$

$$\begin{split} &\lim_{p\rightarrow+\infty}(|x_1|^p+|x_2|^p+\cdots+|x_n|^p)^{\frac{1}{p}} \\ =& e^{\lim_{p\rightarrow\infty}\frac{\ln(|x_1|^p+|x_2|^p+\cdots+|x_n|^p)}{p}} \\ =& e^{ \lim_{p\rightarrow\infty} \frac{ \ln\left( (\frac{|x_1|}{\max|x_i|})^p+ \cdots+ (\frac{|x_n|}{\max |x_i|})^p \right) +\ln\left(\max|x_i|\right)^p }{p}} \\ =& \max|x_i|\cdot e^{ \lim_{p\rightarrow\infty} \frac{ \ln\left( (\frac{|x_1|}{\max|x_i|})^p+ \cdots+ (\frac{|x_n|}{\max |x_i|})^p \right) }{p}} \\ =& \max|x_i| \end{split}$$

$-\infty$-范数

当$p\rightarrow -\infty$时

$$\|x\|_{-\infty} = \min_i|x_i|$$

0-范数

当$p\rightarrow 0$时

$$\begin{split} &\lim_{p\rightarrow 0}(|x_1|^p+|x_2|^p+\cdots+|x_n|^p)^{\frac{1}{p}} \\ =&向量中非0元素的个数 \end{split}$$

矩阵范数

对于矩阵$A\in \mathbb{R}^{n\times n}$有下列定义的范数

矩阵的算子范数

定义 矩阵的算子范数

设$\forall x \in \mathbb{R}^n,\quad\forall A\in\mathbb{R}^{n\times n},\quad \|\cdot\|_v$是$\mathbb{R}^n$上的向量范数

$$\|A\| = \max_{x\neq0}\frac{\|Ax\|_v}{\|x\|_v}$$

称为矩阵$A$的算子范数, 或由向量范数$\|\cdot\|_v$诱导的矩阵范数.

关于 $x$ 求 $\frac{\|Ax\|_v}{\|x\|_v}$ 的最大值

相容条件

设$\|\cdot\|_v$是$\mathbb{R}^n$上的一个向量范数, 则$\|\cdot\|$是$\mathbb{R}^{n\times n}$上矩阵的算子范数, 若两者满足相容条件

$$\|Ax\|_v \leq \|A\|\cdot\|x\|_v,\quad \forall x\in\mathbb{R}^n,\forall A\in\mathbb{R}^{n\times n}$$

则称矩阵范数 $\|\cdot\|$ 与向量范数 $\|\cdot\|_v$ 是相容的(compatible).

1-范数(列和范数)

矩阵列向量中**1-范数(绝对值之和)**的最大值

$$\|A\|_1 = \max_j\sum_{i=1}^n|a_{ij}|$$

2-范数(谱范数)

$$\|A\|_2 = \sqrt{|\lambda_{max}(A^HA)|} = \sqrt{\rho(A^HA)}$$

$\lambda_{max}(A^HA)$为矩阵$A^HA$的特征值中模最大的特征值

$\rho(\cdot)$表示谱半径, 即矩阵特征值中模最大的特征值的模

$\rho(A^HA)$表示矩阵$A^HA$的谱半径, 即矩阵$A^HA$的特征值中模最大的特征值的模

$\|A\|_2$为$A$的最大的奇异值

关于 $A^HA$ 以及的一些性质

1. 若 $A$ 为方阵, $A^HA$ 的特征值是 $A$ 的特征值的平方

   证明: 对于 $A$ 的任意特征值 $\lambda$ 以及属于它的特征值向量 $\xi$ , 有

   $$\eta\cdot\xi^H\xi=(A^HA \xi, \xi) = (A\xi,A\xi)=(\lambda^H\lambda)\cdot\xi^H\xi$$

2. $A^HA$ 的所有特征值都 $\geq 0$

   $$\lambda\cdot\xi^H\xi=(A^HA \xi, \xi) = (A\xi,A\xi)\geq0$$

关于 $\sqrt{A^HA}$

1. 正定(半正定)矩阵定义: 若 Hermite 矩阵 $H$ 的特征值全为 正实数 (非负实数), 则称 $H$ 为正定的(半正定的), 记为 $H>0$ ($H\geq 0$)

2. 定理: 矩阵 $H$ 是正定的(或半正定的) 充分必要条件 是存在正定矩阵(或半正定矩阵) $H_0$, 使得

   $$H=H_0^2,\qquad rank(H_0)=rank(H)$$

   证明: Hermite 矩阵(复对称矩阵)可以对角化, 设 $H = UDU^H$, $D=diag\{\lambda_1,\lambda_2,\cdots,\lambda_n\}$(由于是正定的, 所以$\lambda_{1,\cdots ,n}>0$), 取 $D_0 = diag\{\sqrt{\lambda_1},\sqrt{\lambda_2},\cdots,\sqrt{\lambda_n}\}$, 以及 $H_0 = UD_0U^H$, 有

   $$H_0^2 = (UD_0U^H)(UD_0U^H) = UD_0^2U^H = H$$

3. 对于正定或半正定矩阵$H$, 将满足上述定理条件 $H=H_0^2$ 的 $H_0$ 称为 $H$ 的方根, 记为$\sqrt{H}$

4. 对于矩阵 $A^HA$ , 它是正定(半正定)的实对称矩阵, 它对应的$H_0$记为 $\sqrt{A^HA}$

$\infty$-范数(行和范数)

矩阵行向量中1-范数的最大值

$$\|A\|_{\infty} = \max_{i}\sum_{j=1}^n|a_{ij}|$$

$F$-范数(Frobenius范数)

$$\|A\|_F = \sqrt{\sum_{i=1}^n \sum_{j=1}^n|a_{ij}|^2} =\sqrt{tr(A^HA)} =\sqrt{tr(AA^H)}$$

$$A^HA = \begin{bmatrix} A_1^HA_1 & * & \cdots & * \\ * & A_2^HA_2 & \cdots & * \\ \vdots & \vdots & \ddots & \vdots \\ * & * & \cdots & A_n^HA_n \end{bmatrix} = \begin{bmatrix} \sum_{i=1}^n|a_{i1}|^2 & * & \cdots & * \\ * & \sum_{i=1}^n|a_{i2}|^2 & \cdots & * \\ \vdots & \vdots & \ddots & \vdots \\ * & * & \cdots & \sum_{i=1}^n|a_{in}|^2 \end{bmatrix}$$