信息论
自信息
设随机事件 x发生的概率为 p(x)，其自信息定义为：
\[I(x)=-\log p(x)\]含义：事件越不可能发生，一旦发生所提供的信息量越大。
信息熵
信息熵是自信息的期望，衡量随机变量X 的平均不确定性：
\[H(X)=\mathbb E[I(X)] =-\sum_x p(x)\log p(x)\]连续情形使用微分熵：
\[h(X)=-\int f(x)\log f(x)\,dx\]条件熵
在已知 (Y) 的条件下，(X) 的条件熵定义为：
\[H(X|Y)=\sum_y p(y)H(X|Y=y) =-\sum_{x,y}p(x,y)\log p(x|y)\]条件熵 H(X∣Y) 的含义是：在已知随机变量 Y 的条件下，随机变量 X 剩余的平均不确定性。即“如果已经知道了 Y，那么描述或预测 X 还需要多少额外信息？”
联合熵
两个随机变量 (X,Y) 的联合熵定义为：
\[H(X,Y)=-\sum_{x,y}p(x,y)\log p(x,y)\] \[H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)\]上界：
\[H(X,Y)\le H(X)+H(Y)\]互信息
互信息（Mutual Information, MI）是信息论中用来衡量两个随机变量之间共享多少信息或统计依赖有多强的量。它比相关系数更一般，能捕捉线性、非线性、非单调等各种依赖关系。
设两个离散随机变量 (X,Y)，联合概率为 p(x,y)，边缘概率为 p(x),p(y)，则互信息定义为：
\[I(X;Y)=\sum_{x,y} p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\]它等价于联合分布 (p(x,y)) 与“独立时的分布” (p(x)p(y)) 之间的 KL 散度：
\[I(X;Y)=D_{\mathrm{KL}}\big(p(x,y)\,\|\,p(x)p(y)\big)\]因此：
- 若 (X,Y) 独立，则 (p(x,y)=p(x)p(y))，所以 (I(X;Y)=0)；
- 若它们依赖越强，互信息越大；
对连续随机变量：
\[I(X;Y)=\int\int p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\,dx\,dy\]条件互信息与点互信息
条件互信息衡量在已知 (Z) 的条件下，(X) 和 (Y) 之间还共享多少信息：
\[I(X;Y|Z)=H(X|Z)-H(X|Y,Z)\]点互信息 PMI 是互信息的逐点版本：
\[\mathrm{PMI}(x,y)=\log \frac{p(x,y)}{p(x)p(y)}\]互信息可以看作 PMI 的期望。PMI 常用于自然语言处理中的词共现关联分析。
归一化互信息
由于互信息大小受熵影响，常使用归一化互信息：
\[\mathrm{NMI}(X;Y)=\frac{I(X;Y)}{\sqrt{H(X)H(Y)}}\]或
\[\mathrm{NMI}(X;Y)=\frac{2I(X;Y)}{H(X)+H(Y)}\]NMI 常用于聚类评价，衡量聚类结果与真实标签的一致性。
总结来说，互信息衡量“知道一个变量后，对另一个变量的不确定性减少了多少”。它比相关系数更通用，但估计更困难，且不能直接说明因果关系。
信道容量
| 信道容量衡量一个信道能够可靠传输信息的最大速率。对离散无记忆信道（DMC），设输入为 (X)，输出为 (Y)，转移概率为 (p(y | x))，则信道容量定义为： |
其中最大化遍历所有合法输入分布 (p(x))。达到最大值的输入分布称为容量达到分布。
含义：
- (C) 的单位是“比特/信道使用”或“奈特/信道使用”；
- 若传输速率 (R<C)，理论上可以做到错误概率任意小；
- 若 (R>C)，不可能可靠传输；
- 对无记忆信道，反馈不增加信道容量。
无噪声离散信道
| 无噪声离散信道是指输出完全由输入决定，且没有错误。设输入字母表大小为 (M)，即 ( | \mathcal X | =M)，且 (Y=X)，则： |
当输入均匀分布时，(H(X)=\log M) 最大，因此信道容量为：
\[C=\log M\]例如：
- 二进制无噪声信道：(M=2)，所以
[ C=1\text{ bit/信道使用} ] - 若输入有 (M) 个符号，则每次使用最多传输 (\log_2 M) 比特。
在无噪声信道中，只要速率 (R<C)，可以构造无错编码；若 (R>C)，可靠传输不可能。
有噪声离散信道
| 有噪声离散信道由转移概率 (p(y | x)) 描述，也叫信道矩阵： |
其中 (i) 表示输入符号，(j) 表示输出符号。信道容量仍为：
\[C=\max_{p(x)} I(X;Y) =\max_{p(x)}\sum_{x,y}p(x)p(y|x) \log\frac{p(y|x)}{p(y)}\]其中
\[p(y)=\sum_x p(x)p(y|x)\]常见例子：
二进制对称信道 BSC
输入输出均为 ({0,1})，每个比特以概率 (p) 翻转：
\[p(y\ne x)=p,\qquad p(y=x)=1-p\]其容量为：
\[C=1-H_b(p)\]其中
\[H_b(p)=-p\log_2 p-(1-p)\log_2(1-p)\]当 (p=0) 或 (p=1) 时，(C=1) bit；当 (p=1/2) 时，(C=0)。
二进制擦除信道 BEC
输入为 ({0,1})，输出为 ({0,1,e})，其中 (e) 表示擦除。设擦除概率为 (\alpha)，则容量为：
\[C=1-\alpha\]对称离散信道
若信道矩阵的每一行都是其他行的置换，且每一列和相同，则称为对称信道。其容量为：
\[C=\log|\mathcal Y|-H(\text{行分布})\]其中 (H(\text{行分布})) 是任意一行转移概率的熵。
连续信道与香农公式
连续信道中输入输出为连续随机变量。最典型的是加性高斯白噪声信道（AWGN）：
\[Y=X+Z\]其中 (Z\sim\mathcal N(0,N)) 为高斯噪声，输入满足功率约束：
\[\mathbb E[X^2]\le P\]则每次信道使用的容量为：
\[C=\frac12\log_2\left(1+\frac{P}{N}\right) \text{ bit/信道使用}\]对于带宽为 (B) 的带限高斯信道，噪声功率为 (N=N_0B)，香农公式为：
\[C=B\log_2\left(1+\frac{P}{N_0B}\right) \text{ bit/s}\]也可写成常见形式：
\[C=B\log_2\left(1+\frac{S}{N}\right)\]其中 (S/N) 为信噪比。香农公式说明：
- 带宽越大，容量越大；
- 信噪比越高，容量越大；
- 容量随信噪比呈对数增长；
- 在低信噪比下，功率比带宽更关键；在高信噪比下，带宽更关键。
无噪声信道编码定理
对于无噪声离散信道，设信道容量为 (C)。若传输速率 (R<C)，则存在分组码序列，使得消息数约为 (2^{nR})，并且译码错误概率可以做到 0 或任意小。
逆定理：若 (R>C)，则不存在可靠编码方案。
直观理解：
- 无噪声信道中，长度为 (n) 的输入序列共有 (M^n) 种；
- 因此每次使用最多可靠传输 (\log M=C) 比特；
- 只要选择的码字数不超过可用输出序列数，就可以无冲突译码。
有噪声信道编码定理
有噪声信道编码定理即香农第二定理。对离散无记忆信道，设容量为：
\[C=\max_{p(x)} I(X;Y)\]则：
- 对任意速率 (R<C)，存在编码方案，使最大错误概率 (\lambda^{(n)}) 随码长 (n) 增大而趋于 0；
- 对任意速率 (R>C)，任何编码方案都不可能可靠传输，错误概率存在正下界。
可达性通常通过随机编码和联合典型译码证明。错误概率随码长指数衰减：
\[P_e^{(n)}\le 2^{-nE(R)}\]其中 (E(R)>0) 对 (R<C) 成立。该定理表明：信道容量是可靠通信的锐界。
连续源与率失真理论
连续源不能像离散源那样进行无失真压缩到有限速率，因为精确表示连续值通常需要无限比特。因此引入率失真理论，研究在允许一定失真的前提下，最少需要多少码率。
设源为 (X)，重建为 (\hat X)，失真度量为 (d(x,\hat x))，平均失真为：
\[D=\mathbb E[d(X,\hat X)]\]率失真函数定义为：
\[R(D)=\min_{p(\hat x|x):\ \mathbb E[d(X,\hat X)]\le D} I(X;\hat X)\]含义：在平均失真不超过 (D) 的条件下，所需的最小信息速率。
性质：
- (R(D)) 随 (D) 增大而减小；
- (R(D)) 是凸函数；
- 允许失真越大，所需码率越低；
- 对离散源，若要求无失真 (D=0)，则 (R(0)=H(X))；
- 对连续源，若要求精确无失真，通常 (R(0)=\infty)。
高斯源在均方误差失真下：
\[d(x,\hat x)=(x-\hat x)^2\]若 (X\sim\mathcal N(0,\sigma^2))，则：
\[R(D)= \begin{cases} \dfrac12\log_2\dfrac{\sigma^2}{D}, & 0<D\le \sigma^2,\\[6pt] 0, & D\ge \sigma^2 \end{cases}\]率失真定理：
- 若 (R>R(D))，存在码率为 (R) 的编码方案，使平均失真不超过 (D)；
- 若 (R<R(D))，任何编码方案的平均失真都大于 (D)。
率失真理论是有损压缩、量化、矢量量化和神经压缩等领域的理论基础。