1、第五章 微分熵微分熵描述连续随机变量的熵 ， 形式上与离散随机变量的熵类似 ， 但存在一些重要的差别 。
5.1节 定义定义5.1 设X是一个随机变量 ， 概率密度函数为p(x) ， 定义X的微分熵为与离散情形一样 ， 微分熵只与概率密度函数有关 。
例5.2. 如果X服从区间 a, b 上的一致分布 ， 即可以计算出注释：微分熵不必大于0 ， 如本例中 ， 如果b-a1, 则H(X)0. 例5.3. 假设X服从高斯分布 ， 即以奈特为单位计算微分熵 ， 有奈特改变对数的底 ， 则比特5.2节 联合微分熵与条件微分熵与离散情形类似 ， 单个随机变量的微分熵可以推广到多个随机变量 。
定义5.4 联合概率为p(x, y)的随机变量X和Y的联合微分熵定义为 。

2、定义5.5 如果X ， Y的联合密度函数为p(x, y) ， 定义条件微分熵为因为所以有定理5.6（多元正态分布的熵）如果服从n维高斯分布 ， 即则比特其中代表的行列式 。
证明：联合熵natsbits5.3节 相对熵与互信息现在将相对熵和互信息的概念推广到连续型随机变量 。
定义5.7 两个密度函数p和q之间的相对熵定义为定义5.8 联合密度函数为p(x, y)的两个随机变量间的互信息定义为根据上面的定义 ， 很容易证明5.4节 微分熵、相对熵以及互信息的性质定理5.9 等式成立的条件是两分布相等 。
证明：（Jensen不等式）推论5.10， 等式成立当且仅当X与Y相互独立推论5.11， 等式成立当且仅当X与Y相互独 。

3、立定理5.12（微分熵的链规则）证明：由定义可直接可得 。
推论5.13定理5.14 假设 ， 是任意实值随机变量 ， 且 ， 则证明. X的分布为假设的分布为 ， 则因此证明完毕 。
定理5.15 如果信源输出幅度受限 ， 则服从均匀分布的X具有最大熵5.5节 高斯信道连续信道中最重要的模型是高斯信道 ， 如图5.1 。
这是一个离散时间信道 ， 在时刻i ， 输入信号为 ， 噪声为 ， 输出信号为输入信号与噪声的 。
噪声为独立同分布序列 ， 且服从均值为0 ， 方差为N的高斯分布 。
即 ， 图5.1 高斯信道假设噪声与输入信号独立 。
如果没有进一步的限制 ， 高斯信道的容量为无穷大 。
若噪声方差为0 ， 则接收者可以正确接收每一个输入符号 ， 由于信源X是连续的 ， 可以取任 。

4、意的实数值 ， 因此此时高斯信道可以正确传输任意的实数 ， 换句话说 ， 容量为无穷 。
若噪声方差不为0 ， 但输入信号没有限制 ， 此时容量也可以为无穷大 。
方法是选择输入信号的一个任意分散（arbitrarily far apart）的无穷子集 ， 使得在接收端可以以任意小的差错概率区分出这些输入符号 。
因而 ， 此时高斯信道容量也是无穷大 。
因此 ， 如果噪声方差为0或对输入信号没有限制 ， 则信道的容量为无穷大 。
输入最通常的限制是能量或功率受约束 。
我们假设信道受平均功率约束 。
即对于在信道上传输的任意码字 ， 要求通信中高斯信道经常用来对实际信道的理想建模 。
5.5.1 加性高斯噪声信道现在来定义高斯信道的容量 。
将高斯信道容量定义为通过 。

【沐风书苑|微分熵[沐风书苑]】5、选择满足平均功率约束的输入分布 ， 取得的最大的互信息 。
定义5.16（高斯信道容量）平均功率约束为P的高斯信道的容量定义为考虑高斯信道容量的计算 。
注意到输入X与噪声Z独立 ， （a） 利用高斯信道的假设（b） Z是X+Z和X的函数（c） X与Z独立根据假设 ， Z是高斯变量 ， 因此又因为X与Z独立 ， 且 ， 所以等式成立的条件是 。
现在假定 ， 则由定理（给定方差下 ， 正态分布取得最大熵）.可知等式成立条件是Y是高斯分布 ， 由高斯信道的假设 ，。
如果X是高斯随机变量 ， 由于根据假设 ， Z是高斯的 ， 而高斯随机变量的线性组合也是高斯变量 ， 所以Y是高斯变量的条件是X是高斯 ， 即X的分布是均值为0 ， 方差为P的高斯分布 ，。
现在来考虑互信息等 。

6、式成立的条件是Y是高斯随机变量 ， 根据前面的讨论 ， 即要求 。
容量：取得容量的输入分布是 ， 即X服从均值为0 ， 方差为P的高斯分布 。
5.5.2 带宽有限高斯信道对于无线或有线通信 ， 通用的模型是具有白噪声的有限带宽信道 ， 这是一种时间连续信道 ， 也称为波形信道 。
如果用代表信号的波形 ， 代表白色高斯噪声的波形 ， 代表理想低通滤波器 ， 它的作用是将信号中所有频率大于W的成分去掉 。
则输出波形为：我们首先给出由奈奎斯特和Shannon给出的表示定理 ， 这个定理说的是如果以的采样率对有限带宽信号进行采样 ， 则可以由这些样本重构出原始信号 。

来源：(未知)

【学习资料】网址：/a/2021/0318/0021714711.html

标题：沐风书苑|微分熵[沐风书苑]