直观上讲 ， 它指的是如果一个信号的最大频率是W ， 那么这个信号在秒的时间间隔内不会发生很大的变化 。

7、 。
定理5.17（Nyquist-Shannon抽样定理） 假设信号的带宽为W ， 即该信号的谱在所有大于W的频率的地方都为0 ， 那么该信号可以由采样间隔为秒的样本完全决定 。
证明. 的频谱如图所示 。
由于在带宽外为0 ， 所以：考虑采样间隔为秒的样本序列 ， 信号在采样点的值为：若将以区间作为基本周期扩展成周期函数 ， (3)式右边可看成该周期函数的傅里叶级数表示中的系数（想想信号与系统中周期函数的傅里叶级数表示形式） 。
样本值决定了该傅里叶展开的系数 ， 又函数可以由其傅里叶变换唯一决定 ， 并且在带宽W之外为0 ， 因此可以有样本唯一地决定该信号 。
考虑函数该函数在t=0时为1 ， 在t=n/2W, n不为0的时候为0 ， 而且该函数 。

8、的频谱在带宽(-W, W)内为常数 ， 在该带宽外为0 。
现在定义 由sinc函数的性质可知 ， g(t)的最大频率是W ， 且在时为 ， 由于满足这些限制的信号只有一个 ， 所以必有Remark: 实际上如果信号是带宽严格有限 ， 则在时域必然无限 ， 相反 ， 信号若在时域严格有限 ， 则其带宽必然无限 ， 因此这个定理实际上讨论的是带宽有限且时间有限的信号指的是近似有限 。
尽管一个一般的函数有无限多个自由度 ， 即函数在每一点的值可以独立的选择 。
Nyquist - Shannon抽样定理表明：带宽为W ， 时域持续T的信号具有2WT个自由度 ， 所谓的自由度可以用线性空间的维度来表示 ， 换句话说 ， 带宽为W ， 时域持续T的连续信号可以用2WT个正交 。

9、基来进行表示 。
我们不深入探讨这个问题 ， 感兴趣的可参考文献【1】 。
现在回到有限带宽信道的通信问题 。
假定信道的带宽为W ， 输入、输出信号可用采样间隔为秒的样本来表示 ， 每个输入样本受白噪声影响产生输出 。
由于噪声为白色高斯过程 ， 因此噪声样本为独立同分布高斯随机变量 。
如果噪声的功率谱密度为瓦/Hz且带宽为W ， 则噪声功率为 ， 并且在时间T内 ， 该噪声的每一个样本的方差均为 ， 每个样本的输入功率为 ， 利用离散时间高斯信道的容量公式可以计算出信道的容量为：比特/传输（bits per transmission）比特/样本 （bits per sample）由于每秒内共有2W个样本 ， 所以容量公式可以改写为：bits/s在 。

10、该容量公式中 ， 如果带宽趋于无穷大 ， 即 ， 则即当带宽越来越大时 ， 信道容量的增加与W的关系越来越小 。
换句话说 ， 不能通过无限的增加传输的带宽来增加容量 。
此时容量与发射功率P成线性的关系 ， C随P的增加而线性增加 ， 即信道的容量或可允许的传输速率对发射功率非常敏感 。
公式（8）是信息论中最著名的公式之一 。
它利用噪声谱密度和功率P给出了有限带宽的高斯信道的容量 。
Shannon明确地指出 ， 这个公式在当时是与人们的直觉相违背的 。
当时的工程和实践使得工程师相信降低差错概率只能通过逐渐的降低传输速率来得到 。
用Shannon的话说：容量公式“是一个颇令人吃惊的结果 ， 因为大家都认为降低差错率要求降低传输的速率 ， 如果差错率接 。

11、近0 ， 则速率必须接近0 。
事实上 ， 我们可以按速率C传输信息 ， 但通过在发射机采用复杂的编码和在接收机使用更长的时延来降低差错率” 。
例5.18（电话线）：为了实现信道的多路复用 ， 电话信道的带宽往往限制在3300Hz 。
在公式（8）中使用3300Hz的带宽和20dB的SNR(信噪比)（即） ， 可以发现电话信道的容量大概是22000 bits/s 。
实际的调制解调器可以达到19200 bits/s的传输率 。
在现实的电话信道中 ， 存在许多其他的因素 ， 比如串话、干扰、回声和信道的非平坦性等 ， 为了达到容量 ， 必须对这些因素进行补偿 。
5.5.3 并联高斯信道本节考虑具有总的功率约束的k个独立的并联高斯信道的容量计算问题 。
。

12、目标是通过将总的功率分配给子信道来使容量最大 。
并联高斯信道是对非白加性噪声信道的建模 ， 其中每个子信道对应一个频段 。
假设我们有一组如图所示的并联高斯信道 ， 每个信道的输出是输入和高斯噪声的和 。
对于第j个子信道 ， 其中服从均值为0 ， 方差为的高斯分布 ， 进一步 ， 假设各子信道上的噪声相互独立 。
所有子信道所受的总功率约束为：目标是将总功率在各子信道之间进行分配 ， 使容量最大 。

来源：(未知)

【学习资料】网址：/a/2021/0318/0021714711.html

标题：沐风书苑|微分熵[沐风书苑]( 二 )