信道的容量为由于噪声相互独立 ， 是第i个子信道的输入信号的功率 ， 即这些功率必须满足总平均功率约束上面第一个不等式成立的条件是当相互独立 ， 第二个不等式成立的条件是当是高斯随机变量 。
因此 ， 等式成立的条件是即之间是相互独立的 ， 并且每个输入都是均值为 。

13、0 ， 方差为的高斯变量 。
由于假设了是相互独立 ， 且每个子信道是高斯信道 ， 因此之间也相互独立 ， 且每个服从均值为0 ， 方差为的高斯分布 ， 从而上面两个不等式中等式成立 。
问题现在转化为这样一个优化问题：给定条件 ， 寻找使容量最大化 。
我们利用拉格朗日乘子法来解决这个问题 ， 首先构造成本函数优化变量为 ， 因此计算成本函数对的一阶偏导数 ， 令其为0：因而考虑到给每个子信道所分配的功率必须为非负 ， 而上面的解不一定总是能满足这个条件 。
利用库恩-塔克条件可以验证 ， 使得容量最大的功率分配所给出的结果为其中定义为的选择使得使得各子信道满足总的功率约束这个功率分配的解有比较直观的解释 ， 如下图所示纵向代表各子信道的噪声水平 ， 当信号功率 。

14、从0开始增长时 ， 我们首先给噪声水平最低的子信道分配 ， 当可分配的功率进一步增长时 ， 部分功率分配给噪声水平更高的子信道 。
总功率在子信道分配的方法类似于水在容量中的分配方式 。
因此这个方法被称为“注水法”（water filling） 。
简单地说 ， 功率分配是给噪声水平低（或者说通信质量良好）的信道分配更多的功率（信道2） ， 给噪声水平高的子信道分配更少的功率（信道1）甚至不分配功率（信道3） 。
5.5.4. 二元输入加性白高斯噪声( binary-input additive white Gaussian noise, BI-AWGN ) 信道二元输入加性白高斯噪声信道可由下面方程进行描述其中为第i个发送的 。

15、符号 ， 是第i个接收到的符号 ， 是均值为0 ， 方差为 ， 即 。
在BI-AWGN信道上传输二元码字 ， 按照规则映射到符号 。
对于BI-AWGN信道假设a=1 ， 考虑互信息已经知道高斯随机变量Z的熵为如果信源等概其中从而因此如果信源等概 ， 容量为其中香农信噪编码定理编码 ， 如果传输信息的速率R小于信道容量C ， 则尽管信道是有噪的 ， 存在着纠错码 ， 可以使得差错率任意小 。
从另一方面来考虑 ， 假如信道噪声门限的参数为x ，纠错码速率为R ，为满足方程的值 ， 称为对应该速率的纠错码的噪声门限 。
一般被称为香农极限（shannon limit） 。
香农信噪编码定理表明 ， 如果噪声水平低于 ， 则存在速率为R的纠错码 ， 使得通信的差错率任意小 。
如果 。

16、噪声水平高于 ， 则不存在速率为R的能取得任意小差错概率的纠错码 。
要找出信道参数为x ， 速率为r的纠错码的香农极限 ， 满足方程 。
下面这个算法给出了误差范围在内的BI-AWGN信道的香农极限的计算伪码 。
算法在和间搜索 。
的计算采用数值积分 ， MATLAB中可以使用QUAD函数 。
BI-AWGN信道的香农极限也可以用dB单位来表示：算法5.1 BI-AWGN信道香农极限procedure SHANNONLIMIT()repeat(数值积分)where if thenelseend ifuntil （以dB为单位表示的香农极限）return end procedure例. 不同码速率下BI-AWGN容量门限值如下表所示总结习题17教学f 。

来源：(未知)

【学习资料】网址：/a/2021/0318/0021714711.html

标题：沐风书苑|微分熵[沐风书苑]( 三 )