当前位置:文档之家› 香农三大定理

香农三大定理

首先我们要知道香农三大定理,这样有助于我们理解香农极限。


香农第一定理(可变长无失真信源编码定理)

设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。于是,C/H(S)便是可变长无失真信源编码的香农极限。


香农第二定理(有噪信道编码定理)

设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M (M<=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小,此时的信道容量即为信道的香农极限。


香农第三定理(保失真度准则下的有失真信源编码定理)

设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]},而编码后码的平均失真度D'(W)<=D+a。D'(W)即为平均失真度的香农极限。


总而言之,香农极限是在香农三大定理的极值,也就是其极限情况。



2001年2月24日,当代最伟大的数学家和贝尔实验室最杰出的科学家之一,84岁的香农(Claude Elwood Shannon)博士不幸去世。

香农1916年生于美国,1940年获得麻省理工学院数学博士学位和电子工程硕士学位。1941年他加入了贝尔实验室数学部,在此工作了15年。 1948年6月和10月,由贝尔实验室出版的《贝尔系统技术》杂志连载了香农博士的文章《通讯的数学原理》,该文奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代的基本概念:熵。在此基础上,他又定义了信道容量的概念,指出了用降低传输速率来换取高保真通讯的可能性。这些贡献对今天的通信工业具有革命性的影响。

“熵”的概念起源于热力学,是度量分子不规则热运动的单位。香农的伟大贡献在于,利用概率分布的理论给出“熵”的严格定义。根据香农的定义,确定发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”,其熵都是零。只有当发生与不发生的概率相同时,事件的熵才达到极大。

在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此,香农推出了一个公式,明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通

讯的传输速率的极限,现已称为香农极限。打个比方来说,在周围干扰严重的情况下,要想使对方听清楚,你就只有慢慢地讲,甚至还要不断重复。

如今,这两个原理已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的信息量,我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损压缩的标准和极限。同时,它也是导出无损压缩算法做达到或接近“熵”的编码的源泉。像现在人们在PC机上常用的WinZip就是一个例子。在数字通讯中,各种语音信号在用数学模型提取参数(有损压缩)后也要对参数进行熵编码做无损压缩,这一无损压缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张(信道编码),因为根据香农的第二个理论,要尽量做到无失真的传送,就要用类似重复的方法来纠正可能出现的错误。毫不夸张地说,没有这两个方法,就没有今天的手机通讯。同样,在因特网上传递多媒体数据,无损压缩往往是必不可少的。比如现在所用的图像格式,除了BMP文件以外,其他格式都用到基于熵概念的无损压缩算法。在当今广为人知的MP3音乐压缩格式中,也同样用到基于熵概念的无损压缩算法。所以不论在电讯业还是计算机业中,只要涉及信息的压缩与传递,就要用到香农的理论。


相关主题
相关文档 最新文档