第三章信道与信道容量
主要内容：（1）信道的分类和表示参数；（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。
重点：离散单个符号信道及其容量。
难点：连续信道及其容量。
说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。
作业：3．1，3．2。
课时分配：4课时。
板书及讲解要点：
本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。
3．1 信道的分类和表示参数
信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。
首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。
3．1．
1 信道的分类
图3－1 信道模型
（1）根据输入输出随机信号的特点分类
离散信道：输入、输出随机变量都取离散值。 连续信道：输入、输出随机变量都取连续值。
半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。 （2） 据输入输出随机变量个数的多少分类
单符号信道：输入和输出端都只用一个随机变量来表示。 多符号信道：输入和输出端用随机变量序列/随机矢量来表示。 （3） 根据输入输出个数分类
单用户信道：只有一个输入和输出的信道。 多用户信道：有多个输入和输出的信道。 （4） 根据信道上有无干扰分类
有干扰信道 无干扰信道
（5） 根据信道有无记忆特性分类
有记忆信道， 无记忆信道。
（6） 根据输入和输出之间有无反馈
有反馈信道
无反馈信道。实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。
最简单的信道是单符号离散信道。
3．1．2 信道参数
分四部分来讲述。
1．二进制离散信道模型
二进制离散信道模型由一个允许输入值的集合 X ＝{0,1} 和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。最简单的二进制离散信道是二进制对称信道（binary symmetric channel,BSC ）。如图3－2所示。它是一种无记忆信道。转移概率为：
(0/1)(1/0)(1/1)(0/0)1p Y X p Y X p
p Y X p Y X p ======?
?======-?
图3－2 二进制对称信道 1-p
1-p
p
p
1 0
1
2．离散无记忆信道
假设信道编码器的输入是n 元符号，即输入符号集由n 个元素X={x 1，x 2，…，x n }构成，而检测器的输出是m 元符号即信道输出符号集由m 个元素Y ＝{y 1,y 2，…，y m }构成，且信道和调制过程是无记忆的，那么信道模型黑箱的输入一输出特性可以用一组共nm 个条件概率来描述(/)(/)j i j i p Y y X x p y x ==≡。式中，i=1，2，…，n ；j=1，2，…，m ，；这样的信道称为离散无记忆信道（DMC ）。
1122111(,,,/,,)(/)n
n n n n k k k k k p Y y Y y Y y X x X x p Y y X x =========∏L L
(/)j i p y x 构成的矩阵为P 矩阵（信道矩阵），如下：
如果信道转移概率矩阵的每一行中只包含一个“1”，其余元素均为“0”，说明信
道无干扰，叫无扰离散信道。 有扰离散信道
在信道输入为x i 的条件下，由于干扰的存在，信道输出不是一个固定值而是概率各异的一组值，这种信道就叫有扰离散信道。 3．离散输入连续输出信道
假设信道输入符号选自一个有限的、离散的输入字符集X={x 1，x 2，…， x n }，而信道输出未经量化（m －）∞），这时的译码器输出可以是实轴上的任意值，即y={－∞，∞}。这样的信道模型为离散时间无记忆信道。
这类信道中最重要的一种是加性高斯白噪声（AWGN ）信道，对它而言Y=X ＋G ，式中G 是一个零均值、方差为2σ的高斯随机变量，X=x i ，i=1，2，…，n 。当 X 给定后，Y 是一个均值为x i 、方差2σ为的高斯随机变量。
22
()/21(/)
i y x i p y x σ--=波形信道是这样一种信
道模型：其输入是模拟波形，其输出也是模拟波形。假设输入该信道的是带限信号x （t ），相应的输出是y （t ），那么 y （t ）=x （t ）＋n （t ）
这里n （t ）代表加性噪声过程的一个样本函数。 说明：
a.设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC 信道模型或其简化形式BSC 信道模型；
b.若分析性能的理论极限，则多选用离散输入、连续输出信道模型；
c.如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信道模型。
本书的主题是编、解码，因此主要使用DMC 信道模型。
3.2离散单个符号信道及其容量
信道模型：见3－1图，图中，输入X ∈{x 1,x 2,…,x i ,…,x n }，输出Y ∈{y 1,y 2,…,y j ,…,y m }。如果信源熵为H (X )，希望在信道输出端接收的信息量就是
H (X )，由于干扰的存在，一般只能接收到I (X ;Y )。
信道的信息传输率：就是平均互信息 R =I (X ;Y )。
输出端Y 往往只能获得关于输入X 的部分信息，这是由于平均互信息性质决定的：I (X ;Y )≤H (X )。
I (X ;Y )是信源无条件概率p (x i )和信道转移概率p (y j /x i )的二元函数，当信道特性p (y j /x i )固定后，I (X ;Y )随信源概率分布p (x i )的变化而变化。调整p (x i )，在接收端就能获得不同的信息量。由平均互信息的性质已知，I (X ;Y )是p (x i )的上凸函数，因此总能找到一种概率分布p (x i )（即某一种信源），使信道所能传送的信息率为最大。信道容量C ：在信道中最大的信息传输速率，单位是比特/信道
符号()
()
max max (;)
(/)i i p x p x C R I X Y ==比特信道符号
单位时间的信道容量C t ：若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为：
1()
max (;)
(/)i t t p x C I X Y =比特秒
3.2.1 无干扰离散信道
介绍三种信道：
1．具有一一对应关系的无噪信道
对应的信道矩阵是:
1
0000
00101000010001001000
0011
000????????????????????
????????????
L L L
L
L L M M M M M M M M L
L
因为信道矩阵中所有元素均是“1”或“0”，X 和Y 有确定的对应关系：
已知X 后Y 没有不确定性，噪声熵 H (Y /X )=0；
反之，收到Y 后，X 也不存在不确定性，信道疑义度 H (X /Y )=0;
故有 I (X ;Y )=H (X )=H (Y )。
当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量: 2．具有扩展性能的无噪信道
1121314252627383(/)(/)(/)00000
000(/)
(/)(/)
0000
(/)
(/)p y x p y x p y x p y x p y x p y x p y x p y x ??
????
???
?
虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y 后，X 不再有任何不确定度，信道疑义度 H (X /Y )=0，
I (X ;Y )= H (X ) -H (X /Y )= H (X ) 。
例如，输出端收到y 2后可以确定输入端发送的是x 1，收到y 7后可以确定输入端发送的是x 3，等等。
信道容量为：
2()
()
max (;)max ()log i i p x p x C I X Y H X n
===
与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H (X ) < H (Y )。
3．具有归并性能的无噪信道
1
001000
10010001P ??
??????=????????
信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个x i 后，对应的y j 完全确定，信道噪声熵H (Y /X )=0。 但是收到某一个y j 后，对应的x i 不完全确定，信道疑义度 H (X /Y )≠0。
信道容量为：2()
()
max (;)max ()log i i p x p x C I X Y H Y m ===
结论：无噪信道的信道容量C 只决定于信道的输入符号数n ，或输出符号数m ，与信源无关。
3.2.2 对称DMC 信道
如果转移概率矩阵P 的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称的；如果转移概率矩阵的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC 为对称的DMC 信道。
对应对称的DMC 信道，当输入呈等概分布时，信道到达信道容量，为：
1log (/)log log m
i ij ij j C m H Y x m p p ==-=+∑
其中 第二项为矩阵任一行元素的信息熵。 例题3－1：已知P 矩阵，求C 。解：
1/31/31/61/61/61/61/31/31111
4(,,,)0.082/3366
P C lb H bit ??
=????=-=则符号
二进制信道的C 值：
log 2(,1)1()
p P p C H p p H p ??=????
=--=-1-p 1-p 则
3．2．3 准对称DMC 信道
如果注意概率矩阵P 是输入对称而输出不对称，则称为准对称DMC 信道。 例如：
[][][]1111
2488111142881111
88
241211118842P P P ??=??
??
????
==??
??????行具有对称性，列不具有对称性，但把矩阵的前
两列和后两列分成互不相交的子集，构成两个子矩阵两个子矩阵都是对称矩阵。
它的信道容量求解较为复杂。
3．2．4 一般DMC 信道
为使 I （X;Y ）最大化以便求取DMC 容量，输入概率集{ p （x i ）}必须满足的充分和必要条件是:
I （x i ;Y ）＝C , 对于所有满足p （x i ）＞0条件的i
I （x i ;Y ）≤C , 对于所有满足p （x i ）=0 条件的i 即是每个概率非零的输入符号对Y 提供相同的平均互信息。 3．3 离散序列信道及其容量
定义：多符号离散信源X =X 1X 2…X L 在L 个不同时刻分别通过单符号离散信道{X
P (Y /X ) Y }，则在输出端出现相应的随机序列Y =Y 1Y 2…Y L ，这样形成一个新的信道称为离散序列信道。 由于新信道相当于单符号离散信道在L 个不同时刻连续运用了L 次，所以也称为单符号离散信道{X P (Y /X ) Y }的L 次扩展。 离散序列信道模型
如下图所示，设信源矢量X 的每一个随机变量X l ( l=1,2,…,L)均取自并取
遍于信道的输入符号集{a 1,a 2,…,a n } ，则信源共有n L 个不同的元素
a i (i =1,2,…,n L )。则输出矢量Y 由L 个符号组成的输出序列Y =Y 1Y 2… Y L ，它的每一个随机变量Y l 均取自并取遍于信道的输出符号集{
b 1,b 2,…,b m }。
1
1
2
1,2
212(,,...,)
{,(,,...)
(...,,...,)
,}L l L
l m n Y Y Y Y b b X X
X X b a a a Y X ====
对于无记忆离散序列信道，其信道转移概率为：
平均互信息 I (X ;Y )=H (Y )－H (Y /X )
例题3－7，p55，BSC 二次扩展信道
由题图可知其转移概率：
()()2(00/00)0/0(0/0)(1)(01/00)0/0(1/0)(1)
p p p p p p p p p ==-==-
对应的转移概率矩阵：
22222222(1)(1)
(1)(1)
(1)(1)(1)(1)(1)(1)
(1)
(1)p p p p p p p p p p p p P p p p p p p p
p p p p p ??
---?
?
---?
?
=??---??
---????
是一个对称DMC 信道，当输入序列等概分布时，容量为：
222log 4[(1),(1),(1),)]C H p p p p p p =----
3．4 连续信道及其容量
3．4．1 连续单符号加性信道
输入和输出随机变量都取值于连续集合的信道。其传递特性用条件转移概率密度函数p (y /x )表示，用{X p (y /x ) Y }。
连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函
数p (y /x )的上凸函数。
连续信道的信道容量C ：信源X 等于某一概率密度函数p 0(x )时，信道平均互信息的最大值，即{}()
max (;)p x C I X Y =。
一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。下图为连续加性信道模型：
噪声为连续随机变量N ，且与X 相互统计独立的信道。这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y =X +N 。加性连续信道的条件熵等于其噪声熵说明H c (Y /X )＝H c (N )。 加性连续信道的信道容量：
加性噪声N 和信源X 相互统计独立，X 的概率密度函数p (x )的变动不会引起噪声熵H c (N )的改变，所以加性信道的容量C 就是选择p (x ) ，使输出熵H c (Y )达到最大值，即：{}()
max ()()c c p x C H Y H N =-。
高斯加性信道的容量：
高斯噪声为N ，均值为0，方差为σ2 ，噪声功率为P ；概率密度函数为p n (N)=N(0,
σ2 ), 噪声的连续熵为2122()log 2c H N e πσ＝。
所以，高斯加性连续信道的容量等于：
{}{}2
122()
()
max ()()max ()log 2c c c p x p x C H Y H N H Y e πσ=--＝
根据最大连续熵定理，要使H c (Y )达到最大，Y 必须是一个均值为0、方差为
σ2
Y ＝P 的高斯随机变量。
若限定输入平均功率S ，噪声平均功率P N =σ2，对高斯加性信道，输出Y 的功率P 也限定了，P ＝S ＋P N ，因为 p Y (y)=N(0,P)，p n (N)=N(0,
σ2
)，所以有：
p x (x)=N(0,S)，即输入X 满足正态分布时，H c (Y )达到最大值，达到信道容量。
{}2211
2222()
2112222
22222
max ()log 2()log 2log 2P log 21S 1S log ()log (1)22c X Y p x H Y e eP C e e πσσπππσσσσ=+==-+==+因此，高斯加性信道的信道容量为
实际系统中噪声不是高斯型的，但若为加性的，如果均值为0，平均功率为2σ，则信道容量存在下面的上下界：
实际非高斯噪声信道的容量要大于高斯噪声信道的容量，所以在处理实际问题时，通过计算高斯噪声信道容量来保守地估计容量。3．4．2 多维无记忆加
性连续信道
（1） 当每个单元时刻的高斯噪声都是同分布时，即：2σl n =N(0,),则有信道容量
21L C log(1)
/2L l S
bit L σ
=+∑＝（维）。
当且仅当输入矢量X 各分量统计独立，且各分量都服从l x =N(0,S)时，信息传输率达到最大。
（2） 当每个单元时刻的高斯噪声均值为零，但是方差不同且为2l σ时，若输入信 号的总平均功率受限，约束条件为：
221
1
1
[][]L
L
L
l
l
l l l l E X E X P P ======∑∑∑则此时各单元时刻的信号平均功率
应该合理分配，才能使得信道容量最大。从而转换为求极大值得问题。在噪声平均功率过于大，甚至超过输出平均功率时，可以不给于功率，即不发送信号；在噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功率；
c ）在噪声平均功率较小的时间里，我们可以多给点输入平均功率。 这一结论符合客观规律和人们的习惯概念：例如，当人们说话的总的平均功率受限制时，总是把仅有的说话功率用在风小的时候。在风比较大的时候，就少花点力气。在风大到对方已经无法听到你说话声音时，干脆就暂停说话。等风小一点，或基本上没有风时，才提高嗓音使劲地大声喊叫。把仅有的一点功率，分配到噪声小的时候使用，增加所能传递的信息量，提高通信的效率。3．4．3 限
时限频限功率的加性高斯白噪声信道
波形信道中，限时t B ，限频f m 条件下可根据采样定理 ，将输入随机过程{x(t)}，输出随机过程{y(t)}转化为多维随机序列，进而求其信道容量。设信道的频带限于(－ W ,W )；根据采样定理，如果每秒传送2W 个采样点，在接收端可无失真地恢复出原始信号；把信道的一次传输看成是一次采样，由于信道每秒传输2W 个样点，所以单位时间的信道容量为：
22222*211
2*[log (1)]2*[log (1)](/)2
2*2log (1)
(/)
l
l l l S N
t P P W W W bit s W P
W bit s P C σσ=+
=+=+Ps 是信号的平均功
率，P N 是噪声的平均功率。
对高斯白噪加性信道， P N ＝1/2*N 0*2W ＝ N 0W ，N 0/2是噪声的双边功率谱密度。说明：
1.信道容量仅与信噪比和带宽有关系。
2.表明了在噪声信道中可靠通信，信息传输速率的上限值。
3.实际信道一般为非高斯噪声波形信道，其噪声熵小于高斯噪声熵，故信道容量以上式为下限值。
4.W 一定时，Ct 与信噪比SNR 成对数关系，如下图所示。提高信号功率或者降低噪声功率，有助于提高容量。
5.当信道容量一定时，增大
信道带宽，可以降低对信噪功率比的要求（如扩频通讯）；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。
当信道频带无限时，其信道容量与信号功率成正比。表明即使带宽无限，信道容量仍然时有限的。香农限
0N ln 2
,bit S
P W C ∞∞→∞≈
S 0时，当C =1bit时，P /N =ln2=-1.6dB 即当带宽不受限制时，每秒传送1信息，
信噪比最低需要-1.6dB,不能再低了。它是一切编码方式所能达到的理论极限。
频带利
用率Ct/W （单位频带的信息传输率） （bps /Hz ） 当Ct/W=1bps/Hz 时，SNR=1(0dB);
当Ct/W 逼近零时， SNR=－1.6dB, 此时信道将逼近香农限。
例题3－9：
电话信道带宽是3.3kHz ，若信噪比为20dB ，即SNR ＝100，运用香农公式可求初该信道的信道容量为Ct ＝Wlog(1+SNR) =22kbps ，实际信道考虑到串音、回波等干扰因素，最大到达的信道传输率为19.2kbps ，比理论计算值要小。
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位
精品文档 3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
第三章离散信道及其信道容量 3．1．1 信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有： 按照信道输入端或输出端的个数可分为单用户信道和多用户信道。 按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。 按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。 按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。 按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。 按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。 按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 3．1．2 离散信道的数字模型 1．一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足
概率空间[X，P(y|x)，Y]也可用图来描述。 2．基本离散信道(单符号离散信道) 单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足 概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。 若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3．无噪(无干扰信道) 若离散信道[X，P(y|x)，Y]满足
.. .. ... . . 第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
3.1 设信源??? ???=??????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ? ?????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) sym bol bit y p y p Y H sym bol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) sym bol bit Y H X Y H X H Y X H Y X H Y H X Y H X H sym bol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
第三章信道与信道容量 主要内容：（1）信道的分类和表示参数；（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。 重点：离散单个符号信道及其容量。 难点：连续信道及其容量。 说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。 作业：3．1，3．2。 课时分配：4课时。 板书及讲解要点： 本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。 3．1 信道的分类和表示参数 信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。 首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。 3．1． 1 信道的分类 图3－1 信道模型
3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
一1. 2.3.4.5. 一、 填信道是传输无线的，并噪声和干扰信息的传输通常用信道随机特性。. 信道容量信道最大述信道特. 对一个给容量就是的平均互态。因而信道的信. 信息传递要知道传系为t C = 如果信道矩排的；如果矩阵是列可对称信道。第三章填空题输信息的通并有多种传扰，而这些输。由于噪声道的转移概 量 C 是信道大信息“通行特性的信道转给定的信道是定值。当信互信息量在量而，计算匹配信道容量。 递速率C t 描传输一个符C t ，单矩阵P 的每果转移概率可排的；如如果信道章 信题 通道。在通信 传输媒介。信些噪声和干扰声和干扰具概率矩阵/前道的最大信息行”能力的转移概率有，描述信道信源为匹配量值上等于配信源分布描述的是信道号所需的时单位为比特/秒每一行都是第率矩阵P 的每果信道矩阵道矩阵P 仅满信道容 信系统中，信息在信道扰会叠加到具有随机特性向概率矩阵息传输率（的标志，因有关。 道特性的信配信源（信于信道容量布时，流经道在单位时时间t ，则信秒。 第一行诸元每一列都是阵P 同时满满足行可排容量练实际信道可道的传输过程到信息的载体性，从而使信阵这一概率（单位：比特此它与信源道转移概率源概率取最，即信道处信道的平均 时间内平均传信息传递速元素的不同排是第一列诸元满足行可排和排不满足列可练习题 可以是有线程中，不可体——信号信道也具有模型来描述特/符号）。源的概率分率就一定了最佳分布）处于最大信均互信息量传递信息多率C t 与信道排列，则称元素的不同和列可排，可排，则称线的，也可以可避免地会引号上，从而影有随机特 性述信道的这信道容量分布无关，只，因而其信时，通过信信息“通行”量，就可以求多少的能力道容量C 的 称该矩阵是行 同排列，则称则称该信道称该信道为准以是 引入影响性，一C 是 只描信道 信道”状求出，只 的关行可称该道为准对
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==,求(),(),(|),(|)H X H Y H X Y H Y X 与 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时,输入为等概率分布,即:{0、5,0、5} 注意单位