3.1 设信源
??????)(x P X =??????4.06.021x x 通过一干扰信道，接收符号Y=[]21y y ,信道传递概率如图3.33所示。求：
（1） 信源X 中事件x1,和x2分别含有的自信息。
（2） 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量。 （3） 信源X 和信源Y 的信息熵。
（4） 信道疑义度H （X|Y ）和噪声熵H （Y|X ）。 （5） 接收到消息Y 后获得的平均互信息。
解：（1）由定义得：I （X1）= －log0.6=0.74bit
I （X2）= －log0.4=1.32bit
（2）P （y1）= 0.6×5/6＋0.4×3/4=0.8 P （y2）= 0.6×1/6＋0.4×1/4=0.2
I （xi ；xj ）= I （xi ）－I （xi|yj ）=log[P （xi|yj ）/p （xi ）]
= log[P （yj|xi ）/p （yj ）]
则 I （x1；y1）= log[P （y1|x1）/p （y1）]=log5/6/0.8=0.059bit I （x1；y2）= log[P （y2|x2）/p （y2）]=log1/6/0.2=-0.263bit I （x2；y1）= log[P （y1|x2）/p （y1）]=log3/4/0.8=-0.093bit I （x2；y2）= log[P （y2|x2）/p （y2）]=log1/4/0.2=0.322bit
（3）由定义显然 H （X ）=0.97095bit/符号
H （Y ）=0.72193bit/符号
（4）H （Y|X ）=
∑
P （xy ）log[1/P （y|x ）]
=
2
2
11
i j ==∑∑
p （xi ）P （yj|xi ）log[1/P （yj|xi ）]
=0.6·5/6·log6/5+0.6·1/6·log6+0.4·3/4·log4/3+0.4·1/4·log4 =0.7145bit/符号
H （X|Y ）= H （X ）+H （Y|X ）－H （Y ）=0.9635bit/符号
(5) I （X ；Y ）= H （X ）－H （X|Y ）=0.00745 bit/符号
图3.1 二元信道
1/6
3/4
1/4
5/6
x 1
y 1
y 2
x 2
3.2设8个等概率分布的消息通过传递概率为p 的BSC 进行传送。八个消息相应编成下述码字：
M1=0000, M2=0101, M3=0110, M4=0011, M5=1001, M6=1010, M7=1100, M8=1111, 试问 (1) 接受到第一个数字0与M 之间的互信息。
(2) 接受到第二个数字也是0时，得到多少关与M 的附加互信息。 (3) 接受到第三个数字仍是0时，又增加多少关与M 的互信息。 (4) 接受到第四个数字还是0时，再增加了多少关与M 的互信息。
解： (1 ) I(0;M1)= log[ P(0|M1)/P(0)]=1 bit
(2 ) I(00;M1)= log[ 1/P(00)]=2 bit 2－1=1 bit (3 ) I(000;M1)=3 bit 3－2=1 bit (4 ) I(0000;M1)=4 bit 4－3=1 bit
3.3 设二元对称信道的传递矩阵为
2133123
3?? ? ? ? ???
（1） 若(0)3/4,(1)1/4P P ==，求(),(|),(|)H X H X Y H Y X 和(;)I X Y ； （2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）已知二元对称信道的传递矩阵，又已知输入的概率分布(0)3/4,(1)1/4P P ==,
可以求得输出Y 的概率分别和后验概率。
(0)()(0|)
(0)(0|0)(1)(0|1)32117434312X
P y P x P y x P x P y x P x P y x =======+====?+?=∑
(1)()(1|)
(0)(1|0)(1)(1|1)31125434312
X
P y P x P y x P x P y x P x P y x =======+====?+?=∑ 所以(0)(0|0)6
(0|0)()(0|)7X
P x P y x P x y P x P y x ======
==∑
(1)(0|1)1
(1|0)()(0|)7X
P x P y x P x y P x P y x ======
==∑
(0)(1|0)3
(0|1)()(1|)5
X
P x P y x P x y P x P y x ======
==∑
(1)(1|1)2
(1|1)()(1|)5X
P x P y x P x y P x P y x ======
==∑
于是，()()log ()0.811X H X P x P x =-
≈∑比特/符号
(|)()(|)log (|)
326111313122
[log log log log ]4374374354350.1110.2340.1840.2200.749比特/符号
X
Y
H X Y P x P y x P x y =-=-?-?-?-?≈+++≈∑∑
(|)()(|)log (|)
322111311122[log log log log ]4334334334330.918比特/符号
X
Y
H Y X P x P y x P y x =-=-?-?-?-?≈∑∑
(;)()(|)0.062比特/符号I X Y H X H X Y =-≈
（2）此信道为二元对称信道，所以信道容量
2
1()1()0.082比特/符号3
C H p H =-=-≈
根据二元对称信道的性质可知，输入符号为等概率分布（即1
(0)(1)2
P P ==）时信道的信息传输率才能达到这个信道容量值。
3.4设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按功耗分64%是1/8W ，其余是1/4W 。现已知2 K Ω阻值的电阻中80%是1/8W 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？
解：
根据题意令x 1＝1/8W,x 2＝1/4W,y 1＝2k Ω，y 2＝5K Ω,则
??????=??????36.064.0)(21x x X P X , ??
?
???=??????3.07.0)(21y y Y P Y 且P （x 1∣y 1）＝0.8 P(x 2∣y 1)=0.2 由P(x 1)＝P(y 1)P(x 1∣y 1)+P(y 2)P(x 1∣y 2) P(x 2)＝P(y 1)P(x 2∣y 1)+P(y 2)P(x 2∣y 2)
得P(x2∣y2)＝2.2/3 P(x1∣y2)＝0.8/3
所以H(X∣Y)＝P(y1)〔-P(x1∣y1)logP(x1∣y1)-P(x2∣y1)logP(x2∣y1)〕
+ P(y2)〔-P(x1∣y2)logP(x1∣y2)-P(x2∣y2)logP(x2∣y2)〕＝0.7〔-0.8log0.8-0.2log0.2〕
+0.3〔-0.8/3log(0.8/3)-2.2/3log(2.2/3)〕
＝0.7 [0.258+0.464]+0.3[0.509+0.328]
＝0.505+0.251=0.756
H(X) ＝-0.64log0.64-0.36log0.36=0.412+0.531=0.944
I(X;Y)＝H(X)-H(X∣Y)＝0.944-0.756=0.188
3.5若X,Y,Z是三个随机变量，试证明：
（1）I(X;YZ)=I(X;Y)+I(X;Z|Y)=I(X;Z)+I(X;Y|Z);
（2）I(X;Y|Z)=I(Y;X|Z)=H(X|Z)－H(X|YZ);
（3）I(X;Y|Z)≥0;
证明：
(1) I(X)+I(X;Z/Y)
=∑
X ∑
Y
Y
P
X
Y
P
XY
P
)
(
)
/
(
log
)
(+∑
X
∑
Y
)
/
(
)
/
(
log
)
(
Y
X
P
YZ
X
P
XYZ
P
Z
∑
=∑
X ∑
Y
)
/
(
)
(
)
/
(
)
/
(
log
)
(
Y
X
P
Y
P
X
Y
P
YZ
X
P
XYZ
P
Z
∑
=∑
X ∑
Y
)
(
)
/
(
)
/
(
log
)
(
XY
P
X
Y
P
YZ
X
P
XYZ
P
Z
∑
=∑
X ∑
Y
)
/
(
)
(
)
/
(
)
/
(
log
)
(
X
Y
P
X
P
X
Y
P
YZ
X
P
XYZ
P
Z
∑
=∑
X ∑
Y
)
(
)
/
(
)
/
(
log
)
(
X
P
X
Y
P
YZ
X
P
XYZ
P
Z
∑
=I(X;YZ)
I(X;Z)+I(X;Y/Z)
=∑
X ∑
Z
Z
P
X
Z
P
XZ
P
)
(
)
/
(
log
)
(+∑
X
∑
Y
)
/
(
)
/
(
log
)
(
Z
X
P
YZ
X
P
XYZ
P
Z
∑
=∑
X ∑
Y
)
/
(
)
(
)
/
(
)
/
(
log
)
(
Z
X
P
Z
P
X
Z
P
YZ
X
P
XYZ
P
Z
∑
=∑
X ∑
Y
)
/
(
)
(
)
/
(
)
/
(
log
)
(
X
Z
P
X
P
X
Z
P
YZ
X
P
XYZ
P
Z
∑
=
∑X
∑
Y
)
()
/(log
)(X P YZ X P XYZ P Z
∑
=I(X;YZ) (2) I(X;Y/Z) =
∑X
∑
Y
)
/()
/(log
)(Z X P YZ X P XYZ P Z
∑
=
∑X
∑Y
)()()
()(log
)(YZ P XZ P Z P XYZ P XYZ P Z
∑
=
∑X
∑
Y
)()()/()
()()/(log
)(XZ P Z P Z Y P Z P XZ P XZ Y P XYZ P Z
∑
=
∑X
∑
Y
)
/()
/(log
)(Z Y P XZ Y P XYZ P Z
∑
=I(Y;X/Z)
H(X/Z)－H(X/YZ) =
-
∑XZ Z X P XZ P )/(1
log
)(∑XYZ
YZ X P XYZ P )
/(1
log
)(
=
∑XYZ
Z X P YZ X P XYZ P )
/()
/(log
)(
=I(X;Y/Z)
I(X;Y/Z)=I(Y;X/Z)=H(X/Z)－H(X/YZ) (3) I(X;Y/Z)≥0
I(X;Y/Z)=
∑XYZ
Z X P YZ P XYZ P XYZ P )/()()
(log )(
－I(X;Y/Z)=
∑XYZ
XYZ P Z X P YZ P XYZ P )()
/()(log
)(≤∑∑∑X Y Z
Z X P YZ P )/()(log =0
得 I(X;Y/Z)≥0
3.6若三个离散随机变量，有如下关系：X+Y=Z,其中X 和Y 相互统计独立。试证明：
(1) H(X)<=H(Z); (2) H(Y)<=H(Z);
(3) H(Z)<= H(XY)<= H(X)+ H(Y); (4) I(X;Z)=H(Z)－H(Y); (5) I(XY;Z)= H(Z); (6) I(X;YZ)= H(X); (7) I(Y;Z/X)= H(Y);
(8) I(X;Y/Z)= I(X/Z)= I(Y/Z);
证明：
设x∈X, y∈Y, z∈Z, 其满足 z=x + y. 因为
Pz（z）=∑yp(y,z)=∑yp(y,z=x+y)=∑yp(y,x=z-y)
因为X,Y统计独立,所以
PZ(z)=∑yp(y)p(x) z=x+y (1) 同理, PZ(z)=∑xp(x,z)= ∑xp(x,z=x+y)=∑xp(x,y=z-x)
因为X,Y统计独立,所以
PZ(z)=∑xp(x)p(y) z=x+y (2) 又因为PZ(z)=∑yp(z∣y)p(y) 与 (1)得
p(z∣y)= p(x) z=x+y (3) = 0 z≠x+y
p(z∣x)= p(y) z=x+y (4) = 0 z≠x+y
因为要满足z=x+y,所以
p(z∣xy)= 0 z≠x+y (5) = 1 z=x+y
p(y∣xz)= 0 z≠x+y (6) = 1 z=x+y
p(x∣yz)= 0 z≠x+y (7) = 1 z=x+y
(1) H(Z∣Y)= -∑Z∑Yp(y)p(z∣y)logp(y)p(z∣y)
由（3）得 = -∑z∑yp(y)p(x)logp(x)
= -∑x∑yp(y)p(x)logp(x)
= -∑xp(x)logp(x)=H(X)
而I（Z，Y）=H(Z）- H(Z∣Y）=H(Z)- H(X)≥0
H(X)≤H(Z)
(2) 同理 H(Z∣X)=H(Y)
I（Z，X）=H(Z）- H(Z∣X）=H(Z)- H(Y)≥0
H(Y)≤H(Z)
(3)I(XY,Z）==H(Z）- H(Z∣XY）=H(XY)- H(XY∣Z)
根据（5）得 H(Z∣XY）=0 又H(XY∣Z)≥0
则 H(Z)=H(XY)- H(XY∣Z)≤H(XY)=H(X)+H(Y)
(4) I(X,Z）=H(Z）- H(Z∣X）
H(Z∣X)=H(Y),所以I(X,Z)=H(Z)- H(Y)
(5) I(XY,Z）=H(Z）- H(Z∣XY）
∵H(Z∣XY)=0 , ∴ I(XY,Z)=H(Z)
(6) 根据（7）得
I(X，YZ)==H(X)- H(X∣YZ)=H(X)
(7) I(Y,Z∣X）=H(Y∣X）- H(Y∣XZ）
由（6）得H(Y∣XZ）=0，又因X，Y独立，所以
H(Y∣X)=H(Y), I(Y,Z∣X)= H(Y)
(8) I(X,Y∣Z）=H(X∣Z）- H(X∣ZY）=H(X∣Z)
∵H(X∣ZY）=0
又I(X,Y∣Z）=H(Y∣Z）- H(Y∣XZ）=H(Y∣Z)
∵H(Y∣XZ)=0
∴I(X,Y∣Z)= H(X∣Z)= H(Y∣Z)
3.7设X,Y是二个相互统计独立的二元随机变量，其取“0”或“1”的概率为等
概分布。定义了另一个二元随机变量Z，且Z=XY（一般乘积），计算:
解：（1）H(X),H(Y),H(Z)
X 0 1 Y 0 1 Z 0 1
P(X) 1/2 1/2 P(Y) 1/2 1/2 P(Z) 3/4 1/4
H(X)=-1/2log1/2-1/2log1/2=1(比特/符号)
H(Y)=-1/2log1/2-1/2log1/2=1(比特/符号)
H(Z)=-3/4log3/4-1/4log1/4=0.811(比特/符号)
(2) H(XY),H(XZ),H(YZ),H(XYZ)
XY 0 0 0 1
P(XY) 1/4 1/4 1/4 1/4
H(XY)=-1/4log1/4-1/4log1/4-1/4log1/4-1/4log1/4=2(比特/符号)
XZ 0 0 0 1
P(XZ) 3/8 3/8 1/8 1/8
H(XZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)
YZ 0 0 0 1
P(YZ) 3/8 3/8 1/8 1/8
H(YZ)=-3/8log3/8-3/8log3/8-1/8log1/8-1/8log1/8=1.811(比特/符号)
XYZ 0 0 0 0 0 0 0 1
P(XYZ) 3/16 3/16 1/16 1/16 3/16 3/16 1/16 1/16
H(XYZ)=(-3/16log3/16)*4+(-1/16log1/16)*4=2.811(比特/符号)
(3) H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y)
H(X|Y)=H(XY)-H(Y)=2-1=1(比特/符号)
H(X|Z)=H(XZ)-H(Z)=1.811-0.811=1(比特/符号)
H(Y|Z)=H(YZ)-H(Z)= 1.811-0.811=1(比特/符号)
H(Z|X)=H(XZ)-H(X)=1.811-1=0.811(比特/符号)
H(Z|Y)=H(ZY)-H(Y) =1.811-1=0.811(比特/符号)
(4) H(X|YZ),H(Y|XZ),H(Z|XY)
H(X|YZ)=H(XYZ)-H(YZ)=2.811-1.811=1(比特/符号)
H(Y|XZ)=H(XYZ)-H(XZ)=2.811-1.811=1(比特/符号)
H(Z|XY)=H(XYZ)-H(XY)=2.811-2=0.811(比特/符号)
(5)I(X;Y),I(X;Z),I(Y;Z)
I(X;Y)=H(X)-H(X|Y)=1-1=0
I(X;Z)=H(X)-H(X|Z)=1-1=0
I(Y;Z)=H(Y)-H(Y|Z)=1-1=0
(6) I(X;Y|Z),I(Y;X|Z),I(Z;X|Y),I(Z;Y|X)
I(X;Y|Z)=H(X|Z)-H(X|YZ)=1-1=0
I(Y;X|Z)=H(Y|Z)-H(Y|XZ)=1-1=0
I(Z;X|Y)=H(Z|Y)-H(Z|XY)=0.811-0.811=0
I(Z;Y|X)=H(Z|X)-H(Z|XY)=0.811-0.811=0
(7) I(XY;Z),I(X;YZ),I(Y;XZ)
I(XY;Z)=I(Z;XY)=I(Z;X)+I(Z;Y|X)=0
I(X;YZ)=I(X;Y)+I(X;Z|Y)=0
I(Y;XZ)=I(Y;Z)+I(Y;Z|X)=0
3.8设X，Y是二个相互统计独立的二元随机变量，它们的取值为等概率分布。定义另一个二元随机Z，Z=X⊕Y(⊕是模二和运算，即z=0,x=y,x≠y),试计算：
(1) H(X)，H(Y)，H(Z)；
(2) H(XY)，H(XZ)，H(YZ)，H(XYZ)；
(3) H(X|Y)，H(X|Z)，H(Y|Z)，H(Z|X)，H(Z|Y)；
(4) H(X|YZ)，H(Y|XZ)，H(Z|XY)；
(5) I(X;Y), I(X;Z), I(Y;Z);
(6) I(X;Y|Z), I(Y;X|Z), I(Z;X|Y), I(Z;Y|X);
(7) I(XY;Z), I(X;YZ), I(Y;XZ).
解：X，Y统计独立，等概率分布X 0 1 Y 0 1
P 0.5 0.5 P 0.5 0.5
∵Z=X⊕Y ∴Z取值也为等概率分布。
(1) H(X)=H(Y)=H(Z)= H(0.5)=﹣0.5×log0.5－0.5×log0.5=1 bit
(3) H(X|Y)=0，H(X|Z)= H(Z|X)=0.5 H(Z|0.5)＋0.5 H(Z|0.5)=1 bit
H(Y|Z)= H(Z|Y)=1 bit
(2) H(XY)= H(X)＋H(Y)=2 bit
H(XZ)= H(X)＋H(Z|X)= 2 bit
H(YZ)= H(Y)＋H(Z|Y)= 2 bit
H(XYZ)= H(XY)＋H(Z|XY)=2＋1=3 bit
(4) H(X|YZ)= H(XYZ)－H(YZ)= 1 bit
H(Y|XZ)= H(XYZ)－H(XZ)= 1 bit
H(Z|XY)=﹣0.25×log0.25﹣0.25×log0.25﹣0.25×log0.25﹣0.25×log0.25=1bit
(5) I(X;Y)= H(X)－H(X|Y)= 1 bit
I(X;Z)= H(X)－H(X|Z)= 0 bit
I(Y;Z)= H(Y)－H(Y|Z)= 0 bit
(6) I(X;Y|Z)= H(X|Z)－H(X|YZ)=0 bit I(Y;X|Z)= H(Y|Z)－H(Y|XZ)=0 bit
I(Z;X|Y)= H(Z|Y)－H(Z|XY)=0 bit I(Z;Y|X)= H(Z|X)－H(Z|XY)=0 bit
(7) I(XY;Z)= I(X;Z)+ I(Z;Y|X)=0 bit I(X;YZ)= I(X;Z)+ I(X;Y|Z)=0 bit I(Y;XZ)= I(Y;Z)+ I(Y;X|Z)=0 bit
3.9有一个二元对称信道，其信道矩阵如图3.2所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)= 1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完。
解：∵是二元对称信道
∴C=1-H(P) P 为错误传递概率 由题得 P=0.02
图3.2信道
∴C=1-H(0.02)=1+0.02×log0.02=0.887 bit/符号 信息传输概率 Rt=1500×0.887=1330.5 bit/秒 共需传输 14000 比特，无失真
所需时间 t=14000/1330.5=10.5s > 10s
∴传不完。
3.10求图3.3中信道的信道容量及其最佳输入概率分布。
1/3 1/2
1/6 1/3 1/6 1/3 1/6 1/6
1/3 1/2 1/3
1/6 1/6 1/6 1/3
1/3 1/2 图3.3 信道
解：图3.3中两信道的信道矩阵为
P 1=?
???
?
??
???316
1316161316131 P 2=???????
??????
???216
13
131********
21 0.02
0.02
0.98 0.98
其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得
C 1=log4－H （1/3，1/6，1/3，1/6）≈0.0817 比特/符号 C 2=log3－H （1/2，1/3，1/6）≈0.126 比特/符号
最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。
3.11 求下列二个信道的信道容量，并加以比较
（1）?
??
? ??----εεεεεε22p p p p （2）???
? ??----εεεεε
ε20
02p p p
其中p+p =1
解：
（1）此信道是准对称信道，信道矩阵中Y 可划分成三个互不相交的子集 由于集列所组
成的矩阵????
??----εεεεp p p p ,???
?
??εε22而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。 C1=logr-H(p1’ p2’ p3’)-
Mk k N k log 2
1
∑=
其中r=2,N1=M1=1-2ε N2=ε2 M2=4ε 所以 C1=log2-H(ε-p ,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε
=log2+(ε-p )log(ε-p )+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) 输入等概率分布时达到信道容量。
（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信
道的信道容量公式进行计算，此信道矩阵中Y 可划分成两个互不相交的子集，由子
集列所组成的矩阵为???? ?
?----εε
εε
p p p p ，???
?
??εε2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2ε N2=M2=2ε，所以
C=logr-H(p -ε,p-ε,2ε,0)-∑=2
1
log k Mk Nk
=log2+(p -ε)log(p -ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( p -ε)log(p -ε)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p -ε)log(p -ε)+(p-ε)log(p-ε) =C1+2εlog2
输入等概率分布（P （a1）=P （a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2
3.12 求图中信道的信道容量及其最佳的输入概率分布.并求当e =0和1/2时的信
道容量C 的大小。
解: 信道矩阵P=??
??
??????-e 1e 0e e 10001－,此信道为非奇异矩阵,又r=s,可利用方程组求解
3
1
(|)j i j j P b a b =?
=3
1
(|)log (|)j i j i j P b a P b a =? (i=1,2,3)
123230(1)(1)log(1)log (1)log (1)log(1)
b e b eb e e e e eb e b e e e e ì=???
-+=--+í??+-=+--??? 解得10b =
23(1)log(1)log b b e e e e ==--+
所以 C=log
2j j
b
?
=log[20+2×2(1-e )log(1-e )+log e e ]
=log[1+21-H(e )]=log[1+2(1)(1)e e --e
e ]
2311(1)1()2(1)3211()2212(1)12(1)()212(1)()2()C C H C C P b P b P b P b e e e e e b e e b b e e e e e e -------ì??====??+-+???-??==í?+-???==?????? 而 3
1
()()(|)j i j i i P b P a P b a ==? (j=1,2,3)
得11223323()()()()(1)()()()()(1)
P b P a P b P a P a P b P a P a e e e e ì=???=-+í??=+-??? X 0
Y 0
1 1 1
2
2
1－e
1－e
e e
所以
P(a 1)=P(b 1)=
(1)1
12(1)e e
e e -+-
2323(1)(1)()()()()12(1)P a P a P b P b e e
e e
e e e e --====
+- 当e =0时,此信道为一一对应信道,得
C=log3, 1231
()()()3P a P a P a ===
当e =1/2时,得 C=log2, 11()2P a =,231
()()4
P a P a ==
3.13试证明：准对称信道的信道容量也是在输入为等概率分布时达到,并求出信
道容量的一般表达式。
证明： Y1 Y2 …… Yn
设[ Q1 Q2 …… Qn ] 输出Y 分为子集Y1,Y2 ……Yn
有Y1
Y2……
Yn=Y
每个Yi 对Qi 对称
设Xi ∈(x1,x2……xr)有I(Xi;Y)=Y
∑
P(y|xi)logP(y|xi)/P(y)=
Y
∑
P(y|xi)logP(y|xi)
-
Y
∑
P(y|xi)logP(y)
因为P 是r*s,每个 Qi 都对称，所以P 中的行元素由{p1’,p2’……pn ’}组成 故Y
∑
P(y|xi)logP(y|xi)与xi 无关
有Y
∑
P(y|xi)logP(y|xi)=-H(p1’,p2’……pn ’) (I=1,2……r) 而
Y
∑
P(y|xi)logP(y)=
Y
∑
P(y|xi)log
X
∑
P(xk)P(y|xk)
设输出X 的符号集A 的符号数为r 设P(xi)=1/r 则后一项=
Y
∑
P(y|xi)log1/r
X
∑
P(y|xk)=
1
y Y ∈∑
P(y|xi)log1/r
X
∑
P(y|xk)+……
y Yn
∈∑
P(y|xi)log1/r
X
∑
P(y|xk)
因为Q1,Q2……Qn 对称，所以
X
∑
P(y|xk)=M1 y ∈Y1 …
X
∑
P(y|xk)=Mn
y ∈Yn 与xi 无关
Mi 是y 固定时，Qi 中列元素之和，它是与xi 无关的常数 又Q1,……Qn 行对称，则
1
y Y ∈∑
P(y|xk)=M1 y ∈Y1 ……
y Y n
∈∑
P(y|xk)=Mn y ∈Yn 与xi 无关
Ni 是xi 固定时，每个子Qi 中行元素之和
又N1+N2+……Nn=1
s
i =∑
pi ’=1
所以
Y
∑
P(y|xi)logP(y)在输入等概率时也与xi 无关
Y
∑
P(y|xi)logP(y)=N1logM1/r+N2logM2/r+……NnlogMn/r =
1
n
k =∑
NklogMk/r
所以I(Xi;Y)=-H(p1’,p2’……ps ’)-1n
k =∑
NklogMk/r =logr-H(p1’,p2’……ps ’)- 1
n k =∑
NklogMk
得证。
3.14由(Q 1, Q 2, …,Q m )m 个离散信道的和组成一个信道矩阵,该信道矩阵Q 为
Q =
12
00000m ??
? ? ? ? ??
?Q Q
Q
设Ci 是第i 个信道的信道容量。试证明：这个和信道的信道容量为
C = 2
log 2
Ci
i
∑（比特/符号）
证明：设Q 1,Q 2,…,Q m 分别为r 1×s 1,r 2×s 2,…,r m ×s m 型的信道矩阵
由信道容量的一般计算方法，对于其中每一个信道矩阵Q k 有方程
1
(|)
(|)log
,(1,2,,)()k
j i k j i k j j s P b a C P b a i r P b ===∑
令log ()j k j C P b β=+,则
1
log k
k j j s C β==∑ 即1
2k
k
j j s c
β==
∑
对整个信道矩阵Q 而言，有方程
12121
(|)
(|)log
,(1,2,,)()
m
j i j i m j j s s s P b a C P b a i r r r P b =+++=
=+++∑
则有
121
log
m
j j s s s C β=+++=∑
112121
11
1
2
1
log()m
j j
j j j j m s s s s s s s s s s βββ===-++++=+
+++
++
+∑∑∑
1
2
11
1
log()m
j j j j j j s s s βββ====++
+∑∑∑
12log(222)m c c c =++
+
所以这个信道的信道容量为
2log 2i i
c C =∑ （比特/符号）
3.15证明无损信道的充要条件是信道的传递矩阵中每一列有一个也只有一个非零元素。
证明：∵传递矩阵每一列有且仅有一个非零元素 ∴表明每个输出符号Y 仅与一个输入符号Z 对应 则 P(Z|Y)=1 ∴损失熵 H(Z|Y)=0 由定义知是无损信道。 反之，以上每步均可逆。
3.16 计算下述信道的信道容量（以p 为变量）。
??????
?
?
?=p p
p p p p p p
P 0
0000000 解：如下图所示, 其中
????
??=P P
P P
Q 1 ???
? ??=q q q q Q 2
它们都是二元对称离散信道
因为 C 1 = 1- H (P )
C 2 = 1- H (P )
所以这个和信道容量为：
()
[
]
q
q p p C C ci q q p p C ---+-=+==∑1122
2
1
2)1(2)1(2log log 2log 2
2
2
1
其中，Q 1的利用率 q q p p p
p C
C q q p p p p P -----+--=
=1111)1()1()1(2
1 其中，Q 2的利用率 q
q p p q
q C
C q
q p p q q P -----+--==1112)1()1()1(2
2 由此得：
[
][
]
q
q p p q
q q
q p p p
p q q p p q q P a P a P q q p p p p P a P a P -------+--=
==-+--=
==111243111121)1()1(2)1(21)()()1()1(2)1(21)()( 所以，本信道相当于两个二元信道并联成的和信道
3.17离散无记忆加性噪声信道如图3.4所示。其输入随机变量X 与噪声Y 统计
独立。X 的取值：{0，1}而Y 的取值为：{0，a}（a>=1），又P （y=0）= P （y=a ）=0.5。信道输出Z=X+Y （一般加法）。试求此信道的信道容量，以及达到信道容量的最佳输入分布，请注意，信道容量依赖a 的取值。
解：该信道输入为0和1，信道加性噪声为0和a 。（a ﹥﹦1）。所以当a 等于1，信道
输出为0，1，和2。当a 大于1时，输出为0，1，a.,1+a.所以，当a 大于1，信道为二元纯对称删除信道。信道容量为c=1－1/2＝1/2。当a 大于1，信道为有噪无损信道， 从而可求 得c=1.此时p(0)=1/2，p(1)=1/2，所以信道容量为1。
3.18 证明H(X)是输入概率分布P （x ）的∩型凸函数。
证明：因为H(X)=-
∑
X
X P X P )(log )(,所以，H(X)简写成H[P(X)].
首先证明输入概率分布{P(x)}(x X ?)的集合组成的一个区域D 是凹域。设区域D 中任意两个输入概率分布满足
0〈P1（X ）〈1，P1（X ）=1和0〈P2（X ）〈1， 设0〈θ〈1，θ+θ=1，并使
P （X ）=θP1（X ）+θP2（X ） (x ∈X) 所以0〈P （x ）〈1，而且
∑
P(x)=
∑
[θP1(x)+ θP2(x)]= θ
∑
P1(x)+ θ
∑
P2(x)
=θ+θ=1
所以{P(x)}仍是输入概率分布，仍在区域D 内。根据凸域的点偶定义，则概率分布{P （x ）} (x ∈X)的区域D 上的∩型凸函数。
H[P(x)]则是凸区域D 上的一函数。现设两个输入概率分布{P1(x)}和{P2(x)} (x ∈X),其对应的信息熵分别为H[P1x]]和 H[P2x]]。再在概率分布的集合区域D 中选择一个输入分布P （x ）=θ P1（x ）+θ P2(x)其对应的信息熵为H[P(x)]。根据熵的定义，可得
θ H[P1x]]+ -
θH[P1x]—H[Px]
=θ∑P1（x ）log )(1)(x P x P +-θ∑ P2(x) log )
(1)
(x P x P
因为当x>0时f=logx 是严格的∩型凸函数，所以上式第一项，根据詹森不等式得
∑
P1（x ）log
)(1)(x P x P 〈log ∑ P1（x ）log )
(1)(x P x P = log ∑ P1（x ）=0 同理，又因0〈θ〈1，θ+-
θ=1，有
θ H[P1x]]+ -
θ H[P2（x ）]—H[P(x)]<0
故 H[θP1（x ）+-
θ P2（x ）]> θ H[P1x]]+ -
θ H[P2（x ）]
根据凸函数的定义，得H(x)是输入概率分布P(x)的严格的∩型凸函数。
3.19 平均互信息的表达式证明，当信道和信源都是无记忆时 I (XN ; YN) = N I (X ; Y)
证明：设信道的输入随机序列X ＝Xn ＝（X1 X2…Xn ），通过信道传输，输出的随机
序列为Y =YN=(Y1Y2Y3….YN)。
又设X 和Y 的一个取值为
α k =（ak1 ak2…akn ）,ak i ∈{a1,a2,…,ar}(i=1,2,…,N) ? h =(bh1bh2…bhn) bhi ∈{b1,b1,…,bs}(i=1,2,…,N)
信源无记忆时满足
P(αk)＝P(ak1)P(ak2)…P(akN) k=1,2,…,Rn ∑P(αk)= ∑P(ak1) ∑P(ak2)…∑P(akN)=1 Xn Xn 而信道无记忆时满足
P(?h︱αk)＝ⅡP(bhi ︱aki)
及 ∑P(?h︱αk)＝1 k ＝1，2，…,Rn ,h=1,2,…,Sn
所以当信道和信源都是无记忆时，不但上面（1）和（2）式满足，同时满足 P(?k)＝∑P(αk?h)＝∑P(αk) P(?h︱αk)
＝∑P(ak1) P(ak2)… P(akN) P(bh1︱ak1) P(bh2︱ak2) …P(bhN ︱akN) ＝∑P(ak1) P(bh1︱ak1) ∑P(ak2) P(bh2︱ak2) …∑P(akN) P(bhN ︱akN) =∑P(ak1bh1) ∑P(ak2bh2) ∑P(ak3bh3) =P(bh1) P(bh2)… P(bh3)
同理 P(αk ?h)＝ⅡP(akibhi) k ＝1，2，…Rn ，h ＝1，2，…,Sn
根据平均互信息的表达式得
I(X ;Y )=I(XN;YN)= ∑P(αk ?h) log [P(?h︱αk)/ P(?h)]
所以信道和信源都是无记忆的，将（2），（3）和（4）式代入得
I(XN;YN)= ∑…∑∑…∑P(ak1bh1) P(ak2bh2) P(akN bhN) log[P(bh1︱ak1)
P(bh2︱ak2)… P(bhN ︱akN)/ P(bh1) P(bh2)… P(bhN)] =∑∑P(ak1bh1) log[P(bh1︱ak1)/ P(bh1)]＋
∑∑P(ak2bh2) log[P(bh2︱ak2)/ P(bh2)]＋…+ ∑∑P(akNbhN) log[P(bhN ︱akN)/ P(bhN)] =I(X1;Y1) +I(X2;Y2)+…+ I(X N;Y N)
因为Xi （i ＝1，2，…,N ）取自同一信源X,aki ∈{a1,a2,…,ar}(i=1,2,…,N),而且又通过同一个信道，输出Yi （i ＝1，2，…,N ）,Yi 也属于同一信源Y,bhi ∈{b1，b2，…bs}（i ＝1，2，…,N ）.又信道的传递概率与i 无关（时不变信道），即
P(bh1︱ak1)＝ P(bh2︱ak2)＝…= P(bhN ︱akN) =P(bh ︱ak)
P(ak1bh1) =P(ak2bh2)=…= P(akNbhN)= P(akbh) P(bh1)= P(bh2)=…= P(bhN)= P(bh) 其中 ak ，aki ∈{a1，a2，…,ar}
bh ，bhi ∈{b1，b2，…,bs} （i ＝1，2，…,N ） 得 I(X1;Y1)=I(X2;Y2)=…=I(XN;YN)=I(X;Y) 所以 I(XN;YN)=NI(X;Y)
3.20时变信道。观察时变离散无记忆信道，其输入随机矢量为X 1,X 2,…,X n ；输
出随机矢量为Y 1,Y 2,…, Y n 。某i 时刻的输出Y i 只与此时刻的输入X i 有关，与其他时刻的输入、输出无关。但信道的传递矩阵随时刻i 而变化，所以有
1(|)(|)n
i i i i P P y x y x ==∏。又设1212(,,,),(,,)n n X X X Y Y Y X Y ==，试求
()
max (;)I P x X Y 又若信道为二元对称信道，
其错误传递概率p i 随时间i 而变化（如下图所示）。试求此时变信道的()
max (;)I P x X Y
解：对于上述的离散无记忆信道的n 次扩展信道，根据定理有
1
(;)(;)n
i i i I I X Y X Y =≤∑
1
1
Pi Pi Yi 0
Xi 0 1-Pi
1-Pi
所以11()()(log
log )i i i i i i
Xi
H Y P x p p p p =-
+∑ ()()1
max (;)max (;)n i i i I I X Y P x P x X Y ==∑
()1max (;)n
i i i i I X Y P x ==∑
1n
i i C ==∑
上式表明该时变信道的最大交互信息量应当是对所有每传输一个符号时所得到的最 大交互信息量求和的结果，即对当前i 时刻的信道容量求和。 当信道为二元对称信道时，给定i 时刻的错误转移概率为p i ，此时
(;)()(|)i i i i i I X Y H Y H Y X =-
1
()()(|)log
(|)i i i i i i i i Xi Yi
H Y P x P y x P y x =-∑∑
11
()()(log log )i i i i i i Xi
H Y P x p p p p =-+∑
11
()(log log )i i i i i H Y p p p p =-+
根据二元对称信道的性质，当输入号集（0，1）等概分布时，H(Y i )达到最大值1
即有()
11
max (;)1(log
log )i i i i i i i
I X Y p p P x p p =-+，所以 ()max (;)I P x X Y ()1max (;)n
i i i i I X Y P x ==∑1
11
(1(log log ))n
i i i i i p p p p ==-+∑
3.21 设有两个离散信道，其分别输入为X 1和X 2，输出为Y 1和Y 2，对应这两个
信道的传递概率为P 1(y | x)和P 2(y | x)，如图所示。其X 1和X 2的概率分布分别为P 1(x)和P 2(x)。
（1）由这两个新到组成一个新的信道。新信道的输入符号X 由X 1和X 2组成，
输出符号Y 由Y 1和Y 2组成。新信道的输入符号X 是这样选择：首先以λ
(1≥λ≥0)概率选取X 1或以1－λ=λ的概率选取X 2；然后以P 1(X)或P 2(X)选取相应符号集中的符号。试求：H(X)(用H(X 1),H(X 2)和λ表示)。 （2）新信道的传递概率P(y |x)满足
111222
1221
(|)(|),(|)(|),(|)0
,,P y x P y x x X y Y P y x P y x x X y Y P y x x X y Y x X y Y =∈∈=∈∈=∈∈∈∈当当当或
试求H(X|Y)(用H(X 1|Y 1),H(X 2|Y 2)和λ表示) （3）试求I(X;Y)(用I(X 1;Y 1)、I(X 2;Y 2)和λ表示 )
解：
(1)H （X ） =∑-X
X P X P )(log )(
=∑-1
)(log )(1
1
X X P X P -∑2
)(log )(22
X X P X
P
=∑-
1
)(log )(1
1
X X P X P λλ∑---2
)()1log()()1(222
2
X X P X
P λλ
=∑∑+---+-1
2
2
1
1
2
)](log )1)[log(()1()](log )[log (x x x p X P X p x p λλλλ
=)(log )()1()()1log()1()(log )()(log 2
2
2
1
1
1
2
2
1
1
x p x p x p x p x p x p x x x x ∑∑∑∑-------λλλλλ
λ
=)()1()()1log()1(log 21x H x H λλλλλλ-++---- （2）H （XY ）=
∑XY
Y X p Y X P )
(1
log
)(
因为)()()(x p x y p xy p =
)(1
log
)()()(1
111111y x p x p x y P Y X H Y X ∑=
)(1
log
)()()(2222222y x p x p x y P Y X H Y X ∑= 所以 )(1
log )()(y x p xy P Y X H XY
∑=
=)(1
log )()(2y x p x p x y P XY
∑
=)(1
log )()1()( )(1log )()(22
21112222y x p x p x y P y x p x p x y P Y X Y X λλ-+∑∑ =)()1()(2211Y X H Y X H λλ-+
（3）)()();(Y X H X H Y X I -=
=)()1()(log )()1()()1log()1(log 221121Y X H Y X H X H X H λλλλλλλλλ----++---- =)]()()[1()]()([)1log()1(log 222111Y X H X H Y X H X H --+-+----λλλλλλ =);()1();()1log()1(log 2211Y X I Y X I λλλλλλ-++---- =)1log()1(log );()1();(2211λλλλλλ-----+Y X I Y X I
3.22 证明若（X ，Y ，Z ）是马氏链，则（X ，Y ，Z ）也是马氏链。
证明：因为（X ，Y ，Z ）是马氏链，有P （z|xy ）=P （z|y ）,对所有Z z Y y X x ∈∈∈,,
成立，而()
()()()()()()()()()()()
y z P y P y x P y P xy z P y z P y P xy P xy z P yz P xyz P yz x P ===
对所有Z z Y y X x ∈∈∈,,成立，
故得 ()()
y x P yz x P = 对所有Z z Y y X x ∈∈∈,,成立 所以（Z ，Y ，X ）也是马氏链。
3.23 二个串接信道如图3.5所示，其输入、输出分别为X 、Y 、Z ，并其满足XYZ 是马氏链。试证明若第二信道即H(Y|Z)＝0，则得串接信道I( X; Y)= I( X; Z )。
证明：已知信道Ⅱ是无损信道，其H （Y| Z ）＝0即满足
P(y|z)＝｛
1
0 y ∈Y,z ∈Z (1)
而且其信道矩阵中必满足每一列有一个也只有一个非零元素，即y ∈Y 可传送到多个z ∈Z ，但输出端只是某一个y ∈Y 传来的。所以按输入y 将输出端符号z 划分成若干个子集。若输入Y 有s 个符号，则输出端Z 划分成s 个子集Z1， Z2…Zs 。
因为
1)|(=∑Z
i
y z P i ＝1，2，…，s
所以得 1)|(=∑i
Z i
y z P i ＝1，2，…，s
又因为 P(z)=
)|()(∑Y
y z P y P
所以得 P(z) = P(y i ) P(z|y i )
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：
bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。 解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。 证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i Θ 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H 1.9 给 定 一 个 概 率 分 布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？ 证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 ΘΘ 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信 源的信源熵H（X） 等于2.5，对信源进 行等长的无失真二 进制编码，则编码 长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于）， 则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。 （9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 二、（9）判断题 （1）信息就是一种消息。（） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（） （3）概率大的事件自信息量大。（） （4）互信息量可正、可负亦可为零。（） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （） （6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ ） （9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ) 三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A 表示“大学生”这一事件，B 表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=??? ???---==∑∑∑∑∑∑log log log ; （2分） 同理 ()()() X Y H Y H Y X I -=; （1分） 则 1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 6、 信息的 可度量性 是建立信息论的基础。 7、 统计度量 是信息度量最常用的方法。 8、 熵 是香农信息论最基本最重要的概念。 9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率 之比 。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。 29、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为，其中：，m 是X 的数学 期望，则X 的信源熵。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 源熵为 。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。 33、具有一一对应关系的无噪信道的信道容量C= log 2n 。 34、强对称信道的信道容量C= log 2n-H ni 。 35、对称信道的信道容量C= log 2m-H mi 。 36、对于离散无记忆信道和信源的N 次扩展，其信道容量C N = NC 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P ∑=-≤n i k i m 11 m x e m x p -=1)(0≥x =)(X H C me 2log 52 log 2 《信息论与编码》-曹雪虹-课后习题答案 第二章 错误！未定义书签。2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转 移概率为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =， ()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出 各符号稳态概率。 W 2、W 3 12310259 25625W W W ?=???=? ? ?=?? 2.2(0|p (0|01)p =0.5，(0|10)p 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == 于是可以列出转移概率矩阵：0.80.20 0000.50.50.50.5000 00.20.8p ?? ? ?= ? ? ?? 状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4有 4 1 1 i i WP W W = = ? ? ? = ? ? ∑ 得 131 132 243 244 1234 0.80.5 0.20.5 0.50.2 0.50.8 1 W W W W W W W W W W W W W W W W += ? ?+= ?? += ? ?+= ? +++= ?? 计算得到 1 2 3 4 5 14 1 7 1 7 5 14 W W W W ? = ? ? ?= ? ? ?= ? ? ?= ? 2.31/6， 求： (1)“3和5 (2)“两个1 (3) 1的自信息量。 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56信息论与编码习题1及答案1
信息论与编码课后习题答案
信息论与编码-曹雪虹-课后习题参考答案
相关主题
文本预览