一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则
P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）
故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）
I(A|B)=-log0.375=1.42bit （1分）
四、（5'）证明：平均互信息量同信息熵之间满足
I(X;Y)=H(X)+H(Y)-H(XY)
证明：
()()()
()
()()()()
()()
Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X
Y
i j i j i -=???
???---==∑∑∑∑∑∑log log log
; （2分）
同理
()()()
X Y H Y H Y X I -=; （1分） 则
()
()()Y X I Y H X Y H ;-= 因为
()()()
X Y H X H XY H += （1分） 故
()()()()Y X I Y H X H XY H ;-+=
即
()()()()XY H Y H X H Y X I -+=; （1分）
五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X 的数学模型。假设图上黑白消息出现前后没有关联，求熵()X H ； 2） 假设黑白消息出现前后有关联，其依
赖关
系为
，
，
，
，求其熵()X H ∞。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。 解：1）信源模型为
（
1分）
2）由题意可知该信源为一阶马尔科夫信源。 （2分） 由
（4分）
得极限状态概率
（2分）
（3分）
3）
119.02log )
(121=-
=X H γ （1分）
447.02log )
(122=-
=∞X H γ （1分）
12γγ>。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反
映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
六、（18’）.信源空间为
1
234567()0.20.190.180.170.150.10.01X x x x x x x x P X ????
=???????
?
，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
14
.3)(7
1
==∑=i i i l a p L 831.014.361
.2)(===
L
X H R
七（6’）.设有一离散信道，其信道传递矩阵为??????????2/16/13/13/12/16/16/13/12/1，并设????
???
??
=
=
=4
1)(21
)(41
)(3
21x p x p x p ，试分别按最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
1）（3分）最小似然译码准则下，有， 2）（3分）最大后验概率准则下，有，
八（10'）.二元对称信道如图。
1）若()4
30=
p ，()41
1=p ，求()X H 、()Y X H |和()Y X I ;；
2）求该信道的信道容量。
解：1）共6分
2）， （3分）此时输入概率分布为等概率分布。（1分）
九、（18'）设一线性分组码具有一致监督矩阵????
?
?????=110101100110111000H
1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G 。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
解：1）n=6,k=3,共有8个码字。（3分）
()符号
/749.0|bit Y X H =
2）设码字
()012345C C C C C C C =
由T T HC 0=得
???
??=⊕⊕⊕=⊕⊕=⊕⊕0
000135
034012C C C C C C C C C C （3分）
令监督位为
()012C C C ，则有
???
??⊕=⊕=⊕=3
404513
52C
C C C C C C C C （3分） 生成矩阵为?????
????
?101100110010011001 （2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分） 4）由T
T
HR S =得
()101=S ，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）
（1分）
一、填空题（本题10空,每空1分,共10分）
1、必然事件的自信息量是____0____，不可能事件的自信息量是___无穷______。
2、一信源有五种符号{a ，b ，c ，d ，e}，先验概率分别为P a =0.5，P b =0.25，P c =0.125，P d =P e =0.0625。符号“a”的自信息量为___1_____bit ，此信源的熵为__1.875______bit/符号。
3、如某线性分组码的最小汉明距d min =6，最多能纠正___2___个随机错。
4、根据密码算法所使用的加密密钥和解密密钥是否相同，可将密码体制分成___对称（单密钥）_____和___非对称（双密钥）____。
5、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是__I(X:Y)=H(X)-H(X/Y)______。
6、克劳夫特不等式是唯一可译码__存在_______的充要条件。{00，01，10，11}是否是唯
一可译码？___是______。
三、单项选择题(本题共10小题；每小题2分，共20分) 1、对连续集的熵的描述不正确的是（A ）
A 连续集的熵和离散集的熵形式一致，只是用概率密度代替概率，用积分代替求和
B 连续集的熵值无限大
C 连续集的熵由绝对熵和微分熵构成
D 连续集的熵可以是任意整数
2、设信道输入为x m，输出为y，若译码准则是当P(y | x m’)≥P(y | x m)，对所有m≠m’时，将y判为m’，则称该准则为（D）
A 最大后验概率译码准则
B 最小错误概率准则
C 最大相关译码准则
D 最大似然译码准则
3、线性分组码不具有的性质是（C）
A 任意多个码字的线性组合仍是码字
B 最小汉明距离等于最小非0重量
C 最小汉明距离为3
D 任一码字和其校验矩阵的乘积c m H T=0
4、关于伴随式的描述正确的是（A）
A 伴随式s与传送中信道出现的错误图样e有关
B 通过伴随式s可以完全确定传送中信道出现的错误图样e
C 伴随式s与发送的具体码字有关
D 伴随式s与发送的具体码字有关，与传送中信道出现的错误图样e也有关
5、率失真函数的下限为（B）
A H(U) B0 C I(U; V) D没有下限
6、纠错编码中，下列哪种措施不能减小差错概率（D）
A 增大信道容量
B 增大码长
C 减小码率
D 减小带宽
7、已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为
,则信源的最大平均失真度Dmax 为（D）
A 1/3
B 2/3
C 3/3
D 4/3
8、一珍珠养殖场收获240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1 颗。一人随手取出3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出的
信息量（A）。
A 0bit
B log6bit
C 6bit
D log240bit
9、已知随机噪声电压的概率密度函数p(x) =1/2，x 的取值范围为－1V 至+1V，若把噪声幅度从
零开始向正负幅度两边按量化单位为0.1V 做量化，并且每秒取10 个记录，求该信源的时间熵（B ）
A 21.61bit/s
B 43.22bit/s
C 86.44 bit /s
D 以上都不对
10、彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64 种彩色度，每种彩度又有16
种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之 间相互独立。每秒传送25 帧图像所需要的信道容量（C ） A 50.106 B 75.106 C 125.106 D 250.106
第7章 线性分组码
1. 已知一个(5, 3)线性码C 的生成矩阵为：
11001G 0
1
1010
1
11????=??????
（1）求系统生成矩阵；
（2）列出C 的信息位与系统码字的映射关系；
（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；
（5）列出译码表，求收到r =11101时的译码步骤与译码结果。 解：
（1）线性码C 的生成矩阵经如下行变换：
231321
10011
00110110101101001110
0111100111
001101101010100011100111????
??????????→???
?????????
??????????????→???
?????????
将第、加到第行
将第加到第行
得到线性码C 的系统生成矩阵为
????
??????=111000*********S G
（2）码字),,,(110-=n c c c c 的编码函数为
[][][]111000*********)(210m m m m f c ++==
生成了的8个码字如下
信息元 系统码字 000 00000 001 00111 010 01010 011 01101 100 10011 101
10100
110 11001 111
11110
(3) 最小汉明距离d =2，所以可检1个错，但不能纠错。 (4) 由],[],,[)()(k n T
k n k k n k k n I A H
A I G --?-?-==，得校验矩阵
??
????=1010101111H
(5) 消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列
c 0=00000, c 1=00111,c 2=01010, c 3=01101, c 4=10011, c 5=10100,c 6=11001, c 7=11110
则译码表如下：
00000
00111 01010 01101 10011 10100 11001 11110 10000 10111 11010 11101 00011 00100 01001 01110 01000 01111 00010 00101 11011 11100 10001 10110 00001
00110
01011
01100
10010
10101
11000
11111
当接收到r =(11101)时，查找码表发现它所在的列的子集头为(01101)，所以将它译为c =01101。
2．设（7, 3）线性码的生成矩阵如下
010101000101111001101G ??
??=??
????
（1）求系统生成矩阵； （2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。 解：
（1）生成矩阵G 经如下行变换
13
23
1010101
0011010010111001011110011010
10101010011011
0011010010111010101001010100010111????
????????→???
?????????
?????????????→???
?????????
交换第、行交换第、行
得到系统生成矩阵：
100110101010100010111S G ??
??=??
????
（2）由],[],,[)()(k n T
k n k k n k k n I A H A I G --?-?-==，得校验矩阵为
1101000101010001100101
01000
1H ?????
?=??????
（3）由于校验矩阵H 的任意两列线性无关，3列则线性相关，所以最小汉明距离d =3。
（4）（7, 3）线性码的消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列：c 0=0000000，c 1=0010111，c 2=0101010，c 3=0111101，c 4=1001101，c 5=1011010，c 6=1100111，c 7=1110000。又因伴随式有24=16种组合，差错图样为1的有771=?? ???种，差错图样为2的有7212=?? ?
??
种，而由T T
Hr He =，则计算陪集首的伴随式，构造伴随表如下：
伴随式 陪集首 伴随式 陪集首 0000 0000000 0101 1001000 1101 1000000 1001 1000100 1010 0100000 1111 0011000 0111 0010000 1100 0001100 1000 0001000 1110 0100100 0100 0000100 1011 0100001 0010 0000010 0011 0010100 0001
0000001
0110
0000110
3．已知一个(6, 3)线性码C 的生成矩阵为：
.0 1 1 1 0 01 1 0 0 1 01 0 1
0 0 1G ????
??????=
（1） 写出它所对应的监督矩阵H ； （2） 求消息M =(101)的码字；
（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。 解：
（1）线性码C 的生成矩阵G 就是其系统生成矩阵G S ，所以其监督矩阵H 直接得出：
101100011010110001H =??????????
（2）消息M =(m 0,m 1,m 2)=(101)，则码字c 为：
[][][]()100101001110101011c f m ==+=
（3）收到码字r =(101010)，则伴随式
()()101011110101010001100010001T
rH ????????
==?
?????
????
又（6, 3）线性码的消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列：c 0=000000，c 1=001110，c 2=010011，c 3=011101，c 4=100101，c 5=101011，c 6=110110，c 7=111000。伴随式有23=8种情况，则计算伴随式得到伴随表如下：
伴随式 陪集首 000 000000 101 100000 011 010000 110 001000 100 000100 010 000010 001 000001 111
100010
伴随式（001）对应陪集首为（000001），而c=r+e ，则由收到的码字r =(101010)，最有可能发送的码字c 为：c =（101011）。
4．设(6, 3)线性码的信息元序列为x 1x 2x 3，它满足如下监督方程组
???
??=++=++=++0
00
631
532421x x x x x x x x x （1）求校验矩阵，并校验10110是否为一个码字； （2）求生成矩阵，并由信息码元序列101生成一个码字。 解：
（1）由监督方程直接得监督矩阵即校验矩阵为：
110100011010101001H =??????????
因为收到的序列10110为5位，而由（6, 3）线性码生成的码字为6位，所以10110不是码字。 （2）由],[],,[)()(k n T
k n k k n k k n I A H
A I G --?-?-==，则生成矩阵为：
100101010110001011S G G =????=??????
信息码元序列M=（101），由c =mGs 得码字为c ：
()()()()012100101010110001011101110c m m m =++=
第8章 循环码
1. 已知(8, 5)线性分组码的生成矩阵为
???
????
?
?????
???=10000111
0100010000100010
0001000100001111
G
（1）证明该码是循环码；
（2）求该码的生成多项式)(x g 。 （1）证明如下：
(1)(2)(2)1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 01 0 0 0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 00 0 1 0 0 0 1 01 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1+????????????
???????→????????????????(3)
(3)(4)1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 00 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 0 0 0 1 00 0 0 1 1 1 1 01 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1++???→?????????????????→?????????????(1)(5)
(4)(5)
1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 00 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 00 0 0 1 1 1 1 00 0 0 1 0 0 0 10 0 0 0 1 1 1 1++?
????→????????????????→?????????????
?????????
由生成矩阵可知为（8、5）循环码。 （2）生成多项式如下：
32()1g x x x x =+++
2. 证明：1245810
++++++x x x x x x
为(15, 5)循环码的生成多项式，并写出信息多项式为
1)(4++=x x x m 时的码多项式（按系统码的形式）
。 由定理8-1可知（n ，k ）循环码的生成多项式g(x)为x n +1的因子， g(x)为n-k 次多项式，本题目中知：108542
()1g x x x x x x x =++++++为一个10次多项式，n-k=15-5=10 并且：15108542
(1)mod(1)0x x x x x x x +++++++==
所以：10
8
5
4
2
1x x x x x x ++++++是15
1x +的一个因子，也是循环码的生成多项式。 按系统码构造多项式如下：
4()1m x x x =++
410141110
108542876()(1)()(())mod(1)n k n k m x x x x x x x x b x m x x x x x x x x x x x x
--?=++?=++=?++++++=+++ 141110876()()()n k c x m x x b x x x x x x x x -=?+=++++++
3. 已知(7, 4)循环码的生成多项式为1)(3++=x x x g ，信息多项式为1)(3+=x x m ，分别由编码电路和代数计算求其相应的码多项式C (x )。 由题目可知代数计算求解过程如下：
363
32632()1()()(())mod(1)()()()(1001110)
n k n k n k m x x m x x x x b x m x x x x x x c x m x x b x x x x x c ---=+?=+=?++=+=?+=+++= 由编码电路进行求解： 编码电路如下所示：
D 0
门1
或门D 2
D 1+
+
m
c (x )
编码过程
如下：
时钟 信息元 寄存器码字 输出码字
D 0 D 1 D 2 0 0 0 0 1 1 1 1 0 1 2 0 0 1 1 0 3 0 1 1 1 0 4 1 0 1 1 1 5 0 0 1 1 6 0 0 0 1 7
0 0 0
可得：6
3
2
()c x x x x x =+++
4. 令(15, 11)循环码的生成多项式为1)(4
++=x x x g ，计算
（1）若信息多项式为1)(810++=x x x m ，试求编码后的系统码字； （2）求接收码组1)(414+++=x x x x R 的校正子多项式。 (1)解题过程如下：
108414124
42141242()1
()()()(())mod(1)1()()()1(1010000000010101)
n k n k n k m x x x m x x m x x x x x b x m x x x x x c x m x x b x x x x x c ---=++?=?=++=?++=+=?+=++++=
（2）校正多项式如下所示：
1443
4
()1()mod(())1()1
R x x x x S x g x x g x x x +++===+++ 5. 码长为n =15的本原BCH 码，求不同纠错能力下的BCH 码各自的生成多项式)(x g 。
21154m n m =-=?=
纠错能力：1
2
8m t -<=，所以最多能纠正7个错误码。
有限域GF （24），4次本原多项式4
()1f x x x =++，α为f(x)的一个根，可知：
410α+α+=，计算2t=14个连续幂次为135791113α α α α α α α对应的最小多项式：
4443212342432456434478924321011()1,()1,()1()1,()1,()1()1,()1,()1()1,()1
m x x x m x x x m x x x x x m x x x m x x x m x x x x x m x x x m x x x m x x x m x x x m x x x x x m 123456789101112α==++α==++α==++++α==++α==++α==++++α==++α==++α==++α==++α==++++α=43224312133()1,()1,()1
x x x x x m x x x m x x x 1314=++++α==++α==++
(1) t=1的码字： (15，11)BCH 码 411()(())1g x Lcm m x x x ==++ (2)t=2的码字：(15，7)BCH 码
8764213()(()())1g x Lcm m x m x x x x x ==++++
(3)t=3的码字：(15，5)BCH 码
1085423135()(()()())1g x Lcm m x m x m x x x x x x x ==++++++
(4) t=4的码字：(15，1)BCH 码
1413121110987654324()1g x x x x x x x x x x x x x x x =++++++++++++++
(5) t=5的码字：(15，1)BCH 码
1413121110987654325()1g x x x x x x x x x x x x x x x =++++++++++++++
(6) t=6的码字：(15，1)BCH 码
1413121110987654326()1g x x x x x x x x x x x x x x x =++++++++++++++
(7) t=7的码字：(15，1)BCH 码
1413121110987654327()1g x x x x x x x x x x x x x x x =++++++++++++++
6． 构造一个能纠正t =3个错误符号，码长为15，m =4的RS 码，并求其生成矩阵。 码长：n=q-1，216m q ==，m=4
min 217d t =+=
n-k=2t=6 k=n-2t=15-6=9 可知RS 码为：（5，9）码
设α为本原多项式4()1f x x x =++的根，即：4
1α=α+ t=3，生成多项式g(x)有6个连续的根，23456α,α,α,α,α,α
6
105
4
43
62
9
6
()()g x x x x x x x x x x x x x 2345614
=-α)(-α)(-α)(-α)(-α)(-α=+α+α+α+α+α+α
（15，9）的RS 码的生成矩阵如下：
1014469610144696101446961014469610144696
1 α α α α α α 0 0 0 0 0 0 0 00 1 α α α α α α 0 0 0 0 0 0 0 0 0 1 α α α α α α 0 0 0 0 0 00 0 0 1 α α α α α α 0 0 0 0 00 0 0 0 1 α α α α α α 0 0 0 0 0 0 0 0 0 1 α101446961014469610144696
10144696 α α α α α 0 0 0 0 0 0 0 0 0 1 α α α α α α 0 00 0 0 0 0 0 0 1 α α α α α α 00 0 0 0 0 0 0 0 1 α α α α α α??????????????????????????????
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
(一) 一、判断题共10 小题,满分20 分、 1、当随机变量与相互独立时,条件熵等于信源熵、( ) 2、由于构成同一空间得基底不就是唯一得,所以不同得基底或生成矩阵有可能生成同一码集、( ) 3、一般情况下,用变长编码得到得平均码长比定长编码 大得多、( ) 4、只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求得任意小得误差概率实现可靠得通 信、 ( ) 5、各码字得长度符合克拉夫特不等式,就是唯一可译码存在得充分与必要条件、() 6、连续信源与离散信源得熵都具有非负性、( ) 7、信源得消息通过信道传输后得误差或失真越大,信宿收到消息后对信源存在得不确 定性就越小,获得得信息量就越小、 8、汉明码就是一种线性分组码、( ) 9、率失真函数得最小值就是、( ) 10、必然事件与不可能事件得自信息量都就是、( ) 二、填空题共 6 小题,满分20 分、 1、码得检、纠错能力取决 于、 2、信源编码得目得就是 ;信道编码 得目得就是、 3、把信息组原封不动地搬到码字前位得码就叫 做、 4、香农信息论中得三大极限定理就 是、、、 5、设信道得输入与输出随机序列分别为与,则成立得 条件、 6、对于香农-费诺编码、原始香农-费诺编码与哈夫曼编码,编码方法惟一得就是、 7、某二元信源,其失真矩阵,则该信源得=、 三、本题共 4 小题,满分50 分、 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为、 （1）计算接收端得平均不确定度; （2）计算由于噪声产生得不确定度; （3）计算信道容量以及最佳入口分布、 2、一阶马尔可夫信源得状态转移图如右图所示, 信源得符号集为、 (1)求信源平稳后得概率分布; (2)求此信源得熵; (3)近似地认为此信源为无记忆时,符号得概率分布为平 稳分布、求近似信源得熵并与进行比较、 4、设二元线性分组码得生成矩阵为、 (1)给出该码得一致校验矩阵,写出所有得陪集首与与之相 对应得伴随式; (2)若接收矢量,试计算出其对应得伴随式并按照最小距离 译码准则 试着对其译码、 (二) 一、填空题(共15分,每空1分) 1、信源编码得主要目得就是 ,信道编码得主要目得就是。 2、信源得剩余度主要来自两个方面,一就是 ,二就是。 3、三进制信源得最小熵为 ,最大熵为。 4、无失真信源编码得平均码长最小理论极限制为。 5、当时,信源与信道达到匹配。 6、根据信道特性就是否随时间变化,信道可以分为与。 7、根据就是否允许失真,信源编码可分为与。 8、若连续信源输出信号得平均功率为,则输出信号幅度得概 率密度就是时,信源具有最大熵,其值为值。 9、在下面空格中选择填入数学符号“”或“” (1)当X与Y相互独立时,H(XY) H(X)+H(X/Y) H(Y)+H(X)。 (2) (3)假设信道输入用X表示,信道输出用Y表示。在无噪有损 信道中,H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 三、(16分)已知信源 (1)用霍夫曼编码法编成二进制变长码;(6 分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分)
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士