2-1、一阶马尔可夫链信源有3个符号 {}123,,u u u ，转移概率为：1 112 ()u p u =， 2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。 解：由题可得状态概率矩阵为： 1/21/2 0[(|)]1/302/31/32/30j i p s s ????=?? ???? 状态转换图为： 令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W = 121W +132W +133W ， 2W =121W +233W , 3W =23 2W 且： 1W +2W +3W =1 ∴稳态分布概率为： 1W = 25，2W =925，3W = 625 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。 0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ?? ?? ? ?=??????
111122133144113211222233244213 311322333344324411422433444424 0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+??=+++=+?? =+++=+??=+++=+? 且12341w w w w +++=； 解方程组得：12345141717514w w w w ?=???=???=???=? 即：5(00)141(01)71(10)75(11)14 p p p p ? =???=?? ?=???=? 2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16 ，求： （1）、“3和5同时出现”事件的自信息量； （2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵； （5）、两个点数中至少有一个是1的自信息量。 解：（1）3和5同时出现的概率为：1111 p(x )=26618 ??= 11 I(x )=-lb 4.1718 bit ∴= （2）两个1同时出现的概率为：2111 p(x )=6636 ?= 21 I(x )=-lb 5.1736 bit ∴= （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6)
《信息论与编码（第二版）》雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/201/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
第一章 信息、消息、信号的定义？三者的关系？ 通信系统的模型？各个主要功能模块及作用？ 第二章 信源的分类？ 自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度? 具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )( y x y x i i i i p I -= 平均自信息量、平均不确定度、信源熵：∑-=i i i x x p p X H )(log )()( 条件熵：)(log ),()(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 联合熵：),(log ),(),(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 互信息：) ()(log )()() ()(log ),();(y x y x y x y x y y x j i j i j ij i j i j j ij i p p p p p p p Y X I ∑∑= = 熵的基本性质：非负性、对称性、确定性 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(361 6161)(=-=-== ?=
4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ，j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。 解：由题意得， 失真矩阵为d ??????=0110d ，信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。 解：由题意，得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为
????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ，，14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?， 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为： 对应的状态图如右图所示。设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p = 211p +312p +313p 2p =211p +323p 3p =3 22p 1p +2p +3p =1 解得各符号稳态概率为： 1p = 2510，2p =259，3p =25 6 2-2.解：该马尔可夫信源的符号条件概率矩阵为： 状态转移概率矩阵为： 对应的状态图如右图所示。
设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为： 1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W 4W =0.52W +0.84W 1W +2W +3W +4W =1 解得稳定分布的概率为: 1W = 145，2W =142，3W =142，4W =14 5 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)= 18 1 故其自信息量为： I(3,5)=-㏒2 18 1 =4.17bit （2）“两个1同时出现”事件的概率为： p(1,1)= 36 1 故其自信息量为： I(1,1)=- ㏒2 36 1 =5.17bit （3）两个点数的各种组合构成的信源，其概率空间为： 则该信源熵为： H(x 1)=6× 36 1 lb36+15×181lb18=4.337bit/事件 （4）两个点数之和构成的信源，其概率空间为：
则该信源的熵为： H(x 2)=2× 361 lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+6 1lb6 =3.274bit/事件 （5）两个点数中至少有一个是1的概率为： p(1)= 36 11 故其自信息量为： I(1)= -㏒2 36 11 =1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为 I(x 1)= -㏒2 83 =1.415bit I(x 2)= -㏒241 =2bit I(x 3)= -㏒241 =2bit I(x 4)= -㏒28 1 =3bit （2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符 号序列的自信息量为： I(x)= -㏒2( 8 3)14 (41)25 (81)6 =87.81bit 平均每个符号携带的信息量为： L H (x)= 45 ) (x I =1.95bit/符号 2-10 解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则 (1)一次实验包含的不确定度为： H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=- 13lb 13-23lb 2 3 =0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x ) = - 27lb 27-57lb 57 = 0.86 bit (3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:
4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为??????--p p p p 11。令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。 题图 4.5 (a)求Q t 的表达式。 (b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。 解： (a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1) 由已知得，但各信道的转移概率矩阵为?? ?? ??--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=??????--p p p p 11????? ?--p p p p 11=()()()()??????-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()???? ??????-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()???? ??????-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为： P N =()()()()??????????-+----+N N N N p p p 122121122 1211221211-2p 2121 则 Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-?? ????--+??????-+
信息论与编码理论习题解 第二章-信息量和熵 2.1解: 平均每个符号长为:15 4 4.03 12.03 2= ?+?秒 每个符号的熵为9183.03log 3123log 3 2=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 2.2 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 2.3 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)36 6(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2 = 比特 2.4 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 2.5 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 2.6 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-=3.822 比特 2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论与编码 第四章 4.5判断以下几种信道是不是准对称信道 （1）?? ????3.02.05.05.03.02.0不是 （2）???? ??????7.03.06.04.03.07.0不是 （3）?? ????7.01.02.02.01.07.0是 （4）?? ????6/13/13/16/16/16/13/13/1 是 4.7计算以下离散无记忆信道DMC 的容量及最佳分布 （1）P=???? ??????---p p p p p p 101001 解： 此为对称信道，达到C 需要等概，则该信道的最佳分布为： X q （X ） = x1 x2 x313 13 13 所以该信道的容量为：C=log 3+（1-p ）log(1?p)+p log p =log3-H 2（p ） (2)P=??????----2/)1(2/)1(2/2 /2/2/2/)1(2/)1(p p p p p p p p
解: 易得该信道为一个准对称信道，假定最佳分布为： X q （X ） = x1 x2 13 13 s1= (1?p)/2p/2p/2(1?p)/2 s2= (1?p)/2p/2p/2(1?p)/2 C=log k - N s *log M s -H =log 2-(1/2*log 1/2+1/2*log 1/2)+(1-p)log(1?p)/2+p log p =log2+(1-p)log(1?p)/2+p log p =log2-H 2（p ） (5)P= 132323 13 解: C=log 2+13×log 13+23×log 23 =0.083 4.10给定离散信道的信道转移概率矩阵P=????? ???????----q q q q p p p p 100100001001,计算其信道容量C 解:
《信息论与编码（第二版）》曹雪虹答案 第二章 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132 231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=???= ?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概 率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == u 1 u 2 u 3 1/2 1/21/3 2/32/3 1/3
《信息论与编码》课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =， ()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =， ()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231 W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=??? =?? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。 画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
第二章 信息的度量 2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。 2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？ 答： 若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。 2.3 熵是对信源什么物理量的度量？ 答：平均信息量 2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？ 答：k k k xi q xi q X H i log 1log 1)(log )() (=- =-=∑ 2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。 答：)|;();();(Y Z X I Y X I YZ X I += 2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 答：互信息量) ()|(log ) ;(xi q yj xi Q y x I =，若互信息量取负值，即Q(xi|yj) 答： 由图示可知：4 3)|(4 1)|(32)|(31)|(41)|(43)|(222111110201= = == == s x p s x p s x p s x p s x p s x p 即： 4 3)|(0)|(4 1)|(31)|(32)|(0)|(0 )|(4 1)|(4 3)|(222120121110020100= == = ==== = s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得： 1 )()()() (43)(31)()(31)(41)()(41)(43)(210212101200=+++ = +=+=s p s p s p s p s p s p s p s p s p s p s p s p 信息论与编码(第二版)习题答案,陈运,主编 篇一：信息论与编码复习资料重点陈运第二版 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历 X P(X) x1（是大学生） 0.25 x2（不是大学生） 0.75 设随机变量Y代表女孩子身高 Y P(Y) y1（身高 160cm） 0.5 y2（身高 160cm） 0.5 已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)?0.75 bit 求：身高160厘米以上的某女孩是大学生的信息量即：I(x1/y1)??logp(x1/y1)??log p(x1)p(y1/x1) p(y1) ??log 0.25?0.75 0.5 ?1.415 bit 2.4 设离散无记忆信源? ??x1?0??? ?P(X)??3/8? X x2?1x3?21/4 1/4 x4?3? ?，其发出的信息1/8? 为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： ?3?p??? ?8? 14 ?1?????4? 25 ?1???? ?8? 6 此消息的信息量是：I??logp?87.811 bit (2) 此消息中平均每符号携带的信息量是：I/n?87.811/45?1.951 bit 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则中含有的平均自信息量是多少？解：男士：p(xY)?7% I(xY)??logp(xY)??log0.07?3.837 bitp(xN)?93% I(xN)??logp(xN)??log0.93?0.105 bit 2 H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol i 女士： 2 H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol i 2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：(1) p(xi)? 16?16?16?16?118 118 ?4.170 bit 第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l。 4-2 设信源 6 126 1 126 ()1 ()()() ()i i s s s X p s p s p s p s P X = ?? ?? == ?? ?? ???? ∑。对此次能源进行m元唯一 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式） 4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (,,, ,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为 11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 1 23456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=???????? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率； （2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。 4-7设信源为1234 5678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=???????? ，求其三元霍夫曼编 码。 4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当 N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像 《信息论与编码》 第四章 信息率失真函数 习题答案 4.1 解： 依题意可知：失真矩阵：??????=0110d ，转移概率??????--=εε εε11)|(i j a b p 平均失真： ε εεεε=?-?+??+??+?-?==∑∑==0)1(2/112/112/10)1(2/1) ,()|()(2121j i i j i j i b a d a b p a p D 4.2 解： 依题意可知：失真矩阵：?? ????=0210d ， 002/102/1),(min )(min =?+?==∑j i i j i y x d x p D ∑=?+?=?+?===i j i i j j y x d x p D D )102/122/1(2/112/102/1),()(min min max 舍去当0min =D ，bit X H R D R 12log )()0()(min ==== 因为没有失真，此时的转移概率为?? ????=1001P 当2/1max =D ，0)(max =D R 因为取的是第二列的max D 值，所以输出符号概率:,1)(,0)(21==b p b p ,,2221b a b a →→因此编码器的转移概率为?? ????=1010P 4.3 解： 0041041041041),(min )(43041141141141),()(min min min max =?+?+?+?===?+?+?+?===∑∑i j i j i i j i i j j y x d x p D y x d x p D D 当0min =D ，bit X H R D R 24log )()0()(min ==== 因为没有失真，此时的转移概率为????? ???????=1000010000100001P 当4/3max =D ，0 )(max =D R 2.1设有12枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平 左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 解：分三组，每组4个，任意取两组称。会有两种情况，平衡，或不平衡。 (1) 平衡： 明确假币在其余的4个里面。从这4个里面任意取3个，并从其余8个好的里面也取3个称。又有 两种情况：平 衡或不平衡。 a ）平衡：称一下那个剩下的就行了。 b ）不平衡：我们至少知道那组假币是轻还是重。 从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。 (2) 不平衡： 假定已经确定该组里有假币时候： 推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。 我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。 从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示 为“重（3）”和“重（1）”。在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。交叉组合为： 轻（3） + 重（1） ？=======？ 轻（1） + 准（3） 来称一下。又会有3种情况： (1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假 币是轻的。那么假币在轻（3）里面，根据推论1，再称一次就可以了。 (2)右面轻：这里有两种可能： “重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。这两种情况，任意 取这两个中的一个和一个真币称一下即可。 (3)平衡：假币在“重（3）”里面，而且是重的。根据推论也只要称一次即可。 2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时， 试问这三种情况分别获得多少信息量？ 解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。即： P （A ）=1/36，I （A ）= 2log P （A ）=2log 36≈5.17 比特 设“面朝上点数之和为8”为事件B ，则有五种可能：2、6；6、2；4、4；3、5；5、3；即： P （B ）= 5/36，I （B ）= 2log P （B ）= 2log 36/5≈2.85 比特 设“骰子面朝上之和是3和4”为事件C ，则有两种可能：3、4；4、3；即： P （C ）= 2/36，I （C ）= 2log P （C ）= 2log 36/2≈4.17 比特 2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是 星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序） 解：（1）P ＝1/7 I ＝－Log 2P ＝－Log 27 （2）已知今天星期四，问明天是星期几？ 即：明天是星期五是必然事件，不存在不确定性，I ＝0。 2.4地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假 如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A 为女大学生,B 为1.6米以上的女孩 则依题意有:1()4P A = , 1()2P B =, 3(|)4 P B A = 133()()(|)4416 P AB P A P B A ==?=信息论与编码(第二版)习题答案,陈运,主编
信息论与编码理论-第4章无失真信源编码-知识题解答-2007120
《信息论与编码》答案-第四章
信息论与编码第2章习题解答
相关主题
文本预览