信息论与编码理论课后答案
【篇一：《信息论与编码》课后习题答案】
式、含义和效用三个方面的因素。
2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长
篇论文，从而创立了信息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用
信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用
各种各样的信息。
6、信息的是建立信息论的基础。
7、
8、是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般
用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，
定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能事件的自信息量是
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的
熵的。
limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。
20、一维连续随即变量x在[a，b] 。
1log22?ep
21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p
25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。
27
28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?1
1?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学
2期望，则x的信源熵c。
30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信
2源熵为。 31信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为
33、具有一一对应关系的无噪信道的信道容量。
34、强对称信道的信道容量。
35、对称信道的信道容量。
36、对于离散无记忆信道和信源的n次扩展，其信道容量cn= 。xh(x)?logmelog52
37、对于n个对立并联信道，其信道容量 cn = 。
38、多用户信道的信道容量用多维空间的一个区域的界限来表示。
39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。
40、广播信道是只有一个输入端和多个输出端的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。 ?ck?1nk
p1log2(1?x)2pn。 42、高斯加性信道的信道容量c=
43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。
?1/21/20??0?01??代表的信道的信道容量。 44、信道矩阵
?10??10????01??代表的信道的信道容量。 45、信道矩阵?
46、高斯加性噪声信道中，信道带宽3khz，信噪比为7，则该信道
的最大信息传输速率ct= 。
47、对于具有归并性能的无燥信道，达到信道容量的条件是）
=1/m）。
48、信道矩阵
49、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。
50、求解率失真函数的问题，即：在给定失真度的情况下，求信息
率的
51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息
后对信源存在的不确定性就量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需
的信息率也越小。
53、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的误差或失真。 ?10??01???代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率ct。 ?0i?j?1i?j 。 54、汉明失真函数 d（x，y）=?ij
55、平方误差失真函数d（xi，yj）2
56、平均失真度定义为失真函数的数学期望，即d（xi，yj）在x和y的联合概率空间p（xy）中的统计平均值。
57、如果信源和失真度一定，则平均失真度是信道统计特性的函数。
58、如果规定平均失真度d不能超过某一限定的值d，即：d?d。
我们把d?d称为保真度准则。
59、离散无记忆n次扩展信源通过离散无记忆n次扩展信道的平均
失真度是单符号信源通过单符号信道的平均失真度的 n 倍。
ji60、试验信道的集合用p来表示，则p=
61、信息率失真函数，简称为率失真函数，即：试验信道中的平均
互信息量的。
62、平均失真度的下限取0的条件是失真矩阵的
64、率失真函数对允许的平均失真度是单调递减和连续的。
65。
66、当失真度大于平均失真度的上限时d时，率失真函数r（d）=
0 。 ?p(y/x):d?d;i?1,2,?,n,j?1,2,?,m? 。
inf
67、连续信源x的率失真函数r（d）=
2p(y/x)?pdi(x;y) 。 68、当d??时，高斯信源在均方差失真度下的
信息率失真函数为
69、保真度准则下的信源编码定理的条件是 1?2log2r(d)? 2d。
1??x??0?0a???p(x)??1/21/2??a0??????，则该信源的dmax。70、某二元信源其失真矩阵d=?
1??x??0?0a??p(x)???1/21/2??a0??????，则该信源的dmin。71、某二元信源其失真矩阵d=?
1??x??0?0a??p(x)???1/21/2??a0??????，则该信源的r（d）= 。
72、某二元信源其失真矩阵d=?
73、按照不同的编码目的，编码可以分为三类：分别是信源编码、
信道编码和安全编码。
74、信源编码的目的是：提高通信的有效性。
75、一般情况下，信源编码可以分为
76、连续信源或模拟信号的信源编码的理论基础是。
77、在香农编码中，第i个码字的长度ki和p（xi）之间
有 ?log2p(xi)?ki?1?log2p(xi) 关系。
x2x3x4x5x6x7x8??x??x1??p(x）??1/41/41/81/81/161/161/161/1 6????进行二进制费诺编码，其编78、对信源?
码效率为 1 。
79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编
码时，为使平均码长最短，应增加0的消息。
80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香
农编码。
81、对于二元序列0011100000011111001111000001111111，其
相应的游程序列是。
1 。82、设无记忆二元序列中，“0”和“1”的概率分别是p0和p1，
则“0”游程长度l（0）的概率为
83、游程序列的熵原二元序列的熵。
85、在实际的游程编码过程中，对长码一般采取处理的方法。
86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码
字可以重复，但
87、在多符号的消息序列中，大量的重复出现的，只起占时作用的
符号称为冗余位。
88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个缩短了的多元序列。
89、l-d编码是一种的方法。
90、l-d编码适合于冗余位
91、信道编码的最终目的是
92、狭义的信道编码即：检、纠错编码。
93、bsc信道即：无记忆二进制对称信道。
94、n位重复码的编码效率是。
95、等重码可以检验全部的奇数位错和部分的偶数位错。
p[l(0)]?p0l(0)?1p
96、任意两个码字之间的最小汉明距离有称为码的最小距dmin，
则dmin=mind(c,c)c?c。
97、若纠错码的最小距离为dmin，则可以纠正任意小于等于t=
98、若检错码的最小距离为dmin，则可以检测出任意小于等于个
差错。
99、线性分组码是同时具有的纠错码。
100、循环码即是采用
三、判断（每题1分）（50道）
1、必然事件和不可能事件的自信息量都是0 。错 ?dmin?1??2???个差错。
i的单调递减函数。对 2、自信息量是
3、单符号离散信源的自信息和信源熵都具有非负性。对
4、单符号离散信源的自信息和信源熵都是一个确定值。错
5、单符号离散信源的联合自信息量和条件自信息量都是非负的和
单调递减的。对
6、自信息量、条件自信息量和联合自信息量之间有如下关系：
ijijijij
7、自信息量、条件自信息量和互信息量之间有如下关系：
p(x)i(xy)?i(x)?i(y/x)?i(y)?i(x/y) 对
ijiijjji对
8、当随即变量x和y相互独立时，条件熵等于信源熵。对
9、当随即变量x和y相互独立时，i（x；y）=h（x）。错
10、信源熵具有严格的下凸性。错
11、平均互信息量i（x；y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。对
12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。错
13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源
的极限熵。对
14、n维统计独立均匀分布连续信源的熵是n维区域体积的对数。
对
15、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。
错
16、连续信源和离散信源的熵都具有非负性。错
17、连续信源和离散信源都具有可加性。对
18、连续信源和离散信源的平均互信息都具有非负性。对
19、定长编码的效率一般小于不定长编码的效率。对
i(x;y)?i(x)?i(x/y)?i(y)?i(y/x)
20、若对一离散信源（熵为h（x））进行二进制无失真编码，设定
长码子长度为k，变长码子平均长度为般kk。错
21、信道容量c是i（x；y）关于p（xi）的条件极大值。对
22、离散无噪信道的信道容量等于log2n，其中n是信源x的消息
个数。错 k，一
23、对于准对称信道，当
24、多用户信道的信道容量不能用一个数来代表。对
25、多用户信道的信道容量不能用一个数来代表，但信道的信息率
可以用一个数来表示。错
26、高斯加性信道的信道容量只与信道的信噪有关。对
27、信道无失真传递信息的条件是信息率小于信道容量。对
28、最大信息传输速率，即：选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。错
29、对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。错
30、求解率失真函数的问题，即：在给定失真度的情况下，求信息
率的极小值。对
31、信源的消息通过信道传输后的误差或失真越大，信宿收到消息
后对信源存在的不确定性就越小，获得的信息量就越小。错
32、当p（xi）、p（yj/xi）和d（xi，yj）给定后，平均失真度是
一个随即变量。错 p(yj)?1m时，可达到信道容量c。错
33、率失真函数对允许的平均失真度具有上凸性。对
34、率失真函数没有最大值。错
35、率失真函数的最小值是0 。对
36、率失真函数的值与信源的输入概率无关。错
37、信源编码是提高通信有效性为目的的编码。对
38、信源编码通常是通过压缩信源的冗余度来实现的。对
39、离散信源或数字信号的信源编码的理论基础是限失真信源编码
定理。错
40、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。对
41、在编m（m2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。对
42、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大
于等于原二元序列的熵。错
43、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它
们的码字不能重复。错
44、l-d编码适合于冗余位较多和较少的情况，否则，不但不能压缩码率，反而使其扩张。对
45、狭义的信道编码既是指：信道的检、纠错编码。对
46、对于bsc信道，信道编码应当是一对一的编码，因此，消息m
的长度等于码字c的长度。错
47、等重码和奇（偶）校验码都可以检出全部的奇数位错。对
48、汉明码是一种线性分组码。对
49、循环码也是一种线性分组码。对
50、卷积码是一种特殊的线性分组码。错
的信源中，信源输出由来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先编码，
然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限awgn波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是
当归一化信道容量c/w趋近于零时，也即信道完全丧失了通信能力，此时eb/n0为 -1.6 c?wlog(1?snr)；
db，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵h(k)就越小，其密文中含有的
关于明文的信息量i(m；c)就越大。
5. 已知n＝7的循环码g(x)?
h(x)x4?x2?x?1，则信息位长度k为 3
6. 设输入符号表为x＝{0，1}，输出符号表为y＝{0，1}。输入信号
的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，
d(0，1) =2，d(1，0) = 1，则dmin＝ 0 ，r(dmin)＝相应的编码器
转移概率矩阵[p(y/x)]＝??10??10?；dmax＝ 0.5 ，r(dmax)＝
[p(y/x)]＝???。 1001????
7. 已知用户a的rsa公开密钥(e,n)=(3,55)，p?5,q?11,则?(n)?，他的秘密密钥(d,n)＝若用户b向用户a发送m=2的加密消息，则该加
密后的消息为 8 。
8. 可以用克劳夫特不等式作为唯一可译码存在的判据。（? ）
9. 线性码一定包含全零码。（? ）
10. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的
11. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
13. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量x，当
它是正态分布时具
有最大熵。（? ）
14. 循环码的码集中的任何一个码字的循环移位仍是码字。（? ）
17. 在已知收码r的条件下找出可能性最大的发码ci作为译码估计值，这种译码方法叫做最佳译码。（? ）
【篇二：信息论与编码陈运主编答案完整版】
txt>2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：
四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的
发出都是等概率的，则：
四进制脉冲的平均信息量h x( 1) = logn = log4 = 2 bit symbol/ 八
进制脉冲的平均信息量
h x( 2) = logn = log8 = 3 bit symbol/
二进制脉冲的平均信息量h x( 0) = logn = log2 =1 bit symbol/ 所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和
3 倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是
身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，
问获得多少信息量？
解：
设随机变量x 代表女孩子学历 x p(x)
x1（是大学生） x2（不是大学生）
0.25 0.75
设随机变量y 代表女孩子身高
y
y1（身高160cm）
0.5
y2（身高160cm）
0.5
p(y)
已知：在女大学生中有75%是身高160 厘米以上的即：
p y( 1 / x1) = 0.75 bit
求：身高160 厘米以上的某女孩是大学生的信息量
p x p y( ) ( / x) log 0.25
x( 1 / y1 ) = ?log p x( 1 / y1 ) = ?log = ?
p y( 1 ) 0.5
11 1
=1.415 bit即：i
2.3 一副充分洗乱了的牌（含52张牌），试问
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：
(1) 52 张牌共有52！种排列方式，假设每种排列方式出现是等概率
的则所给出的信息量是：p
x( i ) =
i x( i ) =?log p x( i ) = log52!= 225.581 bit
(2) 52 张牌共有4 种花色、13 种点数，抽取13 张点数不同的牌的
概率如下：
413
p x( i ) =
5213
413
i x( i ) = ?log p x( i ) = ?log
c5213 =13.208 bit
=0
2.4 设离散无记忆信源???p x(x )??? = ???x3/8
?
x2 =1 x3 = 2 x4 = 3?，其发出的信息为
1
1/4 1/4 1/8 ?
(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？解：
(1) 此消息总共有14 个0、13 个1、12 个2、6 个3，因此此消息发出的概率是：
? 4?
?8?
此消息的信息量是：i =?log p =87.811 bit
(2) 此消息中平均每符号携带的信息量是：i n/ = 87.811/ 45 =1.951 bit
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士： p x( y ) = 7%
i x( y ) = ?log p x( y ) = ?log0.07 = 3.837 bit
p x( n ) = 93%
i x( n ) = ?log p x( n ) = ?log0.93 = 0.105 bit h x(
0.93log0.93)0.366 bit symbol/
i
) p x( )log p x( ) (0.07log0.07
女士：
h x(
i
) p x( )log p x( )
?x ? ? x 2.6 设
信源=
1
x2 x3
x4 x5
x6 ?
，求这个信源的熵，并解释为什么
(0.005log0.0050.995log0.995)0.045 bit symbol/
?p x( )?? ??0.2 0.19 0.18
?
0.17 0.16 0.17??
h(x) log6不满足信源熵的极值性。
解：
h x
i
p x p x
=?(0.2log0.2 + 0.19log0.19 + 0.18log0.18+ 0.17log0.17 +
0.16log0.16 + 0.17log0.17)= 2.657 bit symbol/
h x( ) log 62 = 2.585
不满足极值性的原因是
i
。
2.7 证明：h(x3/x1x2) ≤ h(x3/x1)，并说明当x1, x2, x3是马氏链时等式成立。证明：
h x( 3 / x x1 2 ) ?h x( 3 / x1)
= ?∑∑∑ p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + ∑∑ p x x( i1
i3 )log p x( i3 / xi1)
i1 i2
i3
i1
i3
= ?∑∑∑ p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + ∑∑∑ p x x x( i1 i2i3 )log p x( i3 / xi1)
i1
i2 i3
i1
i2
i3
p x( i3 / xi1)
= ∑∑∑i1
i2 i3
p x x x( i1 i2
i3
)log p x( i3 / x xi1 i2 )
?1???log2 e
≤ ∑∑∑i1
i2 i3
p x x x( i1 i2
i3
)???p x( i3 / x xi1 i2 ) ? ?
= ??
∑∑∑ p x x(
?i1 ?
i2
i3
i1 i2
) (p xi3 / xi1) ?∑∑∑ p x x x( i1 i2i3 )??log2 e
i1 i2
i3
?
? ? ?
= ??∑∑ p x x( i1 i2 )?∑ p x( i3 / xi1)? ?1??log2 e
?i1 = 0
i2
?i3 ? ?
∴h x( 3 / x x1 2) ≤ h x( 3 / x1)
i3 i11 0时等式等等当? = p x( i3 / x xi1 2i )
? p x( i3 / xi1) = p x( i3 / x xi1 2i )
? p x x( i1 2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) ? p
x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3i ? p x( i2 / xi1) (p
xi3 / xi1) = p x x( i2 3i / xi1) ∴等式等等的等等是x1, x2, x3是马氏链_
i
)
2.8证明：h(x1x2 。。。xn) ≤ h(x1) + h(x2) + … + h(xn)。证明：
h x x( 1
/ x x1 i x(
2
...x n ) = h x( 1)+ h x(2 / x1)+ h x( 3 2 )+...+ h x( n / x x1 2...x n?1 ) 2
;x1 ) ≥ 0? h x(
2
2
) ≥ h x(
2
/ x1 ) i x( 3;x x1 3 / x x1
2
) ≥ 0 ? h x( 3 ) ≥ h x(
)
...
i x( n;x x1 2...xn?1) ≥ 0 ? h x( n ) ≥ h x( n / x x1 2...xn?1)
∴h x x( 1 2...xn) ≤ h x( 1)+h x( 2)+h x( 3)+ +... h x( n)
2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按p(0) = 0.4，p(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算h(x2), h(x3/x1x2)及h∞；
(3) 试计算h(x4)并写出x4信源中可能有的所有符号。
(1)
这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……” (2)
3
/ x x1
2
) = h x(
3
) = ?∑ p x( i )log p x( i ) = ?(0.4log0.4+
0.6log0.6) = 0.971 bit symbol/ i
h∞ = lim h x(
n
/ x x1
2
...x n?1 ) = h x(
n
) = 0.971 bit symbol/
n?∞
(3)
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101
1110 1111
2.10 一阶马尔可夫信源的状态图如下图所示。信源x的符号集为{0, 1, 2}。求平稳后信源的概率分布； (2) 求信源的熵h∞。
解：
(1)
?p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 ) ?
?p e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 ) ?
?p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 ) ?p e( 1 ) = p p e?( 1 ) + p p e? ( 2 ) ??
(1)
【篇三：信息论与编码理论第二章习题答案(王育民)】>2.1信息速率是指平均每秒传输的信息量
点和划出现的信息量分别为log3,log3，
2
一秒钟点和划出现的次数平均为
0.2?
1?0.4?3344
?
15
4
一秒钟点和划分别出现的次数平均为10.5
那么根据两者出现的次数，可以计算一秒钟其信息量平均为
10log3?5log3?15log3?5
4
2
4
4
2
2.3 解：
(a)骰子a和b，掷出7点有以下6种可能：
a=1,b=6; a=2,b=5; a=3,b=4; a=4,b=3; a=5,b=2; a=6,b=1 概率为6/36=1/6，所以信息量
-log(1/6)=1+log3≈2.58 bit
(b) 骰子a和b，掷出12点只有1种可能： a=6,b=6
概率为1/36，所以信息量
-log(1/36)=2+log9≈5.17 bit
2.5解：
出现各点数的概率和信息量：
1点：1/21，log21≈4.39 bit； 2点：2/21，log21-1≈3.39 bit； 3点：1/7，log7≈2.81bit； 4点：4/21，log21-2≈2.39bit；5点：
5/21，log（21/5）≈2.07bit； 6点：2/7，log(7/2)≈1.81bit 平均信
息量：
2.7解：
x=1:考生被录取； x=0:考生未被录取； y=1:考生来自本市；y=0:
考生来自外地； z=1: 考生学过英语；z=0：考生未学过英语
p(x=1)=1/4, p(x=0)=3/4; p(y=1/ x=1)=1/2；p(y=1/ x=0)=1/10；
p(z=1/ y=1)=1, p(z=1 / x=0, y=0)=0.4, p(z=1/ x=1,
y=0)=0.4,p(z=1/y=0)=0.4 (a) p(x=0,y=1)=p(y=1/x=0)p(x=0)=0.075, p(x=1,y=1)= p(y=1/x=1)p(x=1)=0.125
p(y=1)= p(x=0,y=1)+ p(x=1,y=1)=0.2
p(x=0/y=1)=p(x=0,y=1)/p(y=1)=0.375,
p(x=1/y=1)=p(x=1,y=1)/p(y=1)=0.625
i(x ;y=1)=?p(x/y?1)i(x;y?1)??p(x/y?1)log
x
x
p(x/y?1)
p(x)
=p(x?0/y?1)log
p(x?0/y?1)p(x?1/y?1)
?p(x?1/y?1)log
p(x?0)p(x?1)
=0.375log(0.375/0.75)+0.625log(0.625/0.25)=(5/8)log5-1≈0.45bit
(b) 由于p(z=1/ y=1)=1,所以 p（y=1，z=1/x=1）= p（y=1/x=1）
=0.5 p（y=1，z=1/x=0）= p（y=1/x=0）=0.1
那么p（z=1/x=1）= p（z=1,y=1/x=1）+ p（z=1,y=0/x=1）=0.5+
p（z=1/y=0，x=1）p（y=0/x=1）=0.5+0.5*0.4=0.7
p(z=1/x=0)= p（z=1,y=1/x=0）+ p（z=1,y=0/x=0）
=0.1+p(z=1/y=0，x=0)p(y=0/x=0)=0.1+0.9*0.4=0.46
p（z=1,x=1）= p（z=1/x=1）*p(x=1)=0.7*0.25=0.175 p（z=1,x=0）= p（z=1/x=0）*p(x=0)= 0.46*0.75=0.345 p(z=1) = p(z=1,x=1)+
p(z=1,x=0) = 0.52 p(x=0/z=1)=0.345/0.52=69/104
p(x=1/z=1)=35/104
p(x/z?1)
i(x ;z=1)=?p(x/z?1)i(x;z?1)??p(x/z?1)log
p(x)xx
=p(x?0/z?1)logp(x?0/z?1)?p(x?1/z?1)logp(x?1/z?1)
p(x?0)p(x?1)=(69/104)log(23/26)+( 35/104)log(35/26) ≈0.027bit
(c)h（x）=0.25*log(1/0.25)+0.75*log(1/0.75)=2-
(3/4)log3=0.811bit h(y/x)=-p(x=1,y=1)logp(y=1/x=1) -
p(x=1,y=0)logp(y=0/x=1)
-p(x=0,y=1)logp(y=1/x=0) -p(x=0,y=0)logp(y=0/x=0)
=-0.125*log0.5-0.125*log0.5-0.075*log0.1-0.675*log0.9
=1/4+(3/40)log10-(27/40)log(9/10)≈0.603bit
h(xy)=h(x)+h(y/x)=9/4+(3/4)log10-(21/10)log3=1.414bit
p(x=0,y=0,z=0)= p(z=0 / x=0, y=0)* p( x=0, y=0)=(1-0.4)*(0.75-0.075)=0.405 p(x=0,y=0,z=1)= p(z=1 / x=0, y=0)* p( x=0,
y=0)=0.4*0.675=0.27
p(x=1,y=0,z=1)= p(z=1/ x=1,y=0)* p(x=1,y=0)=0.4*(0.25-
0.125)=0.05 p(x=1,y=0,z=0)= p(z=0/ x=1,y=0)*
p(x=1,y=0)=0.6*0.125=0.075 p(x=1,y=1,z=1)=p(x=1,z=1)-
p(x=1,y=0,z=1)=0.175-0.05=0.125 p(x=1,y=1,z=0)=0
p(x=0,y=1,z=0)=0
p(x=0,y=1,z=1)= p(x=0,z=1)- p(x=0,y=0,z=1)= 0.345-0.27=0.075 h(xyz)=-0.405*log0.405-0.27*log0.27-0.05*log0.05-
0.075*log0.075-0.125*log0.125-
0.075*log0.075=(113/100)+(31/20)log10-(129/50)log3
=0.528+0.51+0.216+0.28+0.375+0.28=2.189 bit
h(z/xy)=h(xyz)-h(xy)= -28/25+(4/5)log10-12/25log3 =0.775bit 2.9 解：
a，b，c分别表示三个筛子掷的点数。 x=a, y=a+b, z=a+b+c
由于p(a+b+c/ a+b)=p(c/a+b)=p(c)
所以h(z/y)=h(a+b+c/ a+b)=h（c）=log6 =2.58bit
一共36种情况，每种情况的概率为1/36，即p(a=a,y=y)=1/36 h(x/y)=h(a/y)=(1/36)[(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2-6*log(1/6)]=1.89bit
由于p(a+b+c/ a+b,a)=p(c/a+b,a)=p(c) h(z/xy)=h(c) =log6
=2.58bit
由于p(a=x,a+b+c=z/a+b=y)=p(a=x,c=z-y/
a+b=y)=p(a=x/a+b=y)p(c=z-y/a+b=y)= p(a= x / a+b=y)p(c=z-y)=p(a/y)p(c)
一共216种情况，每种情况的概率为1/216，即p(xyz)=1/216
h(xz/y)=
(1/216)[(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-
30*log(1/30))*2-36*log(1/36)]=
(1/36)*[(log6+2log12+3log18+4log24+5log30)*2+6log36]=4.48 bit
由于p(z/x)=p(b+c/a)=p(b+c)
xyz
h(z/x)???p(xz)logp(z/x)
???p(a)p(a?b?c/a)logp(a?b?c/a)
abc
???p(a)?p(b?c)logp(b?c)?h(b?c)
a
bc
= (1/36)*{[log36+2log(36/2)+ 3log(36/3)+ 4log(36/4)+
5log(36/5)]*2+6log(36/6)}bit
2.11解：p(0/0)=p(1/1)=1- p, p(1/0)=p(0/1)= p (a) p(ul)=1/8
=1/4
=1/8
i(ul; 0000)=log[ p(ul，0000)/p(0000)p(ul)]=
?3log{2?2p}?log{
2.12解：
(1?p)
4224
(1?p)?6p(1?p)?p
i(x;z)= h(z)-h(z/x)i(xy ;z)=h(z)-h(z/xy)
i(y;z/x)=i(xy;z)-i(x;z)
i(x;z/y)= i(xz;y)-i(y;z)= h(xz)-h(xz/y) -i(y;z)＝h(x)+h(z/x) -h(xz/y) -i(y;z)
以上可以根据2.9的结果求出
2.27解：考虑到约束条件
?
?
q(x)?1,
?
?
xq(x)?m
?
?
采用拉格朗日乘子法
hc(q(x))???q(x)logq(x)dx??1[?xq(x)dx?m]??2[?q(x)dx?1]
?
?(?1m??2)??
当且仅当q(x)?a将q(x)?a
??1x??2
?
?e??1x??2a??1x??2
q(x)logdx?(?1m??2)?loge??q(x)[?1]dx
0q(x)q(x)
??1x??2
时，等式成立。
?
带入
?
q(x)dx?1,
?
?
xq(x)dx?m：?1?
1
,a??2?m mlna
xxx
lna(?)?1?mln11amlna
?e?em，相应的熵值log（me）实现最大微分熵的分布q(x)?a mmm
2.29证明： (a)
?q(x)???q(x)?(1??)q(x)???(1??)?1
1
2
所以q(x)为概率分布。 (b) 即证明熵的凸性。
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
《信息论与编码》-曹雪虹-课后习题答案 第二章 2.1一个马尔可夫信源有3个符号{}1, 23,u u u ，转移概率 为：()1 1 |1/2p u u =，()2 1|1/2p u u =，()31|0p u u =，()12|1/3p u u =， ()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =， 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭ 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =⎧⎨++=⎩得1231132 231231 112331223231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩ 计算可得1231025925625W W W ⎧=⎪⎪⎪= ⎨⎪ ⎪=⎪⎩
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00) p=0.8，(0|11) p=0.2，(1|00) p=0.2，(1|11) p=0.8，(0|01) p=0.5，(0|10) p=0.5，(1|01) p=0.5，(1|10) p=0.5。画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8 p p ==(0|01)(10|01)0.5 p p == (0|11)(10|11)0.2 p p ==(0|10)(00|10)0.5 p p == (1|00)(01|00)0.2 p p ==(1|01)(11|01)0.5 p p == (1|11)(11|11)0.8 p p ==(1|10)(01|10)0.5 p p == 于是可以列出转移概率矩阵： 0.80.200 000.50.5 0.50.500 000.20.8 p ⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎝⎭ 状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 bit x H 32.436log 36 62log 3615)(=??+?? =∴ X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 bit x H 71.3636 log 366536log 3610 436 log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴==
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 524log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
《信息论与编码》-曹雪虹-课后习题答案 第二章 2. 1 一个马尔可夫信源有3个符号｛“⑷,呵，转移概 率 为：〃（曲）= 1/2 , p （lll\u\） = \//l ， /?（M3l W1） = O , /2（Mll W2）= l/3 , 2.2由符号集｛0, 1｝组成的二阶马尔可夫链，其转移 槪 £率为：p （oioo ）=0・ 8 9 p （oiii ）=0・ 2, /?（i I oo ）=0. 2, p （i 111）=0. 8, P （OIOI ）=0. 59 〃（oiio ）=0・ 5, p （iioi ）= 0. 5, p （iiio ）=0. 5。iffll 出 状态图，并计算各状态的稳态概 率。 解: p （0100） = /?（00100） = 0.8 P （U2\U2）= O y p （m\U2）= 2/3 y 〃（"llU3）= l/3 , ”（“2丨心） = 2/3, /? （M3lM3）=O y 画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 设状态5, %比稳定后的概率分别为W” W2、Ws -Wi + -W2+-Wi = Wi 2 3 3 1 2 _Wl+_W3 = W2 2 3 -W2 = VV3 3 Wi + Wi + W3 = \ WP = w 彳曰 Wl + W2 + W3=l '寸v 计算可得 W\ = VV2 = vv? = 10 一259256 一 25 /XOIOl) = p(lOIOl)=O.5
于是可以列出转移概率矩阵：厂08 0.2 0 0 、0 0 0.5 0.5 0.5 0.5 0 0 0 0.2 0.8 . 状态图为:
信息论与编码理论课后答案 【篇一：《信息论与编码》课后习题答案】 式、含义和效用三个方面的因素。 2、 1948年，美国数学家香农发表了题为“通信的数学理论”的长 篇论文，从而创立了信息论。 3、按照信息的性质，可以把信息分成语法信息、语义信息和语用 信息。 4、按照信息的地位，可以把信息分成客观信息和主观信息。 5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用 各种各样的信息。 6、信息的是建立信息论的基础。 7、 8、是香农信息论最基本最重要的概念。 9、事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般 用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量， 定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是。 14、不可能事件的自信息量是 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的 熵的。 limh(xn/x1x2?xn?1)h?n???18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有m个不同的状态。 20、一维连续随即变量x在[a，b] 。 1log22?ep 21、平均功率为p的高斯分布的连续信源，其信源熵，hc（x）=2。
22、对于限峰值功率的n维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值p和信源的熵功率p 25、若一离散无记忆信源的信源熵h（x）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为。 27 28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 ?mn?ki?1 1?mp(x)?em29、若一维随即变量x的取值区间是[0，∞]，其概率密度函数为，其中：x?0，m是x的数学 2期望，则x的信源熵c。 30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信 2源熵为。 31信道。 32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 33、具有一一对应关系的无噪信道的信道容量。 34、强对称信道的信道容量。 35、对称信道的信道容量。 36、对于离散无记忆信道和信源的n次扩展，其信道容量cn= 。xh(x)?logmelog52 37、对于n个对立并联信道，其信道容量 cn = 。 38、多用户信道的信道容量用多维空间的一个区域的界限来表示。 39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。 40、广播信道是只有一个输入端和多个输出端的信道。 41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。 ?ck?1nk p1log2(1?x)2pn。 42、高斯加性信道的信道容量c= 43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。 ?1/21/20??0?01??代表的信道的信道容量。 44、信道矩阵 ?10??10????01??代表的信道的信道容量。 45、信道矩阵?
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13.208 bit
即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I )0(p =4)1(81⨯-p +481⨯p =2 1 )0;(1u I =) 0()|0(log 1p u p =2 11log p -=1+)1log(p - bit )00(p =]2)1(4)1(2[8122p p p p +-+-=4 1 )00;(1u I =)00()|00(log 1p u p =4/1)1(log 2 p -=)]1log(1[2p -+ bit )000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=8 1 )000;(1u I =3[1+)1log(p -] bit )0000(p =])1(6)1[(8 1 4224p p p p +-+- )0000;(1u I =4 2244 )1(6)1()1(8log p p p p p +-+-- bit 2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。 解：根据题2.9分析 )(Z H =2(216log 2161+3216log 2163+6216log 2166+10 216log 21610+ 15216log 21615+21216log 21621+25216log 21625+27 216 log 21627) =3.5993 bit );(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit
1、 在熟悉论层次上研究信息的时候，必需同时考虑到 形式、含义和效用 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创建了信息论。 3、 依照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 4、 依照信息的地位，可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 高效、靠得住、安全 地互换和利用各类各样的信息。 6、 信息的 可气宇性 是成立信息论的基础。 7、 统计气宇 是信息气宇最常常利用的方式。 8、 熵 是香农信息论最大体最重要的概念。 9、 事物的不肯定度是历时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，概念为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个彼此独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处置定理：当消息通过量级处置后，随着处置器数量的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维持续随即变量X 在[a ，b]区间内均匀散布时，其信源熵为 log 2（b-a ） 。 21、平均功率为P 的高斯散布的持续信源，其信源熵，H c （X ）=。 22、对于限峰值功率的N 维持续信源，当概率密度 均匀散布 时持续信源熵具有最大值。 23、对于限平均功率的一维持续信源，当概率密度 高斯散布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的持续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率 之 比 。 25、若一离散无记忆信源的信源熵H （X ）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 =∞H )/(lim 121-∞→N N N X X X X H eP π2log 212P
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○○ 2/3(x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =) ()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =) (0)(2131x p x p + )()(21x p x p +=1 得43 1)(= x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(==B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=⨯=AA p 16 34341 )(=⨯=AB p 16341 43)(=⨯=BA p 16 94343)(=⨯=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为
资料范本 本资料为word版本，可以直接编辑和打印，感谢您的下载 信息论与编码理论习题答案 地点：__________________ 时间：__________________ 说明：本资料适用于约定双方经过谈判，协商而共同承认，共同遵守的责任与义务，仅供参考，文档可直接下载或修改，不需要的部分可直接删除，使用时请详细阅读内容
第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2=23=6 bit 因此，信息速率为 61000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} == 得到的信息量 ===2.585 bit (2) 可能的唯一，为 {6，6} = 得到的信息量===5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) = 信息量===225.58 bit (b) == 信息量==13.208 bit 2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。 解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，
==6=2.585 bit == =2(36+18+12+9+)+6 =3.2744 bit =-=-[-] 而=，所以= 2-=1.8955 bit 或=-=+- 而= ，所以=2-=1.8955 bit ===2.585 bit =+=1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： =- 因为输入等概，由信道条件可知， 即输出等概，则=10 = =- =0- = -- =25+845 ==1 bit =-=10 -1=5=2.3219 bit 2.11 令{}为一等概消息集，各消息相应被编成下述二元码字
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ⨯+⨯秒 每个符号的熵为9183.03log 3 1 23log 32=⨯+⨯比特/符号 所以信息速率为444.34 15 9183.0=⨯比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=⨯比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =⨯ 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有⎪⎪⎭⎫ ⎝⎛37种排法，Y 表示梧桐树可以栽 种的位置，它有⎪⎪⎭⎫ ⎝⎛58种排法，所以共有⎪⎪⎭⎫ ⎝⎛58*⎪⎪⎭⎫ ⎝⎛37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
第二章 信息量和熵 2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信 息速率. 解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s 2。3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。问各得到 多少信息量. 解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝ )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2。585 bit (2） 可能的唯一，为 {6,6｝ )(b p =361 得到的信息量=) (1 log b p =36log =5。17 bit 2.4 经过充分洗牌后的一副扑克(52张）,问： （a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? 解:（a ） )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ⨯=1352 13 4C 信息量=1313 524log log -C =13。208 bit
2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点 数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则 1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3。2744 bit )|(Y X H =)(X H —);(Y X I =)(X H —[)(Y H —)|(X Y H ］ 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H —)(Y H =1.8955 bit 或)|(Y X H =)(XY H —)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H —)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2。585=4.4805 bit 2.10 设一个系统传送10个数字,0，1，…,9。奇数在传送过程中以0.5的概率错 成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知,
2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。 解: 平均每个符号长为: 1544.0312.032=⨯+⨯秒 每个符号的熵为9183.03log 3 1 23log 32=⨯+⨯比特/符号 所以，信息速率为444.34 15 9183.0=⨯比特/秒 2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特； 所以，信息速率为 600010006=⨯比特/秒 2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。试问各得到了多少信息量? 解: (a)一对骰子总点数为7的概率是 36 6 所以，得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以，得到的信息量为 17.5361 log 2= 比特 2.4 经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量? 解: (a)任一特定排列的概率为 ! 521, 所以，给出的信息量为 58.225!521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1313 1313 5252 13!44A C ⨯= 所以，得到的信息量为 21.134 log 1313 52 2=C 比特. 2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。
第1章 绪论 1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农 1.3 通信系统模型 1.4 信号是消息的表现形式，是物理的，比如电信号、光信号等。消息是信息的载荷者，是 信号的具体内容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。 1.5 略 第2章 信息的统计度量 2.1 少 2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特 2.5 依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发 生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以 11 81 p = 所需要的信息量 ()()1log 6.34I A p bit =-= 二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则
212p = 总的概率 12111812162p p p == ⨯= 所需要的信息量 ()log log1627.34I p bit =-== 2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则 ()()()0.25 0.5 |0.75p A p B p B A === 故 ()()() ()()() |0.750.25 |0.3750.5 p AB p A p B A p A B p B p B ⨯= = = = ()()()11 |log log 1.42|0.375 I A B bit p A B === 2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故 四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。 2.8 ()()()()()()2322log 3log 32log 3 1.585 I p bit I p bit I I =-=-== 故以3为底的信息单位是比特的1.585倍。 2.9 （1）J 、Z （2）E （3）X 2.10 （1）两粒骰子向上面的小圆点数之和为3时有(1, 2)和(2, 1)两种可能性，总的组合数 为11 6 636C C ⨯=，则圆点数之和为3出现的概率为 321 3618p = = 故包含的信息量为