第二章课后习题
【2.1】设有12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？
解：从信息论的角度看，
“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1 ；
12
“假币的重量比真的轻，或重”该事件发生的概率为P 1 ；
2
为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有
I log12 log 2 log 24 比特
而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天
3
平每一次消除的不确定性为I log 3 比特
因此，必须称的次数为
I
1 log 24
2.9 次
I 2 log 3
因此，至少需称3 次。
【延伸】如何测量？分3 堆，每堆4 枚，经过3 次测量能否测出哪一枚为假币。
【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3 和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P 1 1 1 ，该事件的信息量为：
6 6 36
I log 36 5.17 比特
“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概
率为 P 1 1 5 5
，因此该事件的信息量为：
6 6 36
I log 36
2.85 比特
5
“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P 1 1 2 1
，
因此该事件的信息量为：
6 6 18
I log18 4.17 比特
【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解：
如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为
P 1
，因此此时从答案中获得的信息量为
7
I log 7 2.807 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得
的信息量为 0 比特。
【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解：
设 A 表示女孩是大学生， P ( A ) 0.25 ；
B 表示女孩身高 1.6 米以上， P ( B | A ) 0.75 ， P ( B ) 0.5
“身高 1.6 米以上的某女孩是大学生”的发生概率为
P( A | B) P( AB)
P( A) P(B | A)
0.25 0.75
0.375 P( B) P( B) 0.5
已知该事件所能获得的信息量为
I log
1
0.375
1.415 比特
X a
1 0a
2
1a
3
2a
4
3
【2.5 】设离散无记忆信源 ，其发出的消息为
P( x) 3 / 8 1/ 4 1 / 4 1/ 8 （202120130213001203210110321010021032011223210），求
（1）此消息的自信息是多少？
（2）在此消息中平均每个符号携带的信息量是多少？
解：
信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
I (a
0 0) log
8
1.415 比特
3
I (a
1
1) log 4 2 比特
I (a
2
2) log 4 2 比特
I (a
3
3) log 8 3 比特
在发出的消息中，共有14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，则得到消息的自信息为：
I 14 1.415 13 2 12 2 6 3 87.81 比特
45 个符号共携带87.81 比特的信息量，平均每个符号携带的信息量为
I 87.81
1.95 比特/符号45
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得
H ( X ) P( x) log P( x) 1.91比特/符
号
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B ，分别以等概率落入任一方格内，
且它们的坐标分别为（X A ,Y A ）和（X B ,Y B ），但 A 和 B 不能落入同一方格内。
（1） 若仅有质点 A ，求 A 落入任一个格的平均自信息量是多少？
（2） 若已知 A 已落入，求 B 落入的平均自信息量。
（3） 若 A 、B 是可分辨的，求 A 、B 同都落入的平均自信息量。 解：
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一
格的概率空间为：
X a 1 a 2 a 3 … a 48
1 1 1 1 P 48 48 48
(48)
平均自信息量为
H ( A ) log 48 5.58 比特/符号
（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A ) 。
1
A 已落入，
B 落入的格可能有 47 个，条件概率 P (b j | a i ) 均为 47
。平均自信息量为
48 47
H ( B | A ) P (a i )P (b j | a i ) log P (b j | a i ) log 47 5.55 比特/符号
i 1 j 1
（3）质点 A 和 B 同时落入的平均自信息量为
H ( AB ) H ( A ) H (B | A ) 11.13 比特/符号
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果 你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解：
男同志红绿色盲的概率空间为：
X a1 a2
P 0.07 0.93 问男同志回答“是”所获昨的信息量为：
I log 1
0.07
3.836 比特/符号问男同志回答“否”所获得的信息量为：
I log 1
0.93
0.105 比特/符号
男同志平均每个回答中含有的信息量为
H ( X ) P( x) log P( x) 0.366 比特/符号同样，女同志红绿色盲的概率空间为
Y b1 b2
P 0.005 0.995
问女同志回答“是”所获昨的信息量为：
I log 1
0.005
7.64 比特/符号问女同志回答“否”所获昨的信息量为：
I log 1
0.995
7.23 10 3 比特/符号
女同志平均每个回答中含有的信息量为
H (Y ) P( x) log P( x) 0.045 比特/符号
X a
1 a
2
a
3
a
4
a
5
a
6
【2.8】设信源 ，求此信源的熵，并解释为什 P( x) 0.2 0.19 0.18 0.17 0.16 0.17
么H ( X ) log 6 ，不满足信源熵的极值性。
解：
H ( X ) P( x) log P( x) 2.65 log 6
原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。
【 2.9 】设 离散 无记 忆 信 源 S 其 符号集 A {a 1 , a 2 ,..., a q } ，知其 相 应 的 概率 分别 为
(P 1 , P 2 ,..., P q ) 。设 另 一 离 散 无记 忆 信 源 S ，其 符 号集 为 S 信 源符 号集 的两 倍 ，
A {a i , i 1,2,...,2q } ，并且各符号的概率分布满足
P i (1 s ) P i P i s P i i 1,2,..., q i q 1, q 2, (2)
试写出信源 S 的信息熵与信源 S 的信息熵的关系。
解：
H (S ) P ( x ) log P ( x )
(1 s ) P i log(1 s )P i sP i log s P i
(1 s ) P i log(1 s ) (1 s ) P i log P i s P i log s s P i log P i (1 s ) log(1 s ) s log s H (S )
H (S ) H (s ,1 s )
【2.10】设有一概率空间，其概率分布为{ p 1 , p 2 ,..., p q } ，并有 p 1 p 2 。若取 p 1
p 1 s ，
p 2 p 2 s ，其中
0 2s p 1 p 2 ，而其他概率值不变。试证明由此所得新的概率空间的
熵是增加的，并用熵的物理意义加以解释。 解：
设新的信源为 X ，新信源的熵为：
H ( X ) p i log p i ( p 1 s ) log( p 1 s ) ( p 2 s ) log( p 2 s ) … p q log p q
原信源的熵
H ( X ) p i log p i
p 1 log p 1 p 2 log p 2 … p q log p q
因此有，
H ( X ) H ( X ) ( p 1 s ) log( p 1 s ) ( p 2 s ) log( p 2 s ) p 1 log p 1 p 2 log p 2
p 1 p 2
令 f ( x ) ( p 1 x ) log( p 1 x ) ( p 2 x ) log( p 2 x ) ， x 0, ，则
2
f ( x ) log
p 2 x 0
p 1 x
L 即函数 f ( x ) 为减函数，因此有 f (0) f (s ) ，即
( p 1 s ) log( p 1 s ) ( p 2 s ) log( p 2 s ) p 1 log p 1 p 2 log p 2
因此 H ( X ) H ( X ) 成立。
【解释】
当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
L
【2.11】试证明：若 p i i 1
m
1， q j j 1
p L ，则
H ( p , p ,…, p , q , q ,…, q ) H ( p , p ,…, p
, p ) p H ( q 1 , q 2 ,…, q m ) 1 2 L 1 1 2 m 1 2 L 1 L
p L p L p L
并说明等式的物理意义。
解：
H ( p 1 , p 2 ,…, p L 1 , q 1 , q 2 ,…, q m )
p 1 log p 1 p 2 log p 2 … p L 1 log p L 1 q 1 log q 1 q 2 log q 2 … q m log q m p 1 log p 1 p 2 log p 2 … p L 1 log p L 1 p L log p L p L log p L q 1 log q 1 q 2 log q 2 … q m log q m
p 1 log p 1 p 2 log p 2 … p L 1 log p L 1 p L log p L (q 1 q 2 q 3 … q m ) log p L q 1 log q 1 q 2 log q 2 … q m log q m
p 1 log p 1 p 2 log p 2 … p L 1 log p L 1 p L log p L
q 1 log q 1 p L q 2 log q 2 p L
… q m log q m
p L
p 1 log p 1 p 2 log p 2 … p L 1 log p L 1 p L log p L
p L ( q 1 log q 1 q 2 log q 2 q q … m log m ) p L p L p L p L p L p L
H ( p 1 , p 2
,…, p
L 1
, p L
) p L H m (
q 1 , q 2
,…, q m ) p L p L p L
【意义】
将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的 概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。 【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5×105 个
像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送 30
帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色
彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。 解：
每个像素的电平取自 10 个不同的电平，每一个像素形成的概率空间为：
X a 1 a 2 … a 10 1 1
1 P 10 10
(10)
这样，平均每个像素携带的信息量为：
H ( X ) log10 3.32 比特/像素
现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：
H ( X N ) NH ( X ) 5 105 log10 1.66 106 比特/帧
按每秒传输 30 帧计算，每秒需要传输的比特数，即信息传输率为：
30 H ( X N ) 4.98 107 比特/秒
除满足黑白电视系统的要求外，还需 30 个不同的色彩度，不妨设每个色彩度等概率出 现，则其概率空间为：
Y b 1 b 2 … b 30
1 1 1 P 30
30 (30)
其熵为 log 30 比特/符号，由于电平与色彩是互相独立的，因此有
H ( XY ) H ( X ) H (Y ) log 300
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
H ( XY ) log 300
2.5 H ( X ) log10
【2.13】每帧电视图像可以认为是由 3×105 个像素组成，所以像素均是独立变化，且每一
像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描 述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当 地描述此图像，广播员在口述中至少需用多少汉字？ 解：
每个像素的电平亮度形成了一个概率空间，如下：
X a 1 a 2 … a 128
1 1 1 P 128 128
(128)
平均每个像素携带的信息量为：
H ( X ) log128 7 比特/像素
每帧图像由 3×105 个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：
H ( X N ) NH ( X ) 2.1 106 比特/帧
如果用汉字来描述此图像，平均每个汉字携带的信息量为 H (Y ) log10000 13.29 比特
/汉字，选择 1000 字来描述，携带的信息量为
H (Y N ) NH (Y ) 1.329 104 比特
如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个
数为：
H ( X N
) 2.1106
1.58 105 字 H (Y ) 13.29
【2.14】为了传输一个由字母 A 、B 、C 和 D 组成的符号集，把每个字母编码成两个二元
码脉冲序列，以 00 代表 A ，01 代表 B ，10 代表 C ，11 代表 D 。每个二元码脉冲宽度为 5ms 。
（1） 不同字母等概率出现时，计算传输的平均信息速率？
（2） 若每个字母出现的概率分别为 p A 平均速率？ 解： 1 ， p 5 B 1 ， p 4 C 1 ， p
4 D
3
，试计算传输的 10
假设不同字母等概率出现时，平均每个符号携带的信息量为
H ( X ) log 4 2 比特
每个二元码宽度为 5ms ，每个字母需要 2 个二元码，则其传输时间为 10ms ，每秒传送
n 100 个，因此信息传输速率为：
R nH ( X ) 100 2 200 比特/秒
当不同字母概率不同时，平均传输每个字母携带的信息量为
H ( X ) 1 log 5 1 log 4 1 log 4 3 log 10
1.985 比特/符号
5 4 此时传输的平均信息速度为
4 10 3
R nH ( X ) 1.985 102 比特/秒
【2.15】证明离散平稳信源有 H ( X 3 | X 1 X 2 ) H ( X 2 | X 1 ) ，试说明等式成立的条件。
解：
H ( X 3 | X 1 X 2 )
P ( x 1 x 2 x 3 ) log P ( x 3 | x 1 x 2 )
P ( x 1 x 2 ) P ( x 3 | x 1 x 2 ) log P ( x 3 | x 1 x 2 )
X 1 X 2
X 3
P ( x 1 x 2 ) P ( x 3 | x 1 x 2 ) log P ( x 3 | x 2 ) X 1 X 2
X 3
H ( X 3 | X 2 )
根据信源的平稳性，有 H ( X 3 | X 2 ) H ( X 2 | X 1 ) ，因此有 H ( X 3 | X 1 X 2 ) H ( X 2 | X 1 ) 。
等式成立的条件是 P ( x 3 | x 1 x 2 ) P ( x 3 | x 2 ) 。
【2.16】证明离散信源有 H ( X 1 X 2 … X N ) H ( X 1 ) H ( X 2 ) … H ( X N ) ，并说明等式成立
的条件。
证明：
3 H ( X 1 X 2 … X N ) H ( X 1 ) H ( X 2 | X 1 ) … H ( X N | X 1 X 2 … X N 1 )
而
H ( X N | X 1 X 2 … X N 1 )
… P ( x 1 x 2 … x N ) log P ( x N | x 1 x 2 … x N 1 )
X 1 X 2
X N
… P ( x 1 x 2 … x N 1 ) P ( x N | x 1 x 2 … x N 1 ) log P ( x N | x 1 x 2 … x N 1 )
X 1 X 2
X N 1
X N
… P ( x 1 x 2 … x N 1 ) P ( x N | x 1 x 2 … x N 1 ) log P ( x N )
X 1 X 2
X N 1
X N
H ( X N )
即
H ( X 2 | X 1 ) H ( X 2 )
代入上述不等式，有
H ( X 3 | X 1 X 2 ) H ( X 3 )
……
H ( X 1 X 2 … X N ) H ( X 1 ) H ( X 2 ) … H ( X N )
等号成立的条件是：
P ( x N | x 1 x 2 … x N 1 ) P ( x N )
P ( x N 1 | x 1 x 2 … x N 2 ) P ( x N 1 )
……
P ( x 2 | x 1 ) P ( x 2 )
即离散平稳信源输出的 N 长的随机序列之间彼此统计无依赖时，等式成立。
【2.17】设有一个信源，它产生 0、1 序列的消息。它在任意时间而且不论以前发生过什么 符号，均按 P (0) 0.4 ， P (1) 0.6 的概率发出符号。 （1） 试问这个信源是否是平稳的？
（2） 试计算 H ( X 2 ) 、 H ( X | X 1 X 2 ) 及
lim H N N
( X ) 。
（3） 试计算 H ( X 4 ) 并写出 X 4 信源中可能有的所有符号。
解：
该信源任一时刻发出 0 和 1 的概率与时间无关，因此是平稳的，即该信源是离散平稳
信源。其信息熵为
H ( X ) P ( x ) log P ( x ) 0.971 比特/符号
信源是平稳无记忆信源，输出的序列之间无依赖，所以
H ( X 2 ) 2H ( X ) 1.942 比特/符号
H ( X 3 | X 1 X 2 ) H ( X ) 0.971 比特/符号
lim H
( X ) lim 1 H ( X X … X
) H ( X ) 0.971比特/符号 N N N N
1 2 N H ( X 4 ) 4H ( X ) 3.884 比特/符号
X 4 信源中可能的符号是所有 4 位二进制数的排序，即从 0000~1111 共 16 种符号。
【2.18】设有一信源，它在开始时以 P (a ) 0.6 ， P (b ) 0.3 ， P (c ) 0.1的概率发出 X 1 。如
1 1 果 X 1 为 a 时，则 X
2 为 a 、b 、c 的概率为
3 ；如果为 b 时，则 X 2 为 a 、b 、c 的概率为 3 ；
如果 X 为 c 时，则 X 为 a 、b 的概率为 1
，为 c 的概率为 0。而且后面发出 X 的概率只与 1 2
2 i
X i 1 有关，又当 i 3 时， P ( X i | X i 1 ) P ( X 2 | X 1 ) 。试用马尔克夫信源的图示法画出状态 转移图，并计算此信源的熵 H 。
解：
信源为一阶马尔克夫信源，其状态转换图如下所示。
a : 1
a : 1
: 1 3
根据上述状态转换图，设状态极限概率分别为 P (a ) 、P (b ) 和 P (c ) ，根据切普曼—柯尔
莫哥洛夫方程有
1 Q (a ) 1
Q (b ) 1 Q (a ) Q (b ) 3 1 Q (a ) 3 1 Q (b ) 2 1
3 3 2
1 Q (a ) 1
Q (b ) 3
Q (c )
3 Q (c ) Q (c ) Q (a ) Q (b ) Q (c ) 1
解得：
Q (a ) Q (b ) 3 ， Q (c ) 1
8 4
得此一阶马尔克夫的信息熵为：
H Q ( E i )H ( X | E i ) 1.439 比特/符号
p 【2.19】一阶马尔克夫信源的状态图如右图所示，
信源 X 的符号集为{0,1,2} 并定义 p 1 p 。
（1） 求 信 源 平 稳 后 的 概率 分 布 P (0) 、 P (1) 和
P (2) ；
（2） 求此信源的熵 H ；
p p
（3） 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵 H ( X )
并与 H 进行比较；
（4） 对一阶马尔克夫信源 p 取何值时， H 取最大值，又当 p 0 和 p 1 时结果如何？ 解：
根据切普曼—柯尔莫哥洛夫方程，可得
p p P (0) pP (0) 2 P (1) 2 P (2)
P (1) p P (0) pP (1) p
P (2)
2 2 p p
P (2) 2 P (0) 2 P (1) pP (2)
P (0) P (1) P (2) 1
解得：P(0) P(1) P(2) 1
3
该一阶马尔克夫信源的信息熵为：
H
Q( E i ) H( X| E i ) p log p p log p p 比特/
符号
当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为：
X 0 1 2
1 1 1
P 3 3 3
此时信源的信息熵为H ( X ) log 3 1.585 比特/符号
由上述计算结果可知：H ( X ) H ( ) 。
求一阶马尔克夫信源熵H
的最大值，H
p log p p log p p ，有
dH
dp
log
2(1 p)
p
可得，当p 2 时，H 达到最大值，此时最大值为log 3 1.585 比特/符号。
3
当p 0 时，H
0 比特/符号；p 1 时，H
1比特/符号
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源X {黑,白} ，设黑色出现的概率为P(黑) 0.3 ，白色出现的概率为P(白) 0.7 。
（1）假设图上黑白消息出现前后没有关联，求熵H ( X ) ；
（2）假设消息前后有关联，其依赖关系为P(白|白) 0.9 ，P(黑|白) 0.1 ，P(白| 黑) 0.2 ，
P(黑| 黑) 0.8 ，求此一阶马尔克夫信源的熵H
2
。
（3）分别求上述两种信源的冗余度，并比较H ( X ) 和H
2
的大小，并说明其物理意义。解：
如果出现黑白消息前后没有关联，信息熵为：
H ( X ) p i log
p
i
0.881 比特/符号
当消息前后有关联时，首先画出其状态转移图，如下所示。
设黑白两个状态的极限概率为Q (黑) 和Q (白) ，根据切普曼—柯尔莫哥洛夫方程可得：
解得：
Q (黑) 0.8Q (黑) 0.1Q (白)
Q (白) 0.2Q (黑) 0.9Q (白) Q (黑) Q (白) 1
Q (黑) 1 ， Q (白) 2
3 3
此信源的信息熵为：
H Q ( E i ) H ( X | E i ) 0.553 比特/符号
两信源的冗余度分别为：
y 1 H ( X )
0.119 1
log 2
y 1 1 H
log 2
0.447
结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言，
当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后 面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信 源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大 小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖 关系就越大。
1 1
第三章课后习题
【3.1】 设信源
X x 1 x 2 P ( x ) 0.6 0.4
通过一干扰信道，接收符号为Y [ y 1 , y 2 ] ，信道传递概率如下图所示，求
（1）信源 X 中事件 x 1 和 x 2 分别含有的自信息；
（2）收到消息 y j ( j 1,2) 后，获得的关于 x i (i 1,2) 的信 息量；
（3）信源 X 和信源Y 的信息熵；
（4）信道疑义度 H ( X | Y ) 和噪声熵 H (Y | X ) ； （5）接收到消息Y 后获得的平均互信息。 解：
x
x 1
2
（1）信源 X 中事件 x 1 和 x 2 分别含有的自信息分别为：
I ( x 1 ) log
1 P ( x 1 )
log 0.6 0.737 比特
I ( x 2
) log
1 P ( x
2 )
log 0.4 1.32 比特
（2）根据给定的信道以及输入概率分布，可得
P ( y 1 ) P ( x i ) P ( y 1 | x i ) 0.8
X
P ( y 2 ) P ( x i ) P ( y 2 | x i ) 0.2
X
所求的互信息量分别为：
I ( x ; y ) log P ( y 1 | x 1 ) log 5 / 6 log 25
0.059 比特
P ( y 1 ) 0.8 24
1
I ( x 2 ; y ) log
P ( y 1 | x 2 ) log 3 / 4 log 15
0.093 比特
P ( y 1 ) 0.8 16
I ( x 1 ; y 2 ) log
P ( y 2 | x 1 ) log 1/ 6 log 5
0.263 比特
P ( y 2 ) 0.2 6
I ( x 2
; y 2 ) log
P ( y 2 | x 2 ) log 1 / 4 log 5
0.322 比特
P ( y 2 ) 0.2 4
（3）信源 X 以及Y 的熵为：
H ( X ) P ( x ) log P ( x ) 0.6 log 0.6 0.4 log 0.4 0.971比特/符号
X
H (Y ) P ( y ) log P ( y ) 0.8 l og 0.8 0.2 l og 0.2 0.722 比特/符号
Y
（4）信道疑义度 H ( X | Y ) P ( x ) P ( y | x ) log P ( x | y )
X
Y
而相关条件概率 P ( x | y ) 计算如下：
P ( x 1 |
y 1 )
P ( x 1 , y 1 )
P ( y 1 ) P ( y 1 | x 1 )P ( x 1 ) P ( y 1 ) 0.5 5
0.8 8
P ( x
| y ) 3
2
P ( x 1 | 1
y 2 )
8
P ( x 1 , y 2 ) P ( y 2 )
P ( y 2 | x 1 ) P ( x 1 )
P ( y 2 )
0.6 / 6 1 0.2 2
P ( x 2
| y 2
) 1
2
由此计算出信道疑义度为：
H ( X | Y ) 0.6
5 log 5 1 log 1 0.4 3 log 3 1 log 1
0.9635 比特/符号 6 8 6 2 4 8 4 2
噪声熵为：
H (Y | X ) P ( x ) P ( y | x ) log P ( y | x )
0.6
5 log 5 1 log 1 0.4 3 log 3 1 log
1 6 6 6 6 4 4 4 4
0.7145比特/ 符号
（5）接收到信息Y 后获得的平均互信息为：
I ( X ;Y ) H ( X ) H ( X | Y ) 0.0075 比特/符号
2
8 4 【3.2】 设 8 个等概率分布的消息通过传递概率为 p 的 BSC 进行传送，8 个消息
相应编成下述码字：
M 1=0000，M 2=0101，M 3=0110，M 4=0011
M 5=1001，M 6=1010，M 7=1100，M 8=1111
试问：
（1）接收到第一个数字 0 与 M 1 之间的互信息；
（2）接收到第二个数字也是 0 时，得到多少关于 M 1 的附加互信息；
（3）接收到第三个数字仍为 0 时，又增加了多少关于 M 1 的互信息；
（4）接收到第四个数字还是 0 时，再增加了多少关于 M 1 的互信息。 解：
各个符号的先验概率均为 1
8
（1）根据已知条件，有
P ( y 1 0 | M 1 ) P ( y 1 0 | 0000) P ( y 1 0 | x 1 0) p
P ( y 1
0)
P (M i M i
) P (0 | M i
) 1 2
因此接收到第一个数字 0 与 M 1 之间的互信息为：
I (M
1 ; y 1 0) log
P ( y 1 0 | M 1 ) log
P ( y 1 0)
p 1/ 2 1 l og p 比特
（2）根据已知条件，有
P ( y 1 y 2 00 | M 1 ) P ( y 1 y 2 00 | 0000) p
P ( y y
00)
P (M
)P (00 | M ) 1 2 p 2 4 pp 2 p 2
1 1 2
i i M i
因此接收到第二个数字也是 0 时，得到多少关于 M 1 的互信息为：
2
3
8 8 3 4
I (M 1 ; y 1 y 2 00) log
P ( y 1 y 2 00 | M 1 ) log p
2 2 log p 比特/符号 P ( y 1 y 2 00) 1/ 4
得到的附加信息为：
I (M 1 ; y 1 y 2 00) I (M 1 ; y 1 0) 1 l og p 比特/符号
（3）根据已知条件，有
P ( y 1 y 2 y 3 000 | M 1 ) P ( y 1 y 2 y 3 000 | 000) p
P ( y y y
000)
P (M
)P (000 | M ) 1 p 3 3 pp 2 3 p 2 p p 3
1 1
2 3
i i M i
因此接收到第三个数字也是 0 时，得到多少关于 M 1 的互信息为：
I (M ; y y y 000) log P ( y 1 y 2 y 3 000 | M 1 ) log p 3 3log p 1 1 2 3 P ( y 1 y 2 y 3 000) 1/ 8 此时得到的附加信息为：
I (M 1 ; y 1 y 2 y 3 000) I (M 1 ; y 1 y 2 00) 1 l og p 比特/符号
（4）根据已知条件，有
P ( y 1 y 2 y 3 y 4 0000 | M 1 ) P ( y 1 y 2 y 3 y 4 0000 | 0000) p
P ( y 1 y 2
y 3 y 4
0000)
P (M i M i
)P (0000 | M i ) 1
p 4 8
6 p 2 p 2 p 4
因此接收到第四个符号为 0 时，得到的关于 M 1 的互信息为
I (M ; y y y 0000) log P ( y 1 y 2 y 3 y 4 0000 | M 1 ) 1 1 2 3
log
P ( y 1 y 2 y 3 y 4 0000)
p 4
1 p 4 6 p
2 p 2 p 4 8
3 4 l og p log p 4 6 p 2 p 2 p 4
此时得到的附加信息为
I (M 1 ; y 1 y 2 y 3 y 4 000) I (M 1 ; y 1 y 2 y 3 000) log p log
p 4 6 p 2 p 2
p 4
【3.3】 设二元对称信道的传递矩阵为
2 1
3 3 1 2
3 3
（1）若 P(0)=3/4，P(1)=1/4，求 H ( X ) ， H ( X | Y ) ， H (Y | X ) 和 I ( X ;Y ) ； （2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解：
（1）根据已知条件，有
H ( X )
P ( x i ) log P ( x i
)
X
3 log 3 1 log 1
4 4 4 4 0.811比特/ 符号
P ( y 0) P ( x ) P ( y 0 | x ) 3 2 1 1 7
X
4 3 P ( y 1) P ( x ) P ( y 1 | x ) 5
X
12 4 3 12
3
2
P ( x 0 | y 0) P ( x 0) P ( y 0 | x 0)
4 3 6
P ( x 1 | y 0) 1
7
P ( y 0) 7 /12 7
3
1 P ( x 0 | y 1) P ( x 0)P ( y 1 | x 0)
4 3 3
P ( x 1 | y 1) 2
5
P ( y 1) 5 /12 5 H (Y | X )
P ( x )
P ( y | x ) log P ( y | x )
X
Y
3 2 log 2 1 log 1 1 1 log 1 2 log 2
4 3
3 3 3
4 3 3 3 3 0.918比特/ 符号
第二章课后习题 【2.1】设有12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， “12 枚硬币中，某一枚为假币”该事件发生的概率为P = 1 12 ； “假币的重量比真的轻，或重”该事件发生的概率为P = 1 2 ； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有 I = log12 + log 2 = log 24 比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P = 平每一次消除的不确定性为I = log 3 比特 因此，必须称的次数为1 3 ，因此天 I 1 I 2 log 24 log 3 H 2.9 次 因此，至少需称3 次。 【延伸】如何测量？分 3 堆，每堆4 枚，经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是 3 和4”时，试问这三种情况分别获得多少信息量？解： “两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的， 因此该种情况发生的概率为P = 1 1 6 6 1 36 ，该事件的信息量为： ?
? ? 5 = ? ? 2 = I = log 36 H 5.17 比特 “两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概 率为 P = 1 1 6 6 5 36 ，因此该事件的信息量为： 36 I = log H 2.85 比特 5 “两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P = 1 1 6 6 1 18 ， 因此该事件的信息量为： I = log18 H 4.17 比特 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解： 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 P = 1 7 ，因此此时从答案中获得的信息量为 I = log 7 = 2.807 比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解： 设 A 表示女孩是大学生， P ( A ) = 0.25 ； B 表示女孩身高 1.6 米以上， P ( B | A ) = 0.75 ， P ( B ) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为
2-1、一阶马尔可夫链信源有3个符号 {}123,,u u u ，转移概率为：1 112 ()u p u =， 2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。 解：由题可得状态概率矩阵为： 1/21/2 0[(|)]1/302/31/32/30j i p s s ????=?? ???? 状态转换图为： 令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W = 121W +132W +133W ， 2W =121W +233W , 3W =2 3 2W 且：1W +2W +3W =1 ∴稳态分布概率为： 1W =25，2W =925，3W = 6 25 2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为： P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为： 令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。 111122133144113 211222233244213 311322333344324411422433444424 0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+??=+++=+?? =+++=+??=+++=+? 且12341w w w w +++=； 0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ???? ? ?=??????
滨江学院 《信息论与编码》课程论文题目香农编码及其应用改善 院系电子工程系 专业班级通信班 学生姓名 学号 教师杨玲 成绩 二Ｏ一四年十二月二十二日
香农编码及其应用改善 摘要：香农编码作为变长信源编码的重要方法之一，具有重要的理论指导意义，但其在实际应用中存在效率较低的缺点。本文对香农编码方法进行阐述，及运用MATLAB实现香农编码操作，并找出香农编码的不足，针对其缺陷，通过判断码字之间是否互为前缀来确定码字的方法对其编码算法进行了优化，给出了优化算法的实现步骤。最后，通过具体实例分析得出本文提出的改善算法能有效地提高编码效率。 关键词：香农码方法；MATLAB；编码效率；优化编码；
引言：1948年，美国工程师香农在贝尔实验室杂志上发表了长文《通讯的数学原理》他用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。香农编码理论揭示了在通信系统中，采用适当的编码后能够实现高效率和高可靠地传输信息的规律，并给出了相应的信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为寻找最佳通信系统提供了重要的理论依据。 在多媒体数据的传输和存储过程中，为了确保通信的顺利进行，必须要通过信源编码技术必须对多媒体信息进行压缩处理。香农编码技术作为变长信源编码的重要方法之一，具有重要的理论指导意义。但由于在香农编码的过程中先限定每个码字的码长，以至于在码字的选取中是以每个码字的码长作为先决条件而不考虑各个码字之间的相关性，因此编出的码字往往存在较大的冗余，影响了整个通信系统的传输效率。就这一缺陷，本文提出了通过剔除先限定每个码字的码长这一过程，通过判断码字之间是否互为前缀来确定码字的方法对其编码算法进行了改善。 1.香农编码的方法 在写香农编码之前先简单介绍下信源编码： 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。由于这些定理都要求符号数很大，以便其值接近所规定的值，因而这些定理被称为极限定理。一般称无失真信源编码定理为第一极限定理；信道编码定理（包括离散和连续信道）称为第二极限定理；限失真信源编码定理称为第三极限定理。完善这些定理是香农信息论的主要内容。 信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码地宫里，前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可从代码无失真的恢复原信源符号。当已知信源符号的概率特性时，可计算它的符号熵，这表示每个信源符号所载有的信息量。编码定理不但证明了必定存在一种编码方法，可使代码的平均长度可任意接近但不低于符号熵，而且还阐明达到这目标的途径，就是使概率与码长匹配。无失真编码或可逆编码只适用于离散信源。本节讨论离散信源编码。首先从无失真编码定理出发，重点讨论以香农码为代表的最
《信息论与编码（第二版）》雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/201/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231112331223231W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=???=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码
第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方
信源熵实验程序： clc; close all; clear; linwidd=1 fontt=20 p0=0; pd=1; N=20 p=linspace(p0,pd,N); I=-log2(p); plot(p,I,'k'); title('I=-log2(p)函数图'); xlabel('p');ylabel('I'); clc; close all; clear; linwidd=1 fontt=20 p0=0; pd=1; N=20 p=linspace(p0,pd,N); H=-p.*log2(p)-(1-p).*log2(1-p); plot(p,H,'k'); title('H=-p.*log2(p)-(1-p).*log2(1-p)函数图'); xlabel('p');ylabel('H'); 信道容量实验程序： clc; close all; clear; linwidd=1 fontt=20 p0=0; pd=1; N=20 p=linspace(p0,pd,N); r=4 c=log2(r)+(1-p).*log2(1-p)+p.*log2(p/(r-1)); plot(p,c,'k'); title('强对称信道容量数值模拟图');
有噪信道编码--费诺不等式程序：结果图clc;close all;clear; r=3;p0=0.00001;pd=0.99999;N=2000; p=linspace(p0,pd,N); q=1-p; H=-p.*log2(p)-q.*log2(q); hold on HH=H+p.*log2(r-1) title('费诺不等式示意图');box on xlabel('PE'); ylabel('H(X/Y)'); plot(p,HH,'k:') hold on hold on fill([p,1],[HH,0],[0.6,0.6,0.6]) stem((r-1)/r,1.59,'--.r') text(0.66,1.6,'最大值') 香农编码程序： clc;clear all;close all; p=[0.2 0.19 0.18 0.17 0.15 0.1 0.01]; if sum(p)<1||sum(p)>1 error('输入概率不符合概率分布') end [p index]=sort(p,'descend'); n=length(p); pa=zeros(n,1); for ii=2:n pa(ii)=pa(ii-1)+p(ii-1); end k=ceil(-log2(p));%码字长度计算 c=cell(1,n);%生成元胞数组，用来存不同长度的码字 for ii=1:n c{ii}=''; tmp=pa(ii); for jj=1:k(ii) tmp=tmp*2; if tmp>=1 tmp=tmp-1; %c{ii}{jj}='1'; c{ii}=[char(c{ii}),'1']; else %c{ii}{jj}='0'; c{ii}=[char(c{ii}),'0']; end end end c(index)=c;%换回原来的顺序 codelength=zeros(1,n);%码长初始化 for ii=1:n fprintf(['第',num2str(ii),'个消息对应为']); disp(c{ii});%显示码字 codelength(ii)=length(c{ii});% end n_average=sum(codelength.*p) %平均码长 fprintf('平均码长为');disp(n_average); H=-sum(p.*log2(p)); fprintf('信源熵');disp(H); x=H/(n_average.*log2(2)) fprintf('编码效率');disp(x); figure h=stem(1:n,codelength);% axis([0 n+1 0 n+1]); set(h,'MarkerFaceColor','blue','linewidth',2) 实验结果 第1 个消息对应为000 第2个消息对应为001 第3个消息对应为011 第4个消息对应为100 第5个消息对应为101 第6个消息对应为1110 第7个消息对应为1111110 n_average = 3.1400 平均码长为 3.1400 信源熵 2.6087 x =0.8308 编码效率 0.8308
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴
bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：
实验一 MATLAB 的基本操作 一、实验目的 1、掌握Matlab 软件使用的基本方法； 2、熟悉Matlab 的数据表示、基本运算方法； 3、熟悉Matlab 绘图命令及基本绘图控制。 二、实验仪器与软件 1、PC 机 1台 2、MATLAB7.0环境 三、实验原理 MATLAB 环境是一种为数值计算、数据分析和图形显示服务的交互式的环境。MATLAB 有3种窗口，即：命令窗口（The Command Window ）、m-文件编辑窗口（The Edit Window ）和图形窗口（The Figure Window ），而Simulink 另外又有Simulink 模型编辑窗口。 1、命令窗口（The Command Window ） 当MATLAB 启动后，出现的最大的窗口就是命令窗口。用户可以在提示符“>>”后面输入交互的命令，这些命令就立即被执行。 在MATLAB 中，一连串命令可以放置在一个文件中，不必把它们直接在命令窗口内输入。在命令窗口中输入该文件名，这一连串命令就被执行了。因为这样的文件都是以“.m ”为后缀，所以称为m-文件。 2、m-文件编辑窗口（The Edit Window ） 我们可以用m-文件编辑窗口来产生新的m-文件，或者编辑已经存在的m-文件。在MATLAB 主界面上选择菜单“File/New/M-file ”就打开了一个新的m-文件编辑窗口；选择菜单“File/Open ”就可以打开一个已经存在的m-文件，并且可以在这个窗口中编辑这个m-文件。如，计算3 [(12)34)]2+?-÷，只需在提示符“>>”后输入“((1+2)*3-4)/2^3”，然后按Enter 键。该命令行涉及加、减、乘、除及幂运算符，MATLAB 运算的执行次序遵循的优先规则为：从左到右执行；幂运算具有最高的优先级，乘法和除法具有相同的次优先级，加法和减法有相同的最低优先级；使用括号可以改变前述优先次序，并由最内层括号向外执行。 3、常用命令 MATLAB 可以把多条命令放在同一行，各命令之间用逗号“，”或分号“；”隔开，逗号告诉MATLAB 系统显示本命令的结果，分号告诉系统取消结果的显示（只是不显示，该命令行仍正常执行）。 clear 命令 若想清除MATLAB 当前工作空间中所有定义过的变量，使用clear 命令；若只想清除其中某几个变量，只需在命令clear 后写入变量的名称即可，如想清除变量x 、y ，在“>>”后键入“clear x y ”即可。 help 命令 在MA TLAB 命令窗口使用help 命令寻求帮助。例如， >> help ceil ? lookfor 命令 lookfor 命令来查询根据用户提供的关键字搜索到的相关函数，然后再使用help 命令与其配合使用，可了解查询到的确切函数的具体用法。 常用的数学函数如表1所示。 表1 常用数学函数表 函数 功能 函数 功能 sin(x) 正弦函数 asin(x) 反正弦函数
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为： 对应的状态图如右图所示。设各符号稳定概率为：1p ，2p ，3p 则可得方程组： 1p = 211p +312p +313p 2p =211p +323p 3p =3 22p 1p +2p +3p =1 解得各符号稳态概率为： 1p = 2510，2p =259，3p =25 6 2-2.解：该马尔可夫信源的符号条件概率矩阵为： 状态转移概率矩阵为： 对应的状态图如右图所示。
设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为： 1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W 4W =0.52W +0.84W 1W +2W +3W +4W =1 解得稳定分布的概率为: 1W = 145，2W =142，3W =142，4W =14 5 2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)= 18 1 故其自信息量为： I(3,5)=-㏒2 18 1 =4.17bit （2）“两个1同时出现”事件的概率为： p(1,1)= 36 1 故其自信息量为： I(1,1)=- ㏒2 36 1 =5.17bit （3）两个点数的各种组合构成的信源，其概率空间为： 则该信源熵为： H(x 1)=6× 36 1 lb36+15×181lb18=4.337bit/事件 （4）两个点数之和构成的信源，其概率空间为：
则该信源的熵为： H(x 2)=2× 361 lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+6 1lb6 =3.274bit/事件 （5）两个点数中至少有一个是1的概率为： p(1)= 36 11 故其自信息量为： I(1)= -㏒2 36 11 =1.7105bit 2-7.解：（1）离散无记忆信源的每个符号的自信息量为 I(x 1)= -㏒2 83 =1.415bit I(x 2)= -㏒241 =2bit I(x 3)= -㏒241 =2bit I(x 4)= -㏒28 1 =3bit （2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符 号序列的自信息量为： I(x)= -㏒2( 8 3)14 (41)25 (81)6 =87.81bit 平均每个符号携带的信息量为： L H (x)= 45 ) (x I =1.95bit/符号 2-10 解：用1x 表示第一次摸出的球为黑色，用2x 表示第一次摸出的球为白色，用1y 表示第二次摸出的球为黑色，用2y 表示第二次摸出的球为白色，则 (1)一次实验包含的不确定度为： H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=- 13lb 13-23lb 2 3 =0.92 bit (2)第一次实验X 摸出的球是黑色，第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x ) = - 27lb 27-57lb 57 = 0.86 bit (3)第一次实验X 摸出的球是白色，第二次实验Y 给出的不确定度:
实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称：
年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22)
实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7
五、编码程序 #include"stdio.h" #include
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
第二章 信息的度量 2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。 2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？ 答： 若信道给定，I(X;Y)是q(x)的上凸形函数； 若信源给定，I(X;Y)是q(y|x)的下凸形函数。 2.3 熵是对信源什么物理量的度量？ 答：平均信息量 2.4 设信道输入符号集为{x1,x2,……xk}，则平均每个信道输入符号所能携带的最大信息量是多少？ 答：k k k xi q xi q X H i log 1log 1)(log )() (=- =-=∑ 2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。 答：)|;();();(Y Z X I Y X I YZ X I += 2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 答：互信息量) ()|(log ) ;(xi q yj xi Q y x I =，若互信息量取负值，即Q(xi|yj) 答： 由图示可知：4 3)|(4 1)|(32)|(31)|(41)|(43)|(222111110201= = == == s x p s x p s x p s x p s x p s x p 即： 4 3)|(0)|(4 1)|(31)|(32)|(0)|(0 )|(4 1)|(4 3)|(222120121110020100= == = ==== = s s p s s p s s p s s p s s p s s p s s p s s p s s p 可得： 1 )()()() (43)(31)()(31)(41)()(41)(43)(210212101200=+++ = +=+=s p s p s p s p s p s p s p s p s p s p s p s p 实验一 绘制二进熵函数曲线（2个学时） 一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为 比特/符号 或 比特/符号序列。 当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。 四、实验内容： 用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 （一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。 3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。 在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。 （二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果 第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X信息论与编码实验报告
信息论与编码第一章答案
相关主题
文本预览