当前位置:文档之家› 信息论与编码姜丹第三版答案

信息论与编码姜丹第三版答案

信息论与编码姜丹第三版答案
信息论与编码姜丹第三版答案

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页,1.1的(1)(5),1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子,试求:

(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;

(5)“两个点数中至少有一个是1”的自信息量。 解:

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=?==样本空间:

(3)信源空间:

bit x H 32.436log 36

62log 3615)(=??+??

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=??+?+?+??=

∴++ (5) bit P a I N n P 17.111

36

log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解:

bit

a P a P a a P a I a P A i 58.548log )(log )()(H 48

log )(log )(481

)(:)1(48

1

i i i i i ==-=∴=-=∴=∑=落入任一格的概率

bit

b P b P b b P b I b P A i 55.547log )(log )()(H 47

log )(log )(47

1

)(:B ,)2(48

1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit

AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()

(log )(47

1481)()3(47481

=?=-=-=∴?=∑?=是同时落入某两格的概率

1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: bit

w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H %

5.99log )(log )(%5.0log )(log )(36

6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:

=??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于女:

平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于男士

1.4某一无记忆信源的符号集为{0,1},已知。

,3

23

110=

=

p p (1) 求符号的平均信息量;

(2) 由1000个符号构成的序列,求某一特定序列(例如有m 个“0”,(1000-m )个“1”)

的自信量的表达式;

(3) 计算(2)中序列的熵。 解:

3

2

log 3)1000(231log 3log log )( ce bit/sequen 918918.01000)(1000)(3 3

2

log )1000(31log log )1000(log )(2/ 918.03

2

log 3231log 31log log )(110001

1110001100∑

∑-==---

=-

-==?==---=---==?-?-=--=m

i m

i m m p p p p A H X H A H bit m m p m p m A I symble

bit p p p p x H )()()(

1.5设信源X 的信源空间为:

??

??

0.3 0.18 0.16 0.18 0.19 0.17 X)( a a a a a a X ][654321p p x :

: 求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。 解:

立的约束条件,所以不满足信源熵最大值成但是本题中

的约束条件下求得的,值是在这是因为信源熵的最大,不满足信源熵的极值性可见log6H(X)18.1 1

585.2log62.725H(X)

bit/symble 725.2 3.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )

(log )()(6

1

16

1

>===>==--?---=-=∑∑∑===i i

r

i i i i i p

p a p a p X H

1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s )。 解:

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.3105)(H 105)(H bit/pels

322.310log )(log )()(H 76650510

10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为:每帧图像的熵是:每个像素的熵是:,由熵的极值性:

由于亮度电平等概出现

1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大

2.5倍左右。 证:

.

5.2,,5.25.2477.210

log 300

log )(H )(H pels

/bit 300log )(log )()(H bit 3001030,10,,3001300

11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是:量化

所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i

1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字? 解:

个汉字

最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.010000

1000

symble /bit 101.2128log 103)(103)(:

?∴?=-?=≥≤-=∴==

?=??=??=frame

c H X H n c nH X H n p p x H X H

1.9给定一个概率分布),...,,(21n p p p 和一个整数m ,n m ≤≤0。定义∑=-

=m

i i m p q 1

1,证明:

)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立?

证:

∑∑+==-

-=>-=<-=''-=''∴>-

=''-=''>-=n

m i i

i

m

i i i n p

p p p p p p H x x x x f x e

x x x f x x

e

x x x f x x x x f 1

121log log ),...,,(

)0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数,如下:

先证明

时等式成立。

当且仅当时等式成立。当且仅当即可得:

的算术平均值的函数,函数的平均值小于变量由凸函数的性质,变量n m m m m m n m

m m i i i m m m m m m

i i i n

m i i

i

m

i i i n n m m m m m n

m i i

i

m m n

m i i

n

m i i

n

m i i

n

m i i

n

m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p

p p p p p p H p p p m n q q q p

p m

n q q m

n p

m

n p

m n m

n p

f m n m

n p f m n p p ===-+≤--=-+--≤-

-=∴===-+-≤-

--=----=---≤---=-

++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑∑...)log(),,...,,(),...,,(log log ),,...,,()

log(log log log log ),...,,(...)

log(log log log

log

)

()(

)()

()

(log 2121211

211

1

1

21211

1

1

1

1

1

1.10找出两种特殊分布:

p 1≥p 2≥p 3≥…≥p n ,p 1≥p 2≥p 3≥…≥p m ,使H(p 1,p 2,p 3,…,p n )=H(p 1,p 2,p 3,…,p m )。 解:∑∑==-==-=m

i i i m n

i i i n q q q q q H p p p p p H 1

211

21log ),...,,(log ),...,,(

1.15两个离散随机变量X 和Y ,其和为Z =X +Y ,若X 和Y 统计独立,求证: (1) H(X)≤H(Z), H(Y)≤H(Z) (2) H(XY)≥H(Z) 证明:

∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑=================≥+-≥+-+-=≥

+?-≥-=??-≤++-≤-=∴??

??????s

j j j r

i s

j j i j r

i s

j j i j r s j j i i s s

j j i s

s j j i t k k k r

s

j j i j i r

s

j j i j i t

k k k s s r r

q q q p q q p q q p p q p q p pz pz Z H XY H q p q p b a p b a p pz pz Z H Y X q q q Y P b b b P p p p X P a a a P 1

11

111i 11i 1

1i 1

1

1i 1

1i 1

1

21212121)

log(-)log( )

log())log(( )log()(log )()()log()( )(log )(log )(,

... )( ... Y :][Y ... )( ... X :][X Y X =又统计独立

又的信源空间为:

、设

第二章 单符号离散信道

2.1设信源 .3

0 .70 )(

X :][X 21??

??X P a a P 通过一信道,信道的输出随机变量Y 的符号集

},{:21b b Y ,信道的矩阵:

??

????=

4/34/16/16/5][ 212

1a a P b b

试求:

(1) 信源X 中的符号α1和α2分别含有的自信息量;

(2) 收到消息Y =b 1,Y =b 2后,获得关于α1、α2的互交信息量:I(α1;b 1)、I(α1;b 2)、I(α2;b 1)、

I(α2;b 2);

(3) 信源X 和信宿Y 的信息熵;

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X);

(5) 接收到消息Y 后获得的平均互交信息量I(X;Y)。 解:

bit/symble

228.0698.0926.0)()()5(symble /bit 653.0926.0698.0881.0)()()()( )

()()()( bit/symble

698.0)(log )()()(log )()()4(bit/symble 926.0)120

41log 1204112079log 12079(

)(log )()( bit/symble

881.0)3.0log 3.07.0log 7.0()(log )()(120

41)()()( 12079)()()(:)3( 134.14/33.06/17.04

/3log

)

()(log

);(I 766.04

/13.06/57.04

/1log )()(log );(I 036.14

/33.06/17.06

/1log

)

()(log );(I 34.04

/13.06/57.06

/5log

)()(log );(I )2( 737.13.0log )(log )(I 5415.07.0log )(log )(I (1)2

12

1

2

12

1

2

1

2

1

2

1222

1112222212112212211111121211=-=-=∴=-+=-+=∴-=-=====+-=-==+-=-=∴=

==

==?+?==-=?+?==-=?+?===?+?===-=-==-=-=∑∑∑∑∑∑∑∑========X Y H Y H I(X;Y)Y H X Y H X H Y X H Y X H X H X Y H Y H I(X;Y)a b p a b p a p a b p b a p X Y H b p b p Y H a p a p X H a b p a p b p a b p a p b p bit

b p a b p b a bit

b p a b p b a bit

b p a b p b a bit

b p a b p b a bit a p a bit a p a j i i j i j i j i i j j i j j j i i i i i i i i i 又由上2.2某二进制对称信道,其信道矩阵是:

??

??

??=98.002.002.098.010][1 0 P 设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进

制符号,并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。 解:

.

,1500bit/s,s

/bit 98.1201s 10/symble 14000:1400010symble /bit 859.098.0log 98.002.0log 02.01)1log()1(log 1)(1);(故不可能无失真传输最大码率超过了信道所能提供的而输入信源码率为为个二进制符号最大码率秒钟内传送信道在入等概信源

由于二进制对称信道输=?=∴=++=--++=-==∴C C H C Y X I t εεεεε

2.3有两个二元随机变量X 和Y ,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定义另一随机变量Z=XY ,试计算: (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);

(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解:

symble

/bit 406.1:symble

/bit 406.181log 81083log 83)8381log()8

3

81( ))11(log )11()01(log )01()10(log )10()00(log )00(( )

(log )()(bit/symble

544.0)8

1

log 8187log 87( symble

/bit 1)21

log 2121log 21()(

symble;/bit 1)21

log 2121log 21()(;

8

1

)1,1(;83)0,1(;0)1,0(;21)0()0,0( ;

81

)1,1(;83)0,1(;0)1,0(;21)0()0,0(.

8

1

)1(;87838381)0(:: .

2

1

8381)1(;218381)0(: .

21

8381)1(;218381)0(: :)1(212

1

===??????+++++-=+++-=-==+-==+-==+-=∴===============================++====+===+===+===+==∑∑==H(XZ)H(YZ)Z Y X p p p p p p p p z x p z x p XZ H H(Z)Y H X H Z Y p Z Y p Z Y p Y p Z Y p Z X p Z X p Z X p X p Z X p Z p Z p X XY Z Y p Y p Y X p X p X xz xz xz xz xz xz xz xz i k k i k i 的概率分布、、由上面且的分布的分布为的分布的分布由题意

[]

[][]

bit/symble

0)8

/18/1log 818/38/3log 838/38/3log 838/18/1log 81()

)

11()111(log

)111()

10()100(log

)100()

01()010(log

)010()

00()000(log

)000(()()(log

)()(log )()(bit/symble

406.0)()(bit/symble

406.0)8/18/1log 812/18/3log 838/38/3log 832/18/1log 81()

)

11()111(log

)111()

00()100(log

)100()

10()010(log

)010()

00()000(log

)000(()()(log

)()(log )()(0

)110()011()101()001(bit/symble 4060)()(bit/symble 8620)()( :的概率Z 、Y 、X 由bit/symble

4060)2

18

1log 812183log 8302121log 21()11(log )11()01(log )10()10(log )01()00(log )00()()

(log

)()(log )()(bit/symble

8620)8

181log 818783log 8308721log 21()11(log )11()01(log )10()10(log )01()00(log )00()

()(log

)()(log )()(:

同理bit/symble 8110)()()()()()()()()(bit/symble

8110)4

1

log 8143log 8343log 8341log 81()11(log )11()01(log )10()10(log )01()00(log )00()

(log )()(412181)1()11()11(43

2183)1()

01()10(4

32183)0()10()01(41

2181)

0()00()00()00(22

12

12

1

2

12

12

1

2

12

12

1

2

12

12

1

212

121212

12

1

2

12

1

2

121

p p p p p p p p p p p p y x p z y x p z y x p y x z p z y x p XY Z H YZ X H XZ Y H p p p p p p p p p p p p z y p z y x p z y x p z y x p z y x p YZ X H p p p p .X Z H Y Z H .Z X H Z Y H .//////p p p p p p p p x p x z p x z p x z p x z p X Z H .//////p p p p p p p p z p z x p z x p z x p z x p Z X H .Y X H X Y H Y H X 且H X Y H Y H Y X H X H X;Y I .p p p p p p p p y x p y x p Y X H .

//p p ;p //p p p ;//p p ;p //p p p Y X )p (xy xyz xyz xy xyz xyz xy xyz xyz xy xyz xyz j i k j i i j k k j i j i k i j k k j i yz xyz xyz yz xyz xyz yz xyz xyz yz xyz xyz k j k j i i j k k j i k j i i j k k j i xyz xyz xyz xyz zx zx zx zx zx zx zx zx k i i i k i k k i i k i k xz xz xz xz xz xz xz xz i k k k i k i i k k i k i xy xy xy xy xy xy xy xy i j j i j i y xy xy y xy xy y xy xy y xy xy =+++-=+++-=-=-=∴===+++-=+++-=-=-=∴=========?+?++?-=+++-=-=-==?+?++?-=+++-=-=-===∴=-=-==?+?+?+?-=+++-=-=∴===========

=

===∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑======================

symble

/bit 405.0406.0811.0)()()( symble /bit 405.0406.0811.0)()()( symble /bit 456.0406.0862.0)()()( symble

/bit 138.0862.01)()()( symble /bit 138.0862.01)()()( symble /bit 189.0811.01)()()(:)3(=-=-==-=-==-=-==-=-==-=-==-=-=YZ X H Y X H Y X;Z I XZ Y H X Y H X Y;Z I YZ X H Z X H Z X;Y I Z Y H Y H Y;Z I Z X H X H X;Z I Y X H X H X;Y I 由上

2.4已知信源X 的信源空间为

?

???4.0 2.0 3.0 1.0 :)( ::][4

321X P a a a a X P X

某信道的信道矩阵为:

b 1 b 2 b 3 b 4

?

?

??

?

???????2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.04321a a a a

试求:

(1)“输入α3,输出b 2的概率”; (2)“输出b 4的概率”;

(3)“收到b 3条件下推测输入α2”的概率。 解:

136.022

.01

.03.0)

()

()()( 22

.04.04.01.02.01.03.01.01.0)()()()()3(19

.02.04.02.02.01.03.04.01.0 )()()()()2(04

.02.02.0)()();()1(3232324

1

34

1

334

144

14432323=?=

=

=?+?+?+?====?+?+?+?====?==∑∑∑∑====b p a b p a p b a p a b p a p b a p b p a b p a p b a p b p a b p a p b a p i i i i i i i i i i

2.5已知从符号B 中获取关于符号A 的信息量是1比特,当符号A 的先验概率P(A)为下列各值时,分别计算收到B 后测A 的后验概率应是多少。 (1) P(A)=10-2; (2) P(A)=1/32; (3) P(A)=0.5。

1

)(,5.0)( 161)(,321)( 102)(,10)()

(2)(1)

()(log

);(22====?==∴=∴==--B A p A p B A p A p B A p A p A p B A p A p B A p B A I 时时时由题意

(1) 在W 4=011中,接到第一个码字“0”后获得关于a4的信息量I(a 4;0);

(2) 在收到“0”的前提下,从第二个码字符号“1”中获取关于a 4的信息量I(a 4;1/0); (3) 在收到“01”的前提下,从第三个码字符号“1”中获取关于a 4的信息量I(a 4;1/01); (4) 从码字W 4=011中获取关于a 4的信息量I(a 4;011)。 解:

bit 38log 8

/11

log

)

()101(log

)011;((4)bit

12log )8/18/1/()8/1(1

log )01()101(log )011;((3)bit

585.13log )8/18/14/14/1/()8/1()

8/18/1/()8/1(log

)

0()01(log

)01;((2)bit

415.03

4

log 8/1)8/18/14/14/1/()8/1(log

)

()0(log

)0;()1(444444444444======+====++++====+++==a p a p a I a p a p a I a p a p a I a p a p a I

2.13把n 个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(0

]。再证明:n →∞时,limI(X 0;X n )=0。信道串接如下图所示:

1log )( )

()(log

)()

()(log

)();(lim )10)(()(2

1)1( 2

1)10()0()00()0()0(:)

10(1)1(,)0(:2

1

])21(1[21lim lim 121]

)21(1[2

1

]

)21(1[21

])21(1[21])21(1[21])21(1[2

1])21(1[2

1 11])21(1[21])21(1[21])21(1[2

1])21(1[2

1][,]

)21(1[2

1

2222221221221111][:

2:2121

0212

1

002

12

1000000000000111

111

122222

222====∴=∴=====?=+==?===<<-=====

--=∴<---=--=∴????

???

???-+-----+=?????

?--??????

??

???-+-----+==--=-=∴??????-+-+--=??????--???????--==∑∑∑∑∑∑==∞==∞∞∞==∞∞∞∞

→∞∞∞∞∞∞∞∞∞→∞→+++++++i j j i i j j i j j i i j j i j j i n n n n n n n n k k k k k k k k k k

k X X p X p X X p X X p X p X X p X X p X X I x x x p x x p X p X X p X p X X p X p X p X a a X p a X p X p P p p P p P p p p p p p p p p p p p P k n p p p p p p p

p p p p p p p p p p p p p

P n 或取、则输出信源其中设输入信源空间故则时公式成立假设时由当用数学归纳法证明

2.18试求下列各信道矩阵代表的信道的信道容量: (1)

?????

????

???=0010100000010100][

432114321a a a a P b b b b

(2)

????

????

??????????=100100010010001001][

b b b 6543212321a a a a a a P (3)

???

?

?

?????=3.01.02.04.000000000007.03.000000000004.03.02.01.0][

b b b b b b b b b b 3213109876 54321a a a P

解:

bit/symble

585.13log log :

(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道信道为归并性无噪信道

系的无噪信道信道为一一对应确定关

2.19设二进制对称信道的信道矩阵为:

??

??

??=4/34/14/14/310][1 0 P (1) 若p(0)=2/3,p(1)=1/3,求H(X),H(X/Y),H(Y/X)和I(X;Y);

(2) 求该信道的信道容量及其达到的输入概率分布。

解:

bit/symble

8113.0)4

3

log 433141log 413241log 413143log 4332( )

(log )()()(log )()(bit/symble 9799.0)12

5

log 125127log 127(

)(log )()(12

543314132)1()()1(12741314332)0()()0(bit/symble

9183.0)31

log 3132log 32()(log )()()1(2

12

1

2

12

1

2

1

21

2

12

1=?+?+?+?-=-=-==?+?-=-==?+?=

===?+?=

===?+?-=-=∑∑∑∑∑∑∑∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H

.

2

1

)1()0(,symble /bit 1887.01log 25.0)25.0(2log )1log()(log (2)bit/symble 7497.01686.09183.0);()()(bit/symble 1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I 时达到信道容量即信源输入为等概分布本信道为强对称信道

=====--=---=∴=-=-==-=+=∴εε

2.20设某信道的信道矩阵为

????

???

?????????=2.01.01.01.01.01.06.01.01.01.01.01.06.01.01.01.01.01.06.01.01.01.01.01.06.0][

b b b b b 5432154321a a a a a P

试求:

(1) 该信道的信道容量C ; (2) I(a 3;Y); (3) I(a 2;Y)。 解:

bit/symble

551.0);();((3)(2)bit/symble 551.04log 4.0)4.0(5log )1log()(log )1(53====--=---=∴C Y a I Y a I H r H r C 、道

本信道为强对称离散信εε

2.21设某信道的信道矩阵为

??

??

??=3/13/16/16/16/16/13/13/1][

b b b b 214321a a P 试求:

(1)该信道的信道容量C ; (2)I(a 1;Y); (3)I(a 2;Y)。 解:

bymble

/bit 0817.0);();()3()2(symble /bit 0817.0)6

1

,61,31,31(4log ),,,(log 1214321

====-=''''-=∴C Y a I Y a I H p p p p H s C 、道

)本信道为对称离散信(

2.22设某信道的信道矩阵为

??

????=8/18/12/14/18/18/14/12/1][P 试该信道的信道容量C ;

解:

bit/symble

0612.0 )81

,81,41,21(]81log 81283log 832[),,,()(log )()(81

4121]8181[1)()()(83

4321]4121[1)()(2,2,4321

2

1

2

22121211121=-?+?-=''''--=∴==?=+?====?=+?=

===∑===H p p p p H b p b p s C b p r b p b p b p r b p b p s s l l l l l l l l 且道此信道为准对称离散信

2.23求下列二个信道的信道容量,并加以比较(其中0

?

??----=δδ

δ

δδδ22][1p q q p P (2) ??

?

?

??----=δδ

δ

δδδ

p q q p P 20

02][2

解:

.

0:2)log()()log()(2

2log )2( )

0,2,,()]2(21

log )2(212log 2[ ),,,()(log )()

2(21

)(1)(221

)02(1)(2,2,)2(log 2)log()()log()(2

2log )2( )

2,,(]log )2(2

1

log )2(212[ ),,()(log )(221

)2(1)()

2(21

)(1)(1,2,)1(21214321

2

122121321

2

112121时等号成立且当表达式可知、由上面且道此信道为准对称离散信且道此信道为准对称离散信=≤+--+--+-+-+-=----+?-+??+-=''''--=∴-+?=-+-?==?=+?===++--+--+-+-+-=---+-+?-+??-='''--=∴=?=?=-+?=-+-?===∑∑======δδ

δδδδδ

δδδδδδδδδδδδ

δδδ

δδδδδδδ

δδδδδδδδδ

δδδδδC C C C q q p p q p q p q p H q p q p p p p p H b p b p s C q p q p r b p r b p s s q q p p q p q p q p H q p q p p p p H b p b p s C r b p q p q p r b p s s l l l l l l l l l l l l l l l l

2.27设某信道的信道矩阵为

????

?

?????=N p p p P

000][21

其中P 1,P 2,…,P N 是N 个离散信道的信道矩阵。令C 1,C 2,…,C N 表示N 个离散信道的容量。试证明,该信道的容量∑==N

i c i

C 1

2

log

比特/符号,且当每个信

道i 的利用率p i =2Ci-C

(i =1,2,…,N)时达其容量C 。

证明:

:

)1(,]P [)

,](2log[)

1(),2,1()/(log )/()/()

,2,1(:1

1

1

1

1

可以改写为方程组特点由其中可得解出由方程组列行为设∑∑∑∑∑===========?N

m m N m m s

j j s

j i j i j s

j j i j m m m l r k s C r i a b p a b p a b p N m k l P j β

ββ

]

2log[)

,,2,1(22

2

:]

2log[])2

(log[]2log[22

),,,2,1](2

log[)2(),2,1( )

/(log )/()/()

/(log )/()/()/(log )/()/(1

)()

2

log (1

)

(1

1

11

1

1111

112

21

2211111

111

2

1

∑∑∑∑∑∑∑∑∑∑∑∑∑∑=--∑=-====================∴====???

????????====N

m C C C C k j C m N

m C N

m k j s

j C k j k j m s j i j pn

i j pn k j j pn i j pn s j i j p i j p k j j p i j p s

j i j p i j p k j j p i j p m m m

k j j

pm m

j pm m m

j

pm j m

m

j

pm m

j

pm N

C N m p C N m C r i a b p a b p a b p a b p a b p a b p a b p a b p a b p 时取得信道容量且在各信道利用率为即其中 βββββββββ

第三章 多符号离散信源与信道

3.1设X =X 1X 2…X N 是平稳离散有记忆信源,试证明:

H(X 1X 2…X N )=H(X 1)+ H(X 2/ X 1)+H(X 3/ X 1 X 2)+…+H(X N / X 1 X 2…X N -1)。 (证明详见p161-p162)

3.2试证明:logr ≥H(X) ≥H(X 2/ X 1) ≥H(X 3/ X 1 X 2) ≥…≥H(X N / X 1 X 2…X N -1)。 证明:

)

/()/()/()(log )(log log )()/()/()/()(:

)/( )

/(log )( )

/(log )( )/(log )( )/(log )/()()/()

/()/(:121213121212131222111

11

1221112

111111

221112

11111132112

111111321121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=?

??

???-≤∴=∑∑∑∑∑∑∑∑∑∑∑N N N N k k r

i r

ik ik i i ik ik i i r i r

ik r

ik ik i i ik ik ik i i r

i r ik ik i i ik r

ik ik ik i i r

i r

ik ik i i ik r ik ik i i ik ik i k k ik i i ik ik i i ik X X X X H X X X H X X H X H r X H r r X H X X X X H X X X H X X H X H X X X X H a a a a p a a a

p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p

,即达到最大,又仅当输入均匀分布时重复应用上面式子可得条件概率的平稳性有由离散平稳有记忆信源

3.3试证明离散平稳信源的极限熵:

)/(lim 121-∞

→∞=N N n X X X X H H

(证明详见p165-p167)

3.4设随机变量序列(XYZ)是马氏链,且X :{a 1, a 2,…, a r },Y :{b 1,b 2, …,bs},Z:{c 1,c 2, …,cL}。又设X 与Y 之间的转移概率为p(b j /a i )(i=1,2, …,r;j=1,2, …,s);Y 与Z 之间的转移概率为p(c k /b j )(k=1,2,…,L;j=1,2, …,s)。试证明:X 与Z 之间的转移概率:

∑==s

j j k i j i k b c p a b p a c p 1

)/()/()/(

证明:

∑∑∑========∴=∴=================s

j j k i j i k j k i j k s

j i j k i j s

j i j k i s

j j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 11

1

1

)

/()/()/()/(),/()

,/()/( )

/,()/,( )

/()/(=序列为

3.5试证明:对于有限齐次马氏链,如果存在一个正整数n0≥1,对于一切i ,j =1,2,…,r ,都有p ij (n 0)>0,则对每个j =1,2,…,r 都存在状态极限概率:

),,2,1()(lim r j p n p j ij n ==∞

(证明详见:p171~175)

3.6设某齐次马氏链的第一步转移概率矩阵为:

????

??????p q p q p q 000210 2 1 0 试求:

(1) 该马氏链的二步转移概率矩阵; (2) 平稳后状态“0”、“1”、“2”的极限概率。 解:

[][]????

????

??

?-=--=

-=---=-=--=????????????=>=++???

????????????????????????????????

?

??

??

?++=????????????????????==pq p pq q p p pq pq pq p q p pq q pq p q p i i p p p p p p p p q p q p q p p p p pq pq

q p pq q p pq pq

q p q

p q p q

p q

p q

p q

P P P T 11)1()0(11)1)(1()1(11)1()0()

2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(20

00000)]2()[1(2

2

2222

2

2=由:

3.7设某信源在开始时的概率分布为P{X 0=0}=0.6;P{ X 0=1}=0.3; P{ X 0=2}=0.1。第一个单位

时间的条件概率分布分别是:

P{ X 1=0/ X 0=0}=1/3; P{X 1=1/ X 0=0}=1/3; P{ X 1=2/ X 0=0}=1/3; P{ X 1=0/ X 0=1}=1/3; P{ X 1=1/ X 0=1}=1/3; P{ X 1=2/ X 0=1}=1/3; P{X 1=0/ X 0=2}=1/2; P{ X 1=1/ X 0=2}=1/2; P{ X 1=2/ X 0=2}=0.

后面发出的Xi 概率只与Xi-1有关,有P(Xi/Xi-1)=P(X 1/ X 0)(i ≥2)试画出该信源的香农线图,并计算信源的极限熵H ∞。 解:

[][]bit/symbl

439.1)2

1

log 2141(2)31log 3183(3)31log 3183(3 )

/(log )/()(41)(83)(8

3)()3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()3,2,1)(()3,2,1,(0)2(023/13/13/19/218/718/79/218/73/102/12/13/13/13/13/13/13/102/12/13/13/13/13/13/13/1)]2([02/12/13/13/13/13/13/13/1210][2

1 0 3

1

32

13

2132132100=??-??-??-=-=∴??

???????===??????

??????=>=++?????

??????????????????????????=∴=>==∴??

??

?

?????=?????????????????????==∴??

??

?

?????=∑∑=∞i j i j i j i i T i S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p j i n pij n P P P P =由存在极限概率信源具有各态经历性,,既有时二步转移概率均大于且一步转移概率为:有记忆信源:由题意,此信源为一阶

香农线图如下:

答案~信息论与编码练习

1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号,并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完? 解答:消息是一个二元序列,且为等概率分布,即P(0)=P(1)=1/2,故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为: 信道容量(最大信息传输率)为: C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为: Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量=10× Rt ≈ 1.288×104比特 可见,此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量,故从信息传输的角度来考虑,不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为: 试求这两个信道的信道容量,并问这两个信道是否有噪声? 3 、已知随即变量X 和Y 的联合分布如下所示: 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答:(1)由信道1的信道矩阵可知为对称信道故C 有熵损失,有噪声。(2)为对称信道,输入为等概率分布时达到信道容量无噪声

信息论与编码试卷与答案

一、(11’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是 0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 (6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。 (8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关 三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分) 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分) I(A|B)=-log0.375=1.42bit (1分) 四、(5')证明:平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明:

信息论与编码试题集与答案(2014)

一填空题 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量,也表示发X 前后Y 的平均不确定性减少的量,还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量,可采用(1)用频带换信噪比; (2)用信噪比换频带。 4、只要,当N 足够长时,一定存在一种无失真编码。 5、当R <C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 6、1948年,美国数学家 香农 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源,其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ,b]区间内均匀分布时,其信源熵为 log2(b-a ) 。

信息论与编码试卷及答案(多篇)

一、概念简答题(每题5分,共40分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? 答:平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系? 答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。 4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。 答:通信系统模型如下:

数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有, 。说明经数据处理后,一般只会增加信息的损失。 5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。 .答:香农公式为,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。 由得,则 6.解释无失真变长信源编码定理。 .答:只要,当N足够长时,一定存在一种无失真编码。 7.解释有噪信道编码定理。 答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和? 答:1)保真度准则为:平均失真度不大于允许的失真度。 2)因为失真矩阵中每行都有一个0,所以有,而。 二、综合题(每题10分,共60分) 1.黑白气象传真图的消息只有黑色和白色两种,求:

姜丹 信息论与编码习题参考答案

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 66样本空间:2221111 616==-=∴====-=∴===?== (3)信源空间: bit x H 32.436log 361 6236log 36215)(=??+?? =∴ (4)信源空间: bit x H 71.36 36 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴++ (5) bit P a I N n P 17.111 36log log )(3611333==-=∴== 1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解:

bit a P a P a a P a I a P A i 58.548log )(log )()(H 48 log )(log )(48 1 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1)(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于女: 平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于男士 1.4某一无记忆信源的符号集为{0,1},已知。 ,3 23 110= =p p (1) 求符号的平均信息量; (2) 由1000个符号构成的序列,求某一特定序列(例如有m 个“0”,(1000-m )个“1”)的自信量的 表达式; (3) 计算(2)中序列的熵。 解:

信息论与编码课后习题答案

1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为: 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前,先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2.设有一个无记忆信源发出符号A 和B ,已知4 341)(.)(= =B p A p 。求: ①计算该信源熵; ②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码习题与答案第四章

4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ,通过一个二进制对称信道(BSC )。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ,j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。 解:由题意得, 失真矩阵为d ??????=0110d ,信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3},且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。 解:由题意,得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真,0→0,1→1,2→2,3→3,相应的编码器转移概率矩阵为

????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ,,14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?, 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种,其中一种为:p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P

信息论与编码期中试卷及答案

信息论与编码期中试题答案 一、(10’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 二、(10?)判断题 (1)信息就是一种消息。(? ) (2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(? ) (3)概率大的事件自信息量大。(? ) (4)互信息量可正、可负亦可为零。(? ) (5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。 (? ) (6)对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。(? ) (7)非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。(? ) (8)信源变长编码的核心问题是寻找紧致码(或最佳码)。 (? ) (9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、(10?)居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (5分) 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (4分) I(A|B)=-log0.375=1.42bit (1分)

信息论与编码理论习题答案

第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的 信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信 息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的 点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字,0,1,…,9。奇数在传送过程中以0.5的概 率错成另外一个奇数,其余正确接收,求收到一个数字平均得到的信息量。 解: 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概,由信道条件可知,

信息论与编码试题集与答案

一填空题(本题20分,每小题2分) 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下: 5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。 6、只要,当N足够长时,一定存在一种无失真编码。 7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位,可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵,。 19、对于n元m阶马尔可夫信源,其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a,b]区间内均匀分布时,其信源熵为 log2(b-a)。

信息论与编码第三章曹雪虹习题答案

第三章 3.1 设二元对称信道的传递矩阵为? ?????????32313132 (1) 若P(0) = 3/4, P(1) = 1/4,求H(X), H(X/Y), H(Y/X)和I(X;Y); (2) 求该信道的信道容量及其达到信道容量时的输入概率分布; 解: 1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833.031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?= +=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2221122 max (;)log log 2(lg lg )log 100.082 /3333 mi C I X Y m H bit symbol ==-=++?=其最佳输入分布为1 ()2 i p x = 3-2某信源发送端有2个符号,i x ,i =1,2;()i p x a =,每秒发出一个符号。接受端有3 种符号i y ,j =1,2,3,转移概率矩阵为1/21/201/21/41/4P ?? =? ? ?? 。 (1) 计算接受端的平均不确定度; (2) 计算由于噪声产生的不确定度(|)H Y X ; (3) 计算信道容量。

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特; 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦,它有???? ??37种排法,Y 表示梧桐树可以栽 种的位置,它有???? ??58种排法,所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地; Z=0表示学过英语,Z=1表示未学过英语,由此得

信息论与编码(第二版)曹雪虹(最全版本)答案

《信息论与编码(第二版)》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =0.8,(0|11)p =0.2, (1|00)p =0.2,(1|11)p =0.8,(0|01)p =0.5,(0|10)p =0.5,(1|01)p =0.5,(1|10)p =0.5。画出 状态图,并计算各状态的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息熵在图像处理中的应用

信息熵在图像处理中的应用 摘要:为了寻找快速有效的图像处理方法,信息理论越来越多地渗透到图像处理技术中。文章介绍了信息熵在图像处理中的应用,总 结了一些基于熵的图像处理特别是图像分割技术的方法,及其在这一领域内的应用现状和前景 同时介绍了熵在织物疵点检测中的应用。 Application of Information Entropy on Image Analysis Abstract :In order to find fast and efficient methods of image analysis ,information theory is used more and more in image analysis .The paper introduces the application of information entropy on the image analysis ,and summarizes some methods of image analysis based on information entropy ,especially the image segmentation method .At the same time ,the methods and application of fabric defect inspection based on information entropy ale introduced . 信息论是人们在长期通信实践活动中,由通信技术与概率论、随机过程、数理统计等学科相结合而逐步发展起来的一门新兴交叉学科。而熵是信息论中事件出现概率的不确定性的量度,能有效反映事件包含的信息。随着科学技术,特别是信息技术的迅猛发展,信息理论在通信领域中发挥了越来越重要的作用,由于信息理论解决问题的思路和方法独特、新颖和有效,信息论已渗透到其他科学领域。随着计算机技术和数学理论的不断发展,人工智能、神经网络、遗传算法、模糊理论的不断完善,信息理论的应用越来越广泛。在图像处理研究中,信息熵也越来越受到关注。 1 信息熵 1948年,美国科学家香农(C .E .Shannon)发表了一篇著名的论文《通信的数学理论》 。他从研究通信系统传输的实质出发,对信息做了科学的定义,并进行了定性和定量的描述。 他指出,信息是事物运动状态或存在方式的不确定性的描述。其通信系统的模型如下所示: 图1 信息的传播 信息的基本作用就是消除人们对事物的不确定性。信息熵是信息论中用于度量信息量的一个概念。假定X 是随机变量χ的集合,p (x )表示其概率密度,计算此随机变量的信息熵H (x )的公式是 P (x ,y )表示一对随机变量的联合密度函数,他们的联合熵H (x ,y )可以表示为 信息熵描述的是信源的不确定性,是信源中所有目标的平均信息量。信息量是信息论的中心概念,将熵作为一个随机事件的不确定性或信息量的量度,它奠定了现代信息论的科学理论基础,大大地促进了信息论的发展。设信源X 发符号a i ,的概率为Pi ,其中i=1,2,…,r ,P i >O ,要∑=r i Pi 1=1,则信息熵的代数定义形式为:

信息论与编码(曹雪虹_张宗橙)第二、三章答案

2-1.解:该一阶马尔可夫信源,由转移概率构成的转移矩阵为: 对应的状态图如右图所示。设各符号稳定概率为:1p ,2p ,3p 则可得方程组: 1p = 211p +312p +313p 2p =211p +323p 3p =3 22p 1p +2p +3p =1 解得各符号稳态概率为: 1p = 2510,2p =259,3p =25 6 2-2.解:该马尔可夫信源的符号条件概率矩阵为: 状态转移概率矩阵为: 对应的状态图如右图所示。

设各状态的稳态分布概率为1W ,2W ,3W ,4W ,则可得方程组为: 1W =0.81W +0.53W 2W =0.21W +0.53W 3W =0.52W +0.24W 4W =0.52W +0.84W 1W +2W +3W +4W =1 解得稳定分布的概率为: 1W = 145,2W =142,3W =142,4W =14 5 2-3.解:(1)“3和5同时出现”事件的概率为: p(3,5)= 18 1 故其自信息量为: I(3,5)=-㏒2 18 1 =4.17bit (2)“两个1同时出现”事件的概率为: p(1,1)= 36 1 故其自信息量为: I(1,1)=- ㏒2 36 1 =5.17bit (3)两个点数的各种组合构成的信源,其概率空间为: 则该信源熵为: H(x 1)=6× 36 1 lb36+15×181lb18=4.337bit/事件 (4)两个点数之和构成的信源,其概率空间为:

则该信源的熵为: H(x 2)=2× 361 lb36+2×181lb18+2×121lb12+2×91lb9+2×365lb 536+6 1lb6 =3.274bit/事件 (5)两个点数中至少有一个是1的概率为: p(1)= 36 11 故其自信息量为: I(1)= -㏒2 36 11 =1.7105bit 2-7.解:(1)离散无记忆信源的每个符号的自信息量为 I(x 1)= -㏒2 83 =1.415bit I(x 2)= -㏒241 =2bit I(x 3)= -㏒241 =2bit I(x 4)= -㏒28 1 =3bit (2)由于信源发出消息符号序列有12个2,14个0,13个1,6个3,故该消息符 号序列的自信息量为: I(x)= -㏒2( 8 3)14 (41)25 (81)6 =87.81bit 平均每个符号携带的信息量为: L H (x)= 45 ) (x I =1.95bit/符号 2-10 解:用1x 表示第一次摸出的球为黑色,用2x 表示第一次摸出的球为白色,用1y 表示第二次摸出的球为黑色,用2y 表示第二次摸出的球为白色,则 (1)一次实验包含的不确定度为: H(X)=-p(1x )lbp(1x )-p(2x )lbp(2x )=- 13lb 13-23lb 2 3 =0.92 bit (2)第一次实验X 摸出的球是黑色,第二次实验Y 给出的不确定度: H(Y|1x )=-p(1y |1x )lb p(1y |1x )-p(2y |1x )lb p(2y |1x ) = - 27lb 27-57lb 57 = 0.86 bit (3)第一次实验X 摸出的球是白色,第二次实验Y 给出的不确定度:

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =, (1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态 的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息理论与编码期末试卷A及答案

一、填空题(每空1分,共35分) 1、1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。信息论的基础理论是 ,它属于狭义信息论。 2、信号是 的载体,消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ,先验概率分别为5.0=a P ,25.0=b P ,125.0=c P ,0625.0==e d P P ,则符号“a ”的自信息量为 bit ,此信源的熵为 bit/符号。 4、某离散无记忆信源X ,其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ,则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面,一是 ,二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件:一、 ; 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100,则该信道的信道容量C=__________。 10、根据是否允许失真,信源编码可分为 和 。 11、信源编码的概率匹配原则是:概率大的信源符号用 ,概率小的信源符号用 。(填 短码或长码) 12、在现代通信系统中,信源编码主要用于解决信息传输中的 性,信道编码主要用于解决信息传输中的 性,保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4,则该码最多能检测出 个随机错,最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价,通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径,包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类:即 和 。 二、选择题(每小题1分,共10分) 1、下列不属于消息的是( )。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ,已知4341)(,)(==B p A p ,发出二重符号序列消息的信源, 无记忆信源熵)(2X H 为( )。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12,则得到的自信息为( )。 A. -log36bit B. log36bit C. -log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1,由于存在失真,传输时会产生误码,用符号表示下列事件,x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ,则已知收到的符号,被告知发出的符号能得到的信息量是( )。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2,V 20≤≤x ,则信源的相对熵为( )。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质: ( ) A .非负性 B .完备性 C .对称性 D .确定性 信息论与编码 信息论与编码

信息论基础-理论教学大纲.doc

《信息论基础》课程教学大纲 课程编号:(0531305) 课程名称:信息论基础 参考学时:48 其中实验或上机学时:0 先修课及后续课:先修课:概率论、信号与系统 后续课:通信原理、数字图像处理、语音信号处理 说明部分 1.课程性质 本课程是电子信息类专业的技术基础课 2.课程教学的目的及意义 人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪一一高度信息化时代,信息的重要性更是不言而喻。信息业的发展,需要大量从事信息、通信、电子工程类专业的人才,而《信息论基础》课程为电子信息工程学科的基础课,同时也可作为信息科学其它相关学科的选修课,掌握它,可以指导理论研究和工程应用。 本课程注重基本概念、基本理论和基本分析方法的论述,并结合实例建立数学模型,给出推演过程,力求物理概念清晰、数学结构严谨和完整、逐步深入展开C通过该课程的学习,使学生掌握香农信息论的三个基本概念,与之相应的三个编码定理,以及信源编码、信道编码的基本理论和主要方法,培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论,为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。 3.教学内容及教学要求 教学内容: 该课程是电子信息工程、信息安全工程专业的专业基础课。是为了适应数字通信、信息处理和信息安全等方而的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法,研究信息提取、传输和处理的一般规律,提高信息系统的有效性和可靠性, 实现信息系统的最优化。 信息论是现代通信与信息工程的理论基础,主要内容包括:信息的定义和测度;各类离散信源和信息蜻;剩余度;信道和互信息;平均互信息和信道容量;数据处理和信息测量理论;信息率失真函数和数据压缩原理;离散信源无失真和限失真信源编码理论和编码方法;离散有噪信道编码理论和编码原则。 教学基本要求: 了解通信系统各部分的主要组成以及作用、香农的三大编码定理; 掌握各类离散信源和信息烯、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。 4.教学重点、难点 教学重点: 信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。

相关主题
相关文档 最新文档