当前位置:文档之家› 信息论与编码习题参考答桉1

信息论与编码习题参考答桉1

信息论与编码习题参考答桉1
信息论与编码习题参考答桉1

信息论与编码习题参考答案 第一章 单符号离散信源

1.1同时掷一对均匀的子,试求:

(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;

(5)“两个点数中至少有一个是1”的自信息量。 解:

bit

P a I N n P bit P a I N n P c c N 17.536log log )(36

1)2(17.418log log )(362)1(36662221111

616==-=∴=

=

==-=∴=

==?==样本空间:

(3)信源空间:

X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x)

1/36

2/36

1/36

bit

x H 32.436log 36

162

36log

36

215)(=??

+??

=∴

(4)信源空间:

X 2 3 4 5 6 7 8 9 10 11 12 P(x)

1/36

2/36

3/36

4/36

5/36

6/36

5/36

4/36

3/36

2/36

1/36

bit

x H 71.36

36l og

36

6

5

36l og 36

10

4

36l og

36

83

36l og

3662

36l og 36

436l og 36

2)(=

??+

?+

?+

??=

∴+

(5)

bit

P a I N

n P 17.111

36log

log )(36

11333==-=∴=

=

1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格内,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格内。

若仅有质点A ,求A 落入任一方格的平均信息量; 若已知A 已落入,求B 落入的平均信息量; 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解:

a P a I a P A 48

log )(log )(48

1)(:)1(48

i i i =-=∴=

落入任一格的概率

bit

b P b P b b P b I b P A i 55.547log )(log )()(H 47

log )(log )(47

1)(:B ,)2(48

1

i i i i i ==-=∴=-=∴=

∑=落入任一格的概率是

落入任一格的情况下在已知 bit

AB P AB

P AB H AB P AB I AB P AB i i i

i i i i 14.11)4748log()(log )()()

(log )(47

148

1)()3(47

481

=?=-

=-=∴?

=

∑?=是同时落入某两格的概率

1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解:

bit

w P w P w P w P m m P m I w P w I bit

m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%

99.5%-log0.5%

-0.5% )

(log )()(log )()(H %

5.99log )(log )(%

5.0log )(log )(36

6.0log93%93%-log7%-7% )

(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:

=??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量:

:回答“不是”的信息量回答“是”的信息量:对于女:

平均每个回答信息量:

:回答“不是”的信息量回答“是”的信息量:对于男士

1.4某一无记忆信源的符号集为{0,1},已知。

,32311

0=

=

p

p

求符号的平均信息量;

由1000个符号构成的序列,求某一特定序列(例如有m 个“0”,(1000-m )个“1”)的自信量的表达式; 计算(2)中序列的熵。 解:

3

2log

3

)

1000(23

1log 3

log log )(

ce bit/sequen

918918.01000)(1000)(3 32log

)1000(31log

log )1000(log )(2/ 918.03

2log

3231log

31log log )(110001

111

0001100∑

∑-==--

-

=-

-==?==---=---==?-?-

=--=m

i m

i m m p p p p A H X H A H bit

m m p m p m A I symble

bit p p p p x H )()()(

1.5设信源X 的信源空间为:

??

?? 0.3 0.18 0.16 0.18 0.19 0.17 X)( a a a a a a X ][654321p p x ::

求信源熵,并解释为什么H(X)>log6,不满足信源熵的极值性。解:

立的约束条件,所以

不满足信源熵最大值成

但是本题中

的约束条件下求得的,值是在

这是因为信源熵的最大

,不满足信源熵的极值性

可见log6H (X)

18.1 1

585.2log6

2.725

H (X)

bit/symble 725.2 3.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )

(log )()(6

1

6

1

>===>==--?---=-=∑

∑==i r

i i i i i p p a p a p X H

1.6为了使电视图象获得良好的清晰度和规定的对比度,需要用5×105个像素和10个不同的亮度电平,并设每秒要传送30帧图象,所有的像素是独立的,且所有亮度电平等概出现。求传输此图象所需要的信息率(bit/s )。 解:

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.310

5)(H 105)(H bit/pels

322.310log )(log )()(H 7

6

6

5

05

10

1

0?=??=?=∴?=??=??====

=frame bit X H s frame r x X a p a p x i i i 所需信息速率为:

每帧图像的熵是:每个像素的熵是:,由熵的极值性:

由于亮度电平等概出现

1.7设某彩电系统,除了满足对于黑白电视系统的上述要求外,还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大

2.5倍左右。 证:

.

5.2,,5.25

.2477.210

log 300log )

(H )(H pels

/bit 300log )(log )()(H bit 3001030,

10,,3001300

1

1倍左右比黑白电视系统高

彩色电视系统信息率要

图形所以传输相同的倍作用大信息量比黑白电视系统

彩色电视系统每个像素每个像素的熵是:量化

所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈==

==

∴=?∑

=x x b p b p x i i i

1.8每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现。问每帧图像含有多少信息量?若现在有一个广播员,在约10000个汉字中选1000个字来口述这一电视图像,试问若要恰当地描述此图像,广播员在口述中至少需要多少汉字? 解:

个汉字

最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率

每帧图象所含信息量5

5

6

6

5

5

10322.6/10

322.61

.0l og 10

1.2)

()()()(,l og

H (c)

:1.010*******symbl e

/bi t 10

1.2128

l og 10

3)(10

3)(:

?∴?=-?=

≤-=∴==

?=??=??=f rame

c H X H n c nH X H n p

p x H X H

1.9给定一个概率分布

)

,...,,(21n p p p 和一个整数m ,

n

m ≤≤0。定义

∑=-=m

i i

m p q 1

1,证明:

)

l o g (),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立?

证:

∑+==-

-=>-=<-

=''-=''∴>-=''-=''>-=n

m i i

i m

i i i n p p p p p p p H x x x x f x

e x x x

f x x e x x x f x x x x f 1

1

21log log ),...,,(

)0(log )( 0log )log ()(0

log )log ()()0(log )( 又为凸函数。即又为凸函数,如下:先证明

时等式成立。

当且仅当时等式成立。

当且仅当即可得:

的算术平均值的函数,

函数的平均值小于变量

由凸函数的性质,变量

n m m m m m n m

m m

i i i m m m m m m

i i i n

m i i i m

i i i n n m m m m m n

m i i i m

m n

m i i

n

m i i

n

m i i

n

m i i n

m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m

n q q m n p m n p m n m n p f m n m

n p f m n p p ===-+≤--=-+--≤-

-=∴===-+-≤-

--=----=---≤---=-

++==+==+++=+=+=+=+=+=∑∑∑

∑∑

...)log(),,...,,(),...,,(log log ),,...,,()

log(log log log log ),...,,(...)

log(log log log

log )()()()

()

(log 2121211

211

1

1

21211

1111

1

1.10找出两种特殊分布:

p1≥p2≥p3≥…≥pn ,p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。

解:

∑∑==-==-=m

i i

i m n

i i i n q q q q q H p p p p p H 1

211

21log ),...,,(log ),...,,(

1.15两个离散随机变量X 和Y ,其和为Z =X +Y ,若X 和Y 统计独立,求证: H(X)≤H(Z), H(Y)≤H(Z) H(XY)≥H(Z) 证明:

∑∑∑

∑∑∑

∑∑

∑∑

∑∑

∑=================≥+-

≥+-

+-=≥

+?-≥-

=??-≤++-≤-=∴??

??????s

j j j r

i s j j i j r i s

j j i j

r

s

j j i i s

s

j j i s s

j j i t

k k k r

s

j j i j i

r

s

j j i j i t

k k k s s r r

q q q p q q p q

q p p q p q p pz pz Z H XY H q p q p

b a p b a p pz pz Z H Y X q q q Y P b b b P p p p X P a a a P 1

1

1

11

1i 11

i 1

1

i 11

1

i 1

1

i 11

21212121)

log(-)log( )

log())log(( )log(

)(log )()

()log()( )(log )(log )(, ... )( ... Y :][Y ... )( ... X :][X Y X =又统计独立

又的信源空间为:

、设

第二章 单符号离散信道

2.1设信源

.30 .70 )( X :][X 21????X P a a P 通过一信道,信道的输出随机变量Y 的符号集

}

,{:21b b Y ,信道的矩阵:

??

?

?

??=4/34/16/16

/5][ 212

1a a P b b

试求:

收到消息Y =b1,Y =b2后,获得关于 1、 2的互交信息量:I( 1;b1)、I( 1;b2)、I( 2;b1)、I( 2;b2); 信源X 和信宿Y 的信息熵;

信道疑义度H(X/Y)和噪声熵H(Y/X);

接收到消息Y 后获得的平均互交信息量I(X;Y)。 解:

bit/symble

228.0698.0926.0)()()5(symble /bit 653.0926.0698.0881.0)()()()( )

()()()( bit/symble

698.0)(log )()()(log )()()4(bit/symble

926.0)120

41log

120

41120

79log

120

79(

)(log )()( bit/symble

881.0)3.0log 3.07.0log 7.0()(log )()(120

41)()()( 12079)()()(:)3( 134.14

/33.06/17.04

/3log )

()(log

);(I 766.04

/13.06/57.04

/1log

)()(log );(I 036.14

/33.06/17.06

/1log )

()(log );(I 34.04

/13.06/57.06

/5log

)()(log );(I )2( 737.13.0log )(log )(I 5415.07.0log )(log )(I (1)2

1

2

1

2

1

2

1

2

1

2

12

1

222

1112222212112212211111121211=-=-=∴=-+=-+=∴-=-===

=

=+

-=-==+-=-=∴=

=

===?+?==-=?+?==-=?+?===?+?===-=-==-=-=∑∑

∑∑

∑∑∑

========X Y H Y H I(X;Y)Y H X Y H X H Y X H Y X H X H X Y H Y H I(X;Y)a b p a b p a p a b p b a p X Y H b p b p Y H a p a p X H a b p a p b p a b p a p b p bit

b p a b p b a bit

b p a b p b a bit

b p a b p b a bit

b p a b p b a bit a p a bit a p a j i i j i j i j i i j j i j j j i i i i i i i i i 又由上

2.2某二进制对称信道,其信道矩阵是:

??

?

?

??=

98.002

.002.098.010][1 0 P

设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号,并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传送完。 解:

.,1500bit/s,

s

/bit 98.1201s 10/symble 14000:

1400010symble /bit 859.098.0log 98.002.0log 02.01)1log()1(log 1)(1);(故不可能无失真传输

最大码率

超过了信道所能提供的

而输入信源码率为

为个二进制符号最大码率

秒钟内传送信道在入等概信源

由于二进制对称信道输

=?=∴=++=--++=-==∴C C H C Y X I t εεεεε

2.3有两个二元随机变量X 和Y ,它们的联合概率为P[X=0,Y=0]=1/8,P[X=0,Y=1]=3/8,P[X=1,Y=1]=1/8,P[X=1,Y=0]=3/8。定义另一随机变量Z=XY ,试计算:

H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);

H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解:

symble

/bit 406.1:symble

/bit 406.181log 81083log 83)8381log()8381

( ))11(log )11()01(log )01()10(log )10()00(log )00(( )

(log )()(bit/symble

544.0)8

1log 8

18

7log

8

7(

symble

/bit 1)21log 2121log 2

1()(

symble;/bit 1)21log

2121log

21()(;

81)1,1(;8

3)0,1(;0)1,0(;2

1)0()0,0( ;

81)1,1(;8

3)0,1(;0)1,0(;2

1)0()0,0(.

81)1(;8

7838

38

1)0(:: .

218381)1(;218381)0(: .

218381)1(;2

18381)0(: :)1(2

12

1

===??????+++++-=+++-=-==+

-==+

-==+-=∴=

==============

===

===========

==+

+

=

===+=

==+===+=

==+==∑∑

==H(XZ)H(YZ)Z Y X p p p p p p p p z x p z x p XZ H H(Z)Y H X H Z Y p Z Y p Z Y p Y p Z Y p Z X p Z X p Z X p X p Z X p Z p Z p X XY Z Y p Y p Y X p X p X xz xz xz xz xz xz xz xz i k k i k i 的概率分布

、、由上面且的分布的分布为

的分布的分布由题意

[]

[][]bit/symble

0)8

/18/1log 8

18

/38/3log

838

/38/3log

8

38

/18/1log

81(

)

)

11()111(log

)111()

10()100(log

)100()01()010(log )010()00()000(log )000(()

()(log

)()(log )()(bit/symble

406.0)()(bit/symble

406.0)8

/18/1log 8

12

/18/3log

838

/38/3log

8

32

/18/1log

81(

)

)

11()111(log

)111()

00()100(log

)100()10()010(log )010()00()000(log )000(()

()(log

)()(log )()(0

)110()011()101()001(bit/symble 4060)()(bit/symble

8620)()( :的概率Z 、Y 、X 由bit/symble

4060)2

181log

812

183log

8302

121log

21(

)11(log )11()01(log )10()10(log )01()00(log )00()

()(log

)()(log )()(bit/symble

8620)8

181log

8

18

783log

8

308

721log

21(

)11(log )11()01(log )10()10(log )01()00(log )00()

()(log

)()(log )()(:

同理bit/symble 8110)()()()()()()()()(bit/symble

8110)4

1log

8143log

8343log

8341log

81(

)11(log )11()01(log )10()10(log )01()00(log )00()

(log )()(4

12

181)

1()11()11(4

32

183)

1()01()10(4

32

183)

0()10()01(4

12

181)

0()00()00()00(22

1

2

12

1

2

1

2

12

1

2

1

2

12

1

2

1

2

12

1

2

12

1

2

12

12

1

2

1

2

1

2

1

2

1

2

1

p p p p p p p p p p p p y x p z y x p z y x p y x z p z y x p XY Z H YZ X H XZ Y H p p p p p p p p p p p p z y p z y x p z y x p z y x p z y x p YZ X H p p p p .X Z H Y Z H .Z X H Z Y H .//////p p p p p p p p x p x z p x z p x z p x z p X Z H .//////p p p p p p p p z p z x p z x p z x p z x p Z X H .Y X H X Y H Y H X 且H X Y H Y H Y X H X H X;Y I .p p p p p p p p y x p y x p Y X H .

//p p ;p //p p p ;

//p p ;p //p p p Y X )p (xy xyz xyz xy xyz xyz xy xyz xyz xy xyz xyz j i k j i i j k k j i j i k i j k k j i yz xyz xyz yz xyz xyz yz xyz xyz yz xyz xyz k j k j i i j k k j i k j i i j k k j i xyz xyz xyz xyz zx zx zx zx zx zx zx zx k i i i k i k k i i k i k xz xz xz xz xz xz xz xz i k k k i k i i k k i k i xy xy xy xy xy xy xy xy i j j i j i y xy xy y xy xy y xy xy y xy xy =++

+-=+++-=-=-=∴===+++-=+++-=-=-=∴=========?+?+

+?-=+++-=-=-==?+

?+

+?-=+++-=-=-===∴=-=-==?+?+?+?-=+++-=-=∴==

=

=

=

=

=

=

=

=

=

=

===∑

∑∑

∑∑

∑∑

∑∑

∑∑

∑∑∑

====================== symble

/bit 405.0406.0811.0)()()( symble /bit 405.0406.0811.0)()()( symble /bit 456.0406.0862.0)()()( symble

/bit 138.0862.01)()()( symble /bit 138.0862.01)()()( symble /bit 189.0811.01)()()(:)3(=-=-==-=-==-=-==-=-==-=-==-=-=YZ X H Y X H Y X;Z I XZ Y H X Y H X Y;Z I YZ X H Z X H Z X;Y I Z Y H Y H Y;Z I Z X H X H X;Z I Y X H X H X;Y I 由上

2.4已知信源X 的信源空间为

??

??4.0 2.0 3.0 1.0 :)( ::][4

321X P a a a a X P X

某信道的信道矩阵为:

b1 b2 b3 b4

??

???

?

?

??

?

??2.04

.03

.01

.02.01.02.05

.01

.01.02.06

.04.01.03.02

.04321a a a a

试求:

(1)“输入 3,输出b2的概率”; (2)“输出b4的概率”;

(3)“收到b3条件下推测输入 2”的概率。 解:

136

.022

.01.03.0)

()

()()( 22.04.04.01.02.01.03.01.01.0)()()()()3(19.02.04.02.02.01.03.04.01.0 )()()()()2(04

.02.02.0)()();()1(3232324

1

34

1

334

144

14432323=?=

=

=?+?+?+?==

=

=?+?+?+?====?==∑

====b p a b p a p b a p a b p a p b a p b p a b p a p b a p b p a b p a p b a p i i i i i i i i i i

2.5已知从符号B 中获取关于符号A 的信息量是1比特,当符号A 的先验概率P(A)为下列各值时,分别计算收到B 后测A 的后验概率应是多少。 P(A)=10-2; P(A)=1/32; P(A)=0.5。 解:

1

)(,5.0)( 161)(,321)( 10

2)(,10)()

(2)(1)

()(l og

);(2

2

====?==∴=∴==--B A p A p B A p A p B A p A p A p B A p A p B A p B A I 时时时由题意

2.6某信源发出8种消息,它们的先验概率以及相应的码字如下表所列。以a4为例,试求: 消息 a1 a2 a3 a4 a5 a6 a7 a8 概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 码字 000

001

010

011

100

101

110

111

在W4=011中,接到第一个码字“0”后获得关于a4的信息量I(a4;0);

在收到“0”的前提下,从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0); 在收到“01”的前提下,从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01); 从码字W4=011中获取关于a4的信息量I(a4;011)。

bit

38log 8

/11log

)

()101(log

)011;((4)bit

12log )8/18/1/()8/1(1

log )01()101(log

)011;((3)bit

585.13log )

8/18/14/14/1/()8/1()

8/18/1/()8/1(log )

0()01(log

)01;((2)bit

415.03

4log 8

/1)

8/18/14/14/1/()8/1(log )

()0(log )0;()1(44444444444======+====++++====+++==a p a p a I a p a p a I a p a p a I a p a p a I

2.13把n 个二进制对称信道串接起来,每个二进制对称信道的错误传输概率为p(0

解:

1log )( )

()

(log )()

()

(log )();(lim )

10)(()(2

1)1( 2

1)10()0()00()0()0(:)

10(1)1(,)0(:2

1])21(1[2

1lim

lim 121]

)21(1[21]

)

21(1[2

1])21(1[21])

21(1[21]

)

21(1[2

1

])21(1[2

1 11])21(1[21])21(1[21]

)21(1[2

1

])21(1[2

1][,])21(1[2

12222221221221111][:2:

2

1

21

021

2

1

002

1

2

1

000000

1

11

1

1

1

12

2

22

2

2

2

2==

=

=∴=∴=

==

==?=+==?===<<-=====--=∴<---=

--=∴???????

???-+-----+=??

????--??????

??

???-+-----+==--=

-=∴??

?

???-+-+--=??????--?????

??--==∑∑

∑∑

∑∑

==∞==∞∞∞==∞∞∞∞

→∞∞∞∞

→∞

→+++++++i j j

i i j j

i

j

j

i i j j

i

j

j

i n

n n

n n n n n k k k k k k k k k

k

k X

X

p X p X

X

p X X

p X p X

X

p X X

p X

X I x x x p x x p X

p X

X

p X

p X

X p X p X p X

a a X

p a X

p X

p P p p P p P p p p p p p

p

p p p p p P k n p p

p p p p p

p p p p p p p

p

p p p

p

p

P n 或取、则输出信源

其中设输入信源空间故则

时公式成立

假设时由当用数学归纳法证明

2.18试求下列各信道矩阵代表的信道的信道容量:

?????

???????=

0010100000010100][

432114321a a a a P b b b b

????

?

???

??????????=100100010010001001][

b b b 6543212321a a a a a a P

X 0

X 1

X n

X 2

BSC II

BSC N

BSC

I

????

?

???

??=3.01

.02

.04

.00

00007.03.00000

0000004.03.02.01.0][ b b b b b b b b b b 3213109876 54321a a a P

解:

bit/symble

585.13log log :

(3)bit/symble 585.13log log (2)symble /bit 24log log )1(======∴===∴r C s C r C 信道为扩张性无噪信道

信道为归并性无噪信道

系的无噪信道

信道为一一对应确定关

2.19设二进制对称信道的信道矩阵为:

??

?

?

??=4/34

/14/14

/310][1 0 P

若p(0)=2/3,p(1)=1/3,求H(X),H(X/Y),H(Y/X)和I(X;Y);求该信道的信道容量及其达到的输入概率分布。

解:

bit/symble

8113.0)4

3log

433141log

4

13

24

1log

4

13

14

3log

4

33

2(

)(log )()()(log )()(bit/symble

9799.0)12

5log

12

512

7

log

12

7(

)(log )()(1254331413

2)1()()1(127

4

1

314

332)0()()0(bit/symble

9183.0)3

1log

3132log 32(

)(log )()()1(2

1

2

1

2

1

2

1

2

1

2

1

2

12

1

=?+?

+

?

+

?

-=-=-==?+?-=-==

?

+

?

=

==

=?+?

====?+

?-=-=∑

∑∑

∑========i j i j i j i i j i j j i j j j i i i y i i i y i i i x y p x y p x p x y p y x p X Y H y p y p Y H x y p x p p x y p x p p x p x p X H

.

2

1)1()0(,symble /bit 1887.01log 25.0)25.0(2log )1log()(log (2)bit/symble 7497.01686.09183.0);()()(bit/symble 1686.08113.09799.0)()();(C X p X p H r H r C Y X I X H Y X H X Y H Y H Y X I 时达到信道容量即信源输入为等概分布

本信道为强对称信道

=

====--=---=∴=-=-==-=+=∴εε

2.20设某信道的信道矩阵为

????

?

??

?????????=2.01.01.01.01.01

.06.01.01.01.01.01.06.01.01.01

.01.01.06.01.01.01.01.01.06.0][

b b b b b 5432154321a a a a a P

bit/symble 551.0);();((3)(2)bit/symble 551.04log 4.0)4.0(5log )1log()(log )1(53====--=---=∴C Y a I Y a I H r H r C 、道

本信道为强对称离散信

εε

2.21设某信道的信道矩阵为

??

?

?

??=

3/13

/16

/16

/16/16/13/13

/1][ b b b b 214321a a P

试求:(1)该信道的信道容量C ;(2)I(a1;Y);(3)I(a2;Y)。解:

bymble

/bit 0817.0);();()3()2(symble /bit 0817.0)6

1

,61,31,31(4log ),,,(log 1214321

====-=''''-=∴C Y a I Y a I H p p p p H s C 、道

)本信道为对称离散信(

2.22设某信道的信道矩阵为

??

?

?

??=8/18

/12

/14

/18/18/14/12

/1][P

试该信道的信道容量C ; 解:

bit/symble

0612.0 )81,81,41,21(

]81log

81283log

832[),,,()(log )()(8

14121]8181[

1)()()(834321]4121[1)()(2,2,4321

2

1

2

22121211121=-?

+?-=''''--=∴==?=

+?=

===?=+?====∑===H p p p p H b p b p s C b p r

b p b p b p r b p b p s s l l l l l l l l 且道此信道为准对称离散信

2.23求下列二个信道的信道容量,并加以比较(其中0

??

?

?

??----=δδ

δ

δδδ

22][1p q q p P

??

?

?

??----=δδ

δ

δδδp q q p P 20

02][2

解:

.

0:2)log()()log()(2

2log

)2( )

0,2,,()]2(2

1log )2(2

12log 2[ ),,,()(log )()

2(2

1)(1)(22

1)02(1)(2,2,)2(log 2)log()()log()(22log )2( )

2,,(]log )2(2

1log

)2(2

12[ ),,()(log )(22

1)2(1)()

2(2

1)(1)(1

,2,)1(21214321

2

1

22121321

2

1

12121时等号成立

且当表达式可知、由上面且道此信道为准对称离散信且道此信道为准对称离散信=≤+--+--+-+-+-=----+?-+??

+-=''''--=∴-+?=

-+-?=

=?=

+?===++--+--+-+-+-=---+-+?-+??

-='''--=∴=?=

?=

-+?=-+-?===∑∑======δδ

δδδδδ

δδδδδδδδδδδδ

δδδ

δδδδδδδ

δδδδδδδδδ

δδδδδC C C C q q p p q p q p q p H q p q p p p p p H b p b p s C q p q p r

b p r b p s s q q p p q p q p q p H q p q p p p p H b p b p s C r

b p q p q p r b p s s l l l l l l l l l l l l l l l l

2.27设某信道的信道矩阵为

????

?

?????=N p p p P

000][21

其中P1,P2,…,PN 是N 个离散信道的信道矩阵。令C1,C2,…,CN 表示N 个离散信道的容量。试证明,该

信道的容量∑==N

i c i

C 1

2

log

比特/符号,且当每个信道i 的利用率pi =2Ci-C(i =1,2,…,N)时达其容量C 。

证明:

:

)1(,]P [)

,](2

log[

)

1(),2,1()/(log )/()/()

,2,1(:1

1

1

1

1

可以改写为

方程组特点由其中可得解出由方程组

列行为设∑∑∑∑

======

=

===

=?N

m m

N

m m

s

j j s

j i j i j s

j j i j m m m l

r k

s C r i a b p a b p a b p N m k l P j

β

ββ

]

2

log[

)

,,2,1(2

22

:]

2

log[

])2

(log[

]2

log[

2

2

),,,2,1](2

log[

)

2(),2,1( )

/(log )/()/()

/(log )/()/()/(log )/()/(1

)

()

2

log (1

)

(1

1

11

1

1

1

11

112

2

12

2

111

1

11

1

1

2

1

∑∑

∑∑

∑∑

∑∑

∑=--∑=-=================

===∴====???????????=

=

=

=N

m C C C C k j C m N

m C N

m k j s

j C k j k j m s

j i j

pn

i j

pn

k j j

pn

i j pn

s

j i j

p i j

p k j j

p i j p s

j i j

p i j

p k j j

p i j p m

m m k j j

pm

m

j

pm

m

m

j

pm

j

m

m

j

pm

m

j

pm

N

C N m p C N m C r i a b

p a b

p a b p a b

p a b

p a b p a b

p a b

p a b p 时取得信道容量

且在各信道利用率为

即其中 β

β

β

β

β

β

βββ

第三章 多符号离散信源与信道

3.1设X =X1X2…XN 是平稳离散有记忆信源,试证明:

H(X1X2…XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+…+H(XN / X1 X2…XN-1)。 (证明详见p161-p162)

3.2试证明:logr ≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥…≥H(XN / X1 X2…XN-1)。 证明:

)

/()/()/()(log )

(log log )()

/()/()/()(:

)/( )

/(log )( )

/(log )( )/(log )( )/(log )/()()/()

/()/(:

1

21213121

212131222111

11

12211121111112211121111113211211

11

11321

121111212211132----==----==-=---==--=-==--=------≥≥≥≥∴≥≥≥≥=-=-=-=?

?

?

??

?

-

∴=∑∑

∑∑∑

∑∑∑

∑∑

N N

N N

k k r

i r

ik ik i i ik ik i i r

i r

ik r

ik ik i i ik ik ik i i r

i r

ik ik i i ik r

ik ik ik i i r

i r

ik ik i i ik r

ik ik i i ik ik i k k ik i i ik ik i i ik X

X X X

H X X X H X X H X H r X H r r X H X

X X X H X X X H X X H X H X X X X H a a a a p a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a a a p a a p X X X X H a a a a p a a a a p

,即达到最大

,又仅当输入均匀分布时

重复应用上面式子可得

条件概率的平稳性有由离散平稳有记忆信源

3.3试证明离散平稳信源的极限熵:

)

/(lim 1

21-∞

→∞=N N

n X

X X X

H H

(证明详见p165-p167)

3.4设随机变量序列(XYZ)是马氏链,且X :{a1, a 2,…, a r},Y :{b1,b2, …,bs},Z:{c1,c2, …,cL}。又设X 与Y 之间的转移概率为p(bj/ai)(i=1,2, …,r;j=1,2, …,s);Y 与Z 之间的转移概率为p(ck/bj)(k=1,2,…,L;j=1,2, …,s)。试证明:X 与Z 之间的转移概率:

==

s

j j k i j i k b c p a b p a c p 1

)

/()/()/(证明:

∑∑

========∴=∴======

====

=======s

j j k i j i k j k i j k s

j i j k i j s

j i j k i s

j j k i k i k b Y c Z P a X b Y p a c p b c P a b c P Markov XYZ a X b Y c Z P a X b Y p a X b Y c Z p a X b Y c Z p a X c Z p a c p 1

1

1

1

)

/()/()/()

/(),/()

,/()/( )

/,()/,( )

/()/(=序列为

3.5试证明:对于有限齐次马氏链,如果存在一个正整数n0≥1,对于一切i ,j =1,2,…,r ,都有pij(n0)>0,则对每个j =1,2,…,r 都存在状态极限概率:

)

,,2,1()(lim r j p n p j ij n ==∞

(证明详见:p171~175)

3.6设某齐次马氏链的第一步转移概率矩阵为:

??????????p q p q p q 000210 2 1 0

试求:该马氏链的二步转移概率矩阵;平稳后状态“0”、“1”、“2”的极限概率。解:

[][]???????????-=

--=

-=---=-=

--=????????????=>=++??

?

??????????????????????????????

???

????

?++=??

???

?????????????

??==pq

p

pq

q p p pq

pq pq p q p pq q

pq p q p i i p p p p p p p p q p q p q p p p p pq pq

q p pq q p

pq pq q p q

p q p q

p q

p q

p q

P P P T

11)1()0(11)1)(1()1(11)1()0()

2,1,0(0)(1)2()1()0()2()1()0(000)2()1()0()2(20

00000)]2()[1(2

2

2

2

2

2

2

2=由:

3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位时间的条件概率分布分别是:

P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0.

后面发出的Xi 概率只与Xi-1有关,有P(Xi/Xi-1)=P(X1/ X0)(i ≥2)试画出该信源的香农线图,并计算信源的极限熵H ∞。解:

[][]bit/symbl

439.1)2

1log

2141(

2)3

1log

3183(

3)31log

318

3(

3 )/(log )/()(4

1)(83)(83)()

3,2,1(0)(1)()()()()()(02/12/13/13/13/13/13/13/1)()()()

3,2,1)(()

3,2,1,(0)2(023/13

/13

/19

/218/718

/79/218/73

/102

/12

/13/13/13

/13/13/13

/102

/12/13/13/13

/13/13/13

/1)]2([02/12/13

/13/13/13/13/13/1210][2

1 0 3

1

32132132132100=??-??-?

?-=-=∴?????????=

=

=????????????=>=++??

???

??????????????????????????=∴=>==∴????

?

??

?

??=???????????????????

??==∴???

?

??????=∑

=∞i j i j

i j i i T i S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p j i n pij n P P P P =由存在极限概率

信源具有各态经历性,

,既有时二步转移概率均大于且一步转移概率为:

有记忆信源:

由题意,此信源为一阶

香农线图如下:

3.8某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X :{0,1,2},并定义

p

p -=1

试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2); 求信源的极限熵H ∞; p 取何值时H ∞取得最大值。 解:

2

1

1/2

1/2

1/3

1/3 1/3

1/3

1/3 1/3

0 1 2

p/2

p/2 p/2

p/2

p/2

p/2 p

p

)bit/symbl

2

log log ()2log 2

3

12

log

2

31log 3

1(

3 )

/(log )/()()2(3

1)(31)(31)()

3,2,1(0)(1

)()()()()()(2

/2/2/2/2/2/)()()()

3,2,1)(()

3,2,1,(0)1(012/2/2/2/2/2/210][2 1 0 )1(3

1

32132132132100p p p p p p p p p p S S p S S p S p H S p S p S p i S p S p S p S p S p S p S p p p p p p p p p p S p S p S p i S p j i n p n p p p p p p p p p P i j i j

i j i i T

i ij +-=?+

?

+?-=-=∴??

??

?

????

==

=????????????=>=++????

???????????

?

???

???????????

?=∴=>==∴??

?

?

??????=∑

=∞=由存在极限概率信源具有各态经历性,,既有时二步转移概率均大于移概率为:

由题意,此信源一步转

symble

/bit 585.13log 3

23

12

212

2

)2

log 22log 2

log ()2

log log ((3)max

===

==

=∴=+

++

+-=+-=∞

∞∞H H p p p p p p p p p p p p p p p p p H 取得最大,且

时即由熵的极限定理,当

3.9某一阶马尔柯夫信源的状态转移如下图所示,信源符号集为X :{0,1,2}。试求:(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2);(2)求信源的极限熵H ∞;(3)求当p=0,p=1时的信息熵,并作出解释。

解:

p p

p

p

p

p

1

2

bit/symbl

0)1(,1 bit/symbl 0)0(,0(3)bit/symbl )()log log ( )

log 3

1log 3

1log 3

1log 3

1log 3

1log 3

1(

)

/(log )/()()2(3

1)(31)(31)()

3,2,1(0)(1

)()()()()()(000)()()()3,2,1)((,000210][2

1 0 3

1

321321321321=======+-=?+

+

?++?+-=-=∴??

??

?

????

==

=???????????

?=>=++????

???????????

?

???????????????=∴∴??

?

???????=∞∞=∞∑

H H p H H p p H p p p p p p p p p p p p p p p p S S

p S S

p S p H S p S p S p i S p S p S p S p S p S p S p p p

p p p p S p S p S p i S p p p p p p p P i j

i j

i j

i i T

i 时时=由存在极限概率期性、各态经历性信源

此信源为不可约、非周

由状态转移图可知

3.10设某马尔柯夫信源的状态集合S :{S1S2S3},符号集X :{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.求状态极限概率并找出符号的极限概率;计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); 信源的极限熵H ∞.

解:

α2:1/4 S 1

S 2

S 3

α3:1/2

α2:1/2

α1:1

α1:1/2 α3:1/4

symble

/bit 1)2

1log

2121log

21(

)/(log )/()/( symble /bit 1)41log 4121log 21(

)/(log )/()/()2(1432

1724172)()/()(14321724172)()/()(741722172)()/()(:

7

2)(73)(72)()3,2,1(0)(1)()()()()()(0012/12/104/14/30)()()()

3,2,1)((,00

1

2

/12/10

4/14/30

S S S ][S S S 3

1

2223

11113

1

333

1223

111321321321321321321=+-=-==+-=-==

?+?=

=

=?+?===?+?==?????????=

=

=????????????=>=++??

?????????????????????????????=∴∴????

?

???

??=∑∑∑

=====i i i i i i i i i i i i i i i i T

i S a p S a p S X H S a p S a p S X H S p a S p a p S p a S p a p S p a S p a p S p S p S p i S p S p S p S p S p S p S p S p S p S p i S p P 各符号极限概率为

=由存在极限概率

期性、各态经历性信源

此信源为不可约、非周

由状态转移图可知

bit/symbl

660.0 ]

1log 72)21log

2121log

21(73)41log

4143log

4

3(

7

2[

)/(log )/()()3(symble

/bit 01log )/(log )/()/( 3

1

3

1

333=?+

+?+

+?-=-=∴=-=-=∑

∑=∞=i j i j

i j i i i i S S p S S p S p H S a p S a p S X H

3.12下图所示的二进制对称信道是无记忆信道,其中

p

p p p p p >>=+<<,1,1,0,试写出N=3次扩展无记忆信道的信道矩阵[P].

解:

0 p 0 p

X Y p p

????

???

???

??????

??

???

???

?

?=

========

=??=∴=========∈==========∈==32222

2

23

2

32

2

2

2322

2

3

2

2322

222332

2

2

2

2

2

33

222

223

2

2

32

2

23

2222

32

3

2

2

2

2

2

2

3

87654321876543213322118765432132132187654321321321)111()110()101()100()011()010()001()000(][)

111( )110( )101( )100( )011( )010( )001( )000( :

3N )/()/()/()/()111(),110(),101(),100(),011(),010(),001(),000(:;

8,2,1},1,0{},{:

)111(),110(),101(),100(),011(),010(),001(),000(:;

8,2,1},1,0{),(:

,3N p p

p p p p

p p p p

p p p p p p p

p

p p p p

p p p p

p p p p p p p

p p p p p

p p p p p p p p p p p

p

p p p

p p

p p p p

p p

p p p p p p p p p p

p p p p

p p p p p

p p p

p p p p

p p p p p p p p p

p

p p

p p p

p p p p

p p p p p p

P b a p b a p b a p p j b b b b b b i a a a a a a j i j i j i i j j j j j j j j i i i i i i i ααααααααββββββββαββββββββββααααααααα次扩展信道信道矩阵

故直接可以写出

即、、其中输出符号集为

即、、其中信源输入符号集为次扩展后道将二进制对称无记忆信

第五章 多维连续信源与信道

5.8设X(?)是时间函数x(t)的频谱,而函数在T1

-∞

=--=

n fT

n fT n T

n X f X ππππ)sin()

(

)(

(频域抽样定理,证明详见p263-p265)

5.9设随机过程x(t)通过传递函数为K(?)的线性网络,如下图所示.若网络的频宽为F,观察时间为T.试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为:

∑=?

??

??+=FT

n T n K X h Y h 1

2

log )()(

(证明详见p283-p287)

5.11证明:加性高斯白噪声信道的信道容量:

)

1log(2

22N

X N C σ

σ+

=

信息单位/N 维

其中N=2FT,б2X 是信号的方差(均值为零), б2N 是噪声的方差(均值为零). 再证:单位时间的最大信息传输速率

)

1log(02F

N F C X

t σ

+

= 信息单位/秒

(证明详见p293-p297) 网络 K(?)

x(t) y(t)

5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct. 解:

bit/s

78.9965)91log(3000)1log(9

1010log

10:=+?=+

=∴==+∴

=+N

S F C N

S N

N S N N S t 即

由题意有

5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).解:

kHz

C N S C F N S F C N

S t

t

t 05.1510

505.1)

101log(60

410

25.2)

10

1log()1log(:

)1log(;

4164

3

6

)(

10

1

dB

=?=+÷??=

+=

+

=

+=得又由位二进制编码像素则需要个亮度电平来表示一个由题意用

5.14设电话信号的信息率为5.6×104比特/秒.在一个噪声功率谱为N0=5×10-6mW/Hz,限频F 、限输入功率P 的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P 是多少W?若F →∞则P 是多少W?解

mW

1941.010941.12ln 1010

5106.52ln ,2

ln lim ,)2(W 32766.0P W

32766.0)12

(10

410

105)12()1log(,)

1log(,4)1(4

3

6

4

min 0min 10

410

6.53

3

6

0min 0min 03

4

=?=?????===

≤∞→==-?????=-=+

=+

≤=---∞

→??--RN

P N Px C R F F N P F

N P F R F

N P F R kHz F t F F R

则取等号由实现无差错传输则时得最小功率

所以无差错传输所需要

即取等号实现无差错传输则时

5.15已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少?若信噪比提高到15dB,求理论上传送同样的信息率所需的频带.解:

Hz

36.944)

101log(05

.4748)

1log(15)(

bit/s

05.4748)101log(10

3)101log()1log( :1015

dB 103

3

)(

10

1

dB

=+=+

=

==+??=+=+==N

S R F N

S F N

S F C R N

S t 则若最大可能传输的速率为

5.17设某加性高斯白噪声信道的通频带足够宽(F →∞),输入信号的平均功率Ps=1W,噪声功率谱密度N0=10-4W/Hz,,若信源输出信息速率Rt=1.5×104比特/秒.试问单位时间内信源输出的信息量是否全部通过信道?为什么? 解:

.

,,bit/s

10

5.1bit/s 10

4427.12

ln 10

12

ln lim 4

4

4

0否则会产生失真

过信道出的信息量不能全部通

所以单位时间内信源输传输速率于信道所能提供的最大即信源输出信息速率大?=

=

-∞

→t t F R N Ps C

第六章 无失真信源编码

信息论与编码填空题新

2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码,然后—加密—编码,再_信道编 码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是 C Wlog(1 SNR);当归一化信道容量 C/W 趋近于零时,也即信道完全丧失了通信能力,此时 E b /N 。 为-1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H(K )就越 小,其密文中含有的关于明文的信息量 I (MC )就越 大。 5. 已知n = 7 的循环码g(x) x 4 x 2 x 1,则信息位长度k 为_3_,校验多项式h(x)=_x 3 x 1_。 6. 设输入符号表为 X = {0,1},输出符号表为 Y = {0 , 1}。输入信号的概率分布为 p = (1/2 , 1/2),失 真函数为 d (0 , 0) = d (1 , 1) = 0 , d (0 , 1) =2 , d (1 , 0) = 1 ,贝U DU = _0_, R (Dn in ) = 1bit/symbol , 1 0 相应的编码器转移概率矩阵 [p(y/x )] = ; D max = 0.5 , R Dn ax ) = 0,相应的编码器转移概率矩 0 1 阵[p(y/x )]= 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55) , p 5,q 11,贝U (n) 40 ,他的秘密密钥(d,n )= (27,55)。若用户B 向用户A 发送n =2的加密消息,则该加密后的消息为 _8_。 1 ?设X 的取值受限于有限区间] a,b ],则X 服从 均匀 分布时,其熵达到最大;如 X 的均值为 ,方 差受限为 2 ,则X 服从 高斯 分布时,其熵达到最大。 2 .信息论不等式:对于任意实数 z 0,有In z z 1,当且仅当z 1时等式成立。 3 ?设信源为 X={0, 1}, P (0) =1/8,则信源的熵为_1/8Iog 2 8 7/8log 2(7/8)比特/符号,如信源发 出由m 个“0”和(100-m)个“1 ”构成的序列,序列的自信息量为 mlog 28 (100 m)Iog 2(7/8)比特 /符号。 4 .离散对称信道输入等概率时,输出为 等概 分布。 5 ?根据码字所含的码元的个数,编码可分为 定长 编码和 变长 编码。 U u 1 u 2 u 3 u 4 u 5 u 6 6?设DMS 为 ,用二元符号表 X {x 1 0,x 2 1}对 F U 0.37 0.25 0.18 0.10 0.07 0.03 其进行定长编码,若所编的码为{000 , 001, 010, 011, 100, 101},则编码器输出码元的一维概率 P(x 1) 0.747 , P(x 2) 0.253 _。 1. 在现代通信系统中,信源编码主要用于解决信息传输中的 有效性,信道编码主要用于解决信息传 输中的 可靠性 ,加密编码主要用于解决信息传输中的 安全性 。 2. 离散信源 X X 1 X 2 X 3 ,则信源的熵为 1.75bit/ 符号 。 p(x) 1/2 1/4 1/8 1/8 1.在无失真的信源中,信源输出由 H (X )来度量;在有失真的信源中,信源输出由 R (D ) 来度量。

信息论与编码理论习题答案

信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】

第二章 信息量和熵 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速 率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多少信息 量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量? 解:(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和, Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。

信息论与编码试卷与答案

一、(11’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是 0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信源的信源熵H(X)等于2.5,对信源进行等长的无失真二进制编码,则编码长度至少为 3 。 (6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。 (8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。(9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关 三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分) 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分) I(A|B)=-log0.375=1.42bit (1分) 四、(5')证明:平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明:

信息论与编码选择题

单项选择题 1.下面表达式中正确的是(A )。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元,设每个像元有64种彩色度,每种彩度又有16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量(C )。 A. 50?106 B. 75?106 C. 125?106 D. 250?106 3.已知某无记忆三符号信源a,b,c 等概分布,接收端为二符号集,其失真矩阵为d=???? ??????1 21 12 1,则信源的最大平均失真度max D 为( D ) 。 A. 1/3 B. 2/3 C. 3/3 D. 4/3 4.线性分组码不具有的性质是( C )。 A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非0重量 C.最小汉明距离为3 D.任一码字和其校验矩阵的乘积c m H T =0 5.率失真函数的下限为( B )。 A .H(U) B.0 C.I(U; V) D.没有下限 6.纠错编码中,下列哪种措施不能减小差错概率( D )。 A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽 7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗,经测量恰好找出了假珠,不巧假珠又滑落进去,那人找了许久却未找到,但另一人说他用天平最多6次能找出,结果确是如此,这一事件给出的信息量( A )。 A. 0bit B. log6bit C. 6bit D. log240bit 8.下列陈述中,不正确的是( D )。 A.离散无记忆信道中,H (Y )是输入概率向量的凸函数 B.满足格拉夫特不等式的码字为惟一可译码 C.一般地说,线性码的最小距离越大,意味着任意码字间的差别越大,则码的检错、 纠错能力越强 D.满足格拉夫特不等式的信源是惟一可译码

答案~信息论与编码练习

1、有一个二元对称信道,其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号,并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑,10秒钟内能否将这消息序列无失真地传送完? 解答:消息是一个二元序列,且为等概率分布,即P(0)=P(1)=1/2,故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量=14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为: 信道容量(最大信息传输率)为: C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为: Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量=10× Rt ≈ 1.288×104比特 可见,此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量,故从信息传输的角度来考虑,不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布,且有如下两个信道,其转移概率矩阵分别为: 试求这两个信道的信道容量,并问这两个信道是否有噪声? 3 、已知随即变量X 和Y 的联合分布如下所示: 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答:(1)由信道1的信道矩阵可知为对称信道故C 有熵损失,有噪声。(2)为对称信道,输入为等概率分布时达到信道容量无噪声

信息论与编码试题-精选.

模拟试题一 一、概念简答题(共10题,每题5分) 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息(信息熵)?什么是平均互信息?比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少?编码效率最高可达多少? 4.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关系。 5.设某二元码字C={111000,001011,010110,101110}, ①假设码字等概率分布,计算此码的编码效率? ②采用最小距离译码准则,当接收序列为110110时,应译成什么码字? 6.一平稳二元信源,它在任意时间,不论以前发出过什么符号,都按 发出符号,求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。

8.二元无记忆信源,有求:(1)某一信源序列由100个二元符号组成,其中有m个“1”,求其自信息量?(2)求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量:

,,

10.已知一(3,1,3)卷积码编码器,输入输出关系为:

试给出其编码原理框图。 二、综合题(共5题,每题10分) 1.二元平稳马氏链,已知P(0/0)=0.9,P(1/1)=0.8,求: (1)求该马氏信源的符号熵。 (2)每三个符号合成一个来编二进制Huffman码,试建立新信源的模型,给出编码结果。 (3)求每符号对应的平均码长和编码效率。 2.设有一离散信道,其信道矩阵为,求:(1)最佳概率分布?

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为:每帧图像的熵是:每个像素的熵是:,由熵的极值性: 由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是:量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数,如下:先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得: 的算术平均值的函数,函数的平均值小于变量由凸函数的性质,变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n

信息论与编码试题集与答案

一填空题(本题20分,每小题2分) 1、平均自信息为 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下: 5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。 6、只要,当N足够长时,一定存在一种无失真编码。 7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位,可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵,。 19、对于n元m阶马尔可夫信源,其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a,b]区间内均匀分布时,其信源熵为 log2(b-a)。

信息论与编码课后习题答案

1. 有一个马尔可夫信源,已知p(x 1|x 1)=2/3,p(x 2|x 1)=1/3,p(x 1|x 2)=1,p(x 2|x 2)=0,试画出该信源的香农线图,并求出信源熵。 解:该信源的香农线图为: 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前,先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程:)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2.设有一个无记忆信源发出符号A 和B ,已知4 341)(.)(= =B p A p 。求: ①计算该信源熵; ②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率; ③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。 解:①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码试卷及答案

一、概念简答题(每题5分,共40分) 1.什么是平均自信息量与平均互信息,比较一下这两个概念的异同? 平均自信息为:表示信源的平均不确定度,表示平均每个信源消息所提供的信息量。 平均互信息:表示从Y获得的关于每个X的平均信息量;表示发X前后Y的平均不确定性减少的量;表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少? 最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系? 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数,是信道传递概率的U型凸函数。 4.对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理。 数据处理定理为:串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有, 。说明经数据处理后,一般只会增加信息的损失。

5.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。香农公式为 ,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽。 由得,则 6.解释无失真变长信源编码定理。只要,当N足够长时,一定存在一种无失真编码。 7.解释有噪信道编码定理。答:当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。 8.什么是保真度准则?对二元信源,其失真矩阵,求a>0时率失真函数的和?答:1)保真度准则为:平均失真度不大于允许的失真度。 2)因为失真矩阵中每行都有一个0,所以有,而。 二、综合题(每题10分,共60分) 1.黑白气象传真图的消息只有黑色和白色两种,求: 1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵;

信息论与编码习题与答案第四章

4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ,通过一个二进制对称信道(BSC )。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ,j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。 解:由题意得, 失真矩阵为d ??????=0110d ,信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3},且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。 解:由题意,得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真,0→0,1→1,2→2,3→3,相应的编码器转移概率矩阵为

????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ,,14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?, 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种,其中一种为:p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特; 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得, Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦,它有???? ??37种排法,Y 表示梧桐树可以栽 种的位置,它有???? ??58种排法,所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻,因此若告诉你没有两棵梧桐树相邻时,得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取,X=1表示录取; Y=0表示本市,Y=1表示外地; Z=0表示学过英语,Z=1表示未学过英语,由此得

信息论与编码试题集概要

1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 -1.6 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = 0.5 ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ???? 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 (√ ) 2. 线性码一定包含全零码。 (√ ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 (√ ) 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 (√ ) 8. 信道容量是信道中能够传输的最小信息量。 (×) 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方 法叫做最佳译码。 (√ ) 三、计算题 某系统(7,4)码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为:

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ,转移概率为:()11|1/2p u u =,()21|1/2p u u =, ()31|0p u u =,()12|1/3p u u =,()22|0p u u =,()32|2/3p u u =,()13|1/3p u u =,()23|2/3p u u =,()33|0p u u =,画出状态图并求出各符号稳态概率。 解:状态图如下 状态转移矩阵为: 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:(0|00)p =,(0|11)p =,(1|00)p =, (1|11)p =,(0|01)p =,(0|10)p =,(1|01)p =,(1|10)p =。画出状态图,并计算各状态 的稳态概率。 解:(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。 5. 已知n =7的循环码4 2 ()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001?? ???? ;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 ( ) 2. 线性码一定包含全零码。 ( ) 3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。 (×) 4. " 5. 某一信源,不管它是否输出符号,只要这些符号具有某些概率特性,就有信息量。 (×) 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 (×) 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ,当它是正态分布时具 有最大熵。 ( ) 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 ( ) 9. 信道容量是信道中能够传输的最小信息量。 (×) 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 (×) 11. ! 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值,这种译码方

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子,试求: (1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵; (5)“两个点数中至少有一个是1”的自信息量。 解: bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间: (3)信源空间: bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间: bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴++ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==

1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格。 (1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。 解: bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。问这两个回答中各含有多少信息量?平均每个回答中各含有多少信息量?如果你问一位女士,则她的答案中含有多少平均信息量? 解: bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于女: 平均每个回答信息量::回答“不是”的信息量回答“是”的信息量:对于男士

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案,仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3, 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数,可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解: ⑻骰子A和B,掷出7点有以下6种可能: A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6,所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能: A=6,B=6 概率为1/36,所以信息量 -log(1/36)=2+log9 ~ bit 解: 出现各点数的概率和信息量: 1 点:1/21 , log21 ?bit ; 2 点:2/21 , log21-1 ?bit ; 3 点:1/7 , log7 4 点:4/21 , log21-2 5 点:5/21 , log (21/5 )~; 6 点:2/ 7 , log(7/2)? 平均信息量: (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解: X=1:考生被录取;X=0考生未被录取; Y=1:考生来自本市;Y=0考生来自外地; Z=1:考生学过英语;z=o:考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ;P( Y=1/ X=0)=1/10 ;P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论与编码理论习题答案

第二章 信息量和熵 2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它 的信息速率。 解:同步信息均相同,不含信息,因此 每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。问各得到多 少信息量。 解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克(52),问: (a) 任何一种特定的排列所给出的信息量是多少? (b) 若从中抽取13牌,所给出的点数都不相同时得到多少信息量?

解:(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点 数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。 解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立, 则1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit

相关主题
相关文档 最新文档