第3章 信道容量
习题解答
3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3??
????
解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和(;)I X Y 。
i i 2
i=13311
H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号
111121*********
j j j=1
32117
p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125
p(b )=p(a )p(b |a )+p(a )p(b |a )=434312
7755
H(Y)=p(b )log(b )=log()log()0.9799(/)
12121212bit ?+?=
?+?=---=∑符号
22
i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )
2211
log()log()0.9183(/)
3333
i j
j
bit -=-=-?-?=∑∑符号
I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)
(2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量
H(P)=-plog(p)-(1-p)log(1-p)
1122
C =1-H(P)=1+log()+log()=0.0817(bit/)
3333
符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
3-4 设BSC 信道的转移概率矩阵为
1
12211Q εεεε-??=??
-??
1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中
()log (1)log(1)H εεεεε=----。
2）根据()H ε的变化曲线，定性分析信道的容道容量，并说明当12εε=的信道容量。
解：（1）设输入信号的概率颁布是{p,1-p}
111121212
()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =?+?=?-ε+-?ε212122212()()(|)()(|)(1)(1)
p b p a p b a p a p b a p p =?+?=?ε+-?-ε
11221212121212()()log ()()log ()
[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]
H Y p b p b p b p b p p p p p p p p H p p =--=-?-ε+-?ε?-ε+-?ε-?ε+-?-ε?ε+-?-ε=?-ε+-?ε
2
,1111222212(|)()(|)log (|)
[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()
i j i j i i j H Y X p a p b a p b a p p p H p H ==-=-?-ε-ε+εε---ε-ε+εε=?ε+-?ε∑
（2）()H ε的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。
()
()
1212()
max{(;)}max{()(|)}
max{[(1)(1)]()(1)()}
p x p x p x C I X Y H Y H Y X H p p p H p H ==-=?-ε+-?ε-?ε+-?ε
由于函数H （ε）是一个凸函数，有一个性质：
1212((1))()(1)()f f f θ?α+-θ?α≥θ?α+-θ?α
可知：C ≥0
假设12εε==ε时此信道是一个二元对称信道，转移概率分布为：
11Q ε-ε
ε??=??
ε-?? 信道容量：
121-log -(1-)log(1-)1-()
C H εεε
εεεεε==== 3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB ，试计算在这些条件下传送电视的视频信号所需的带宽。 解：
i 1
p(x )=
10
()log10 3.32/I X bit ==像素
1秒内可以传送的信息量为：
3.3219/bit bit ????7像素3010000像素30=2.989710 103
36log(1),:10log ()3010log(110): 2.999510S S
C B dB
N N
S
N
B B HZ
=+=∴=?=+=?7已知2.989710可得
3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度
80/20.510N -=?W ／Hz 的加性高斯白噪声的干扰，信息传输速率
24R =kbit/s ，信号功率1P =W 。
1）若信道带宽无约束，求信道容量；
解：带限的加性高斯白噪声波形信道的信道容量为
无带宽约束时：
00
080
lim lim
log(1)
log 1.442710/S S t w w S S P N W P
C C N P N W P
e bit s
N ->∞
->∞==+==?
2）若信道的频率范围为0到3KHz ，求信道容量和系统的频带利用率/R W （bps/Hz ）(注：W 为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小0/b E N 是多少dB ？ W=3KHZ
在最大信息速率条件下，每传输1比特信息所需的信号能量记为E b
S
b P E =
C
048
8400log(1)log(1)1
3000log(1) 4.5074101103000
24/8/3133.47110 4.507410
S
b S P C W W SNR N W
bps R kbit s bps Hz W KHz E P dB N N C --=+
=+=?+
=???=====???
3）若信道带宽变为100KHz ，欲保持与2）相同的信道容量，则此时的信
噪比为多少dB ？信号功率要变化多数dB?
450005
8
3
3
1004.507410log(1)10log(1)0.3667: 4.3654'0.366710100.366710'0.36671034.35691
S S S
s s W KHZ
P P
bps W N W N W
P SNR dB N W
Ps w P dB
P ---=?=+=+=
=-=??=??==-1010即信号功率的变化为:
10log 10log
第4章 无失真信源编码
习题参考答案
4-1：
(1) A 、B 、C 、E 编码是唯一可译码。 (2) A 、C 、E 码是及时码。
(3) 唯一可译码的平均码长如下：
6
1
111111
()3()32416161616A i i i l p s l ===?+++++=∑ 码元/信源符号
6
1
111111
()123456 2.1252416161616B i i i l p s l ===?+?+?+?+?+?=∑码元/信源符
号
6
1
111111
()123456 2.1252416161616C i i i l p s l ===?+?+?+?+?+?=∑码元/信源符
号
6
1
111111
()12()422416161616E i i i l p s l ===?+?++++?=∑码元/信源符号
4-3：
(1)
/bit ∑8
i i i=1
H(X)=-p(x )logp(x )
1111111111=-log -log -log -log -log 22448816163232111111 -log -log -log
646412812812812863
=164
符 (2) 平均码长：
6
1
11111111
()3()3248163264128128i i i l p s l ===?+++++++=∑码元/信源符号
所以编码效率：()
0.6615H X l
η== (3) 仙农编码：
费诺码：
4-5：
(1)霍夫曼编码：
对X的霍夫曼编码如下：
0.220.1920.1830.1730.1530.140.014 2.72l =?+?+?+?+?+?+?=码元/
信源符号
7
1
()log 2.61i i i H X p p ===∑ 码元/符号
() 2.610.95962.72H X l
η=
==
平均码长：
0.4910.14320.07420.0440.0250.0260.016 2.23
l =?+??+??+?+?+?+?=码元/信源符
9
1
()log 2.31i i i H Y p p ===∑码元/符号
编码效率：() 2.31
0.99142.33H Y l
η=
== (2) 仙农编码：
平均码长：
0.230.1930.1830.1730.1530.140.017 3.14l =?+?+?+?+?+?+?=
码元/信源符
() 2.61
0.83123.14H X l
η=
==
平均编码长度：
0.4920.1420.07420.0450.02620.0260.017 2.89
l =?+?+??+?+??+?+?=码元/信源符
编码效率：
() 2.31
0.7993
2.89
H Y
l
η===
(3)费诺编码：
对X的费诺编码：
平均编码长度：
0.220.1930.1830.1720.1530.140.014 2.74 l=?+?+?+?+?+?+?=码元/信源符号
编码效率：
() 2.61
0.9526
2.74
H X
l
η===
0.4910.14230.07420.0440.0250.0260.016 2.33 l=?+??+??+?+?+?+?=
码元/信源符号
编码效率：
() 2.31
0.9914
2.33
H Y
l
η===
(4)由三种编码的编码效率可知：
仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码
效率最高，费诺码居中。
4-7： 由三元编码方式可知：R=D －B=R D-1(K －2)+2
由本题可知D=3，K=8，R=2，所以，首先合并最后两个信源概率，其中一种编
4-21： 由题目可知信源符号为： 1011 0111 1011 0111
124
124()
31(1)(0)()()0.0001237
44
1011 0111 1011 0111p s p p ==== 算术码的码长log ()13l p s =-=
由序列S 的分布函数F （S ）由二元整树图来计算：
2482103124
()1(11)(10111)(1011011111)(1011011110111)(1011011110110111)331313131
1()()()()()()()()()4444444440.35114030.0101100110011
F S p p p p p =-----=-----==
所以算术编码为：0100 0011 0011 平均码长及编码效率如下：
13
0.812516
l =
=码元/符号 ()(1)log (1)(0)log (0)0.8113H S p p p p =--= bit/符号
()
0.9985H S l
η=
= (2) 由于信源符号集中共有2个元素，因此只需要??12log =位二进制数就可以表示
按照分段规则，分段为：1 0 11 01 111 011 0111 短语数为7，可用??37log ==n 位来表示段号；
平均编码长度： 1.7516
l =
=码元/符号
编码效率为：4636.075.18113
.0)(===
l
S H η
5.2
失真矩阵：0120d ??
=?
???
，
min min 2
max 1112211122221,2
1,2
1
1,21,2max 0,()()(1/2,1/2)log 21/10:01min min{,)
111111min{02,10}min{1,}222222
01,:,()001()i ij j j i j j D R D H X H bit P D p d p d p d p d p d P R D R D ==========??
=??
??
==++=?+??+?==??
==????∑符号转移矩阵此时转移矩阵定12
义域:[0,]
第6章 信道编码概述
习题答案
6-2
极大似然译码规则译码时，由转移概率矩阵可知：第一列中12，第二列中1
2
，第三列中
1
2
为转移概率的最大值，所以平均错误概率为： 1111111111()()()2364364362
E P =?++?++?+=
最小错误概率译码，输入x 与输出y 的联合概率分布为：
111,,4612111,,24812111,,12248??
????????????????
11111111
(
)()()2412824121224E P =+++++= 由于
111242< 可以看出最佳译码为最小错误概率译码，平均错误概率为
1124
6-4
(1) 求信息传输率；
log 41
2
R n =
= bit/符号
(2) 求平均错误译码概率。
根据信道的传输特性，可知可以输出24=16种序列，可以分成4个子集，分别为：
13423433443411
α=(0 0 )→(0 0 y y )
2211
α=(0 1 )→(0 1 y y )
2211
α=(1 0 )→(1 0 y y )
2211
α=(1 1 )→(1 1 y y )
22
34y ,y ∈(0 1) 传输信道如下所示：
11(0 0 )
2211(0 1 )
2211(1 0 )
2211(1 1 )
22
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 11111111 0 0 0 0 0 0 0 0 0 0 0 044441111
0 0 0 0 04444 0 0 0 0 0 0 011110 0 0 0 0 0 0 0 0 0 0 0 444411110 0 0 0 0 0 0 0 0 0 0 0 4444???????????????
??
????
??
?
????
译码规则为：,12341211
f(y ,y ,y ,y )=(y ,y ,)22
每个码字引起错误的概率：(|)(())0 e i
i
r
p p p f βαβα=?≠=∑ i=1、2、3、4
所以 ()0
E i
e C
p p p α
=
=∑ 第7章 线性分组码
习题答案
1. 已知一个(5, 3)线性码C 的生成矩阵为：
11001G 0
1
1010
1
11????=??????
（1）求系统生成矩阵；
（2）列出C 的信息位与系统码字的映射关系；
（3）求其最小Hamming 距离，并说明其检错、纠错能力； （4）求校验矩阵H ；
（5）列出译码表，求收到r =11101时的译码步骤与译码结果。 解：
（1）线性码C 的生成矩阵经如下行变换：
23132110011
00110110101101001110
0111100111
001101101010100011100111????
??????????→???
?????????
??????????????→???
?????????
将第、加到第行
将第加到第行
得到线性码C 的系统生成矩阵为
????
??????=111000*********S G
（2）码字),,,(110-=n c c c c 的编码函数为
[][][]111000*********)(210m m m m f c ++==
生成了的8个码字如下
(3) 最小汉明距离d =2，所以可检1个错，但不能纠错。 (4) 由],[],,[)()(k n T
k n k k n k k n I A H A I G --?-?-==，得校验矩阵
??
????=1010101111H
(5) 消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列
c 0=00000, c 1=00111,c 2=01010, c 3=01101, c 4=10011, c 5=10100,c 6=11001, c 7=11110
则译码表如下：
当接收到r =(11101)时，查找码表发现它所在的列的子集头为(01101)，所以将它译为c =01101。
2．设（7, 3）线性码的生成矩阵如下
010101000101111001101G ??
??=??
????
（1）求系统生成矩阵；
（2）求校验矩阵； （3）求最小汉明距离； （4）列出伴随式表。 解：
（1）生成矩阵G 经如下行变换
13
23
01010101
0011010010111001011110011010
10101010011011
0011010010111010101001010100010111????
????????→???
?????????
?????????????→???
?????????
交换第、行交换第、行
得到系统生成矩阵：
100110101010100010111S G ??
??=??
????
（2）由],[],,[)()(k n T
k n k k n k k n I A H A I G --?-?-==，得校验矩阵为
1101000101010001100101
01000
1H ?????
?=??????
（3）由于校验矩阵H 的任意两列线性无关，3列则线性相关，所以最小汉明距离d =3。 （4）（7, 3）线性码的消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列：c 0=0000000，c 1=0010111，c 2=0101010，c 3=0111101，c 4=1001101，c 5=1011010，
c 6=1100111，c 7=1110000。又因伴随式有24
=16种组合，差错图样为1的有771=?? ???
种，
差错图样为2的有7212=?? ???
种，而由T T
Hr He =，则计算陪集首的伴随式，构造伴
随表如下：
3．已知一个(6, 3)线性码C 的生成矩阵为：
.0 1 1 1 0 01 1 0 0 1 01 0 1
0 0 1G ????
??????=
（1） 写出它所对应的监督矩阵H ；
（2） 求消息M =(101)的码字；
（3） 若收到码字为101010，计算伴随式，并求最有可能的发送码字。 解：
（1）线性码C 的生成矩阵G 就是其系统生成矩阵G S ，所以其监督矩阵H 直接得出：
101100011010110001H =??
????????
（2）消息M =(m 0,m 1,m 2)=(101)，则码字c 为：
[][][]()100101001110101011c f m ==+=
（3）收到码字r =(101010)，则伴随式
()()101011110101010001100010001T
rH ????????
==?
?????
????
又（6, 3）线性码的消息序列m =000,001,010,011,100,101,110,111，由c =mGs 得码字序列：c 0=000000，c 1=001110，c 2=010011，c 3=011101，c 4=100101，c 5=101011，c 6=110110，c 7=111000。伴随式有23=8种情况，则计算伴随式得到伴随表如下：
伴随式（001）对应陪集首为（000001），而c=r+e ，则由收到的码字r =(101010)，最有可能发送的码字c 为：c =（101011）。
4．设(6, 3)线性码的信息元序列为x 1x 2x 3，它满足如下监督方程组
???
??=++=++=++0
00
631
532421x x x x x x x x x （1）求校验矩阵，并校验10110是否为一个码字； （2）求生成矩阵，并由信息码元序列101生成一个码字。 解：
（1）由监督方程直接得监督矩阵即校验矩阵为：
110100011010101001H =??????????
因为收到的序列10110为5位，而由（6, 3）线性码生成的码字为6位，所以10110不是码字。
（2）由],[],,[)()(k n T
k n k k n k k n I A H A I G --?-?-==，则生成矩阵为：
100101010110001011S G G =????=??????
信息码元序列M=（101），由c =mGs 得码字为c ：
()()()()012100101010110001011101110c m m m =++=
§4.2信道容量的计算 这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。而);(Y X I 是r 个变量 )}(),(),({21r x p x p x p 的多元函数。并且满足1)(1 =∑=r i i x p 。所以可用拉格朗日乘子法来 计算这个条件极值。引入一个函数：∑-=i i x p Y X I )();(λ φ解方程组 0) (] )();([) (=∑?-???i i i i x p x p Y X I x p λ φ 1)(=∑i i x p （4.2.1） 可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C 。因为 ) () (log )()();(11 i i i i i r i s j i y p x y Q x y Q x p Y X I ∑∑=== 而)()()(1 i i r i i i x y Q x p y p ∑== ，所以 e e y p y p i i i i i y p x y Q i x p i x p l o g l o g ))(ln ()(log ) ()()() (==????。 解（4.2.1）式有 0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q i i i i i r i s j i i i i s j i i （对r i ,,2,1 =都成立） 又因为 )()()(1j k k r k k y p x y Q x p =∑= r i x y Q s j i j ,,2,1,1)(1 ==∑= 所以(4.2.1)式方程组可以转化为 ),,2,1(log ) ()(log )(1r i e y p x y Q x y Q j i j s j i j =+=∑=λ 1)(1 =∑=r i i x p
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
实验二 离散信道及其容量 一、[实验目的] 1、理解离散信道容量的内涵； 2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法； 3、掌握二元扩展信道的设计方法并会求其平均互信息量。 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 若某信道输入的是N 维序列x ，其概率分布为q(x ),输出是N 维序列y ,则平均互信息量记为I(X ;Y )，该信道的信道容量C 定义为() max (X;Y)q x C I =。 四、[实验内容] 1、给定BSC 信道，信源概率空间为 信道矩阵 0.990.010.010.99P ??=???? 求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。 2 、编写一M 脚本文件t03.m ，实现如下功能： 在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为 求： 平均互信息量； 4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。 五、[实验过程 ] X P ０ １ 0.6 0.4 = X Px ０ １ ２ 0.3 0.5 0.2 = 0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1 P=
每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 1)设计思路 1、信道容量( ) max (X; Y) q x C = I ，因此要求给定信道的信道容量，只要知道该信道 的最大互信息量，即求信道容量就是求信道互信息量的过程。 程序代码： clear all,clc; w=0.6; w1=1-w; p=0.01; X P ０１ = 0.6 0.4 p1=1-p; save data1 p p1; I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))- ... (p*log2(1/p)+p1*log2(1/p1)); C=1-(p*log2(1/p)+p1*log2(1/p1)); fprintf('互信息量:%6.3f\n信道容量:%6.3f',I_XY,C); p=eps:0.001:1-eps; p1=1-p; C=1-(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C'); load data1; w=eps:0.001:1-eps; w1=1-w; I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))- . . .(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,2),plot(w,I_XY) xlabel('w'),ylabel('I_XY'); 实验结果：
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
第4章 离散信道及其容量 4.1节 离散无记忆信道（DMC, Discrete Memoryless Channel ） 什么是 “信道”？ 通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。但什么是“信道”？ Kelly 称信道是通信系统中“不愿或不能改变的部分”。比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(〃)信号进行通信，而是至少需要两个可供发射机进行选择。一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。 如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。输入序列X 1, X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。数学上考虑的最 简单的信道是离散无记忆信道。 离散无记忆信道由三部分组成： （1） 输入字符集A ={a 1, a 2, a 3,…}。该字符集既可以是有限，也可以是可数无限。其中每个 符号a i 代表发射机使用信道时可选择的信号。 （2） 输出字符集B={b 1, b 2, b 3,…}。该字符集既可以是有限，也可以是可数无限。其中每个 符号bi 代表接收机使用信道时可选择的信号。 （3） 条件概率分布P Y |X (〃|X )，该条件分布定义在B 上，其中X ∈A 。它描述了信道对输 入信号的影响。 离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。或者： 1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3…. Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。 (2) DMC 是时不变的，即|n n Y X P 与n 无关。因此|(|)n n Y X n n P y x 可简写为|(|)Y X n n P y x 。
一般离散无记忆信道容量的迭代计算 信道容量的迭代算法 1信道容量的迭代算法的步骤 一、用了matlab 实现DMC 容量迭代的算法如下： 第一步:首先要初始化信源分布： .0deta 10,1,0,1)(>>=?==，选置，，k r i r P k i 即选取一个精度，本次中我选deta=0.000001。 第二步：}{,) ()()()(k ij i ji k i ji k i k ij t p p p p t 得到反向转移概率矩阵根据式子∑=。 第三步： 第四步： 第五步： 若a C C C k k k det )1() ()1(>-++，则执行k=k+1，然后转第二步。直至转移条件不成立， 接着执行下面的程序。 第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。 2. Matlab 实现 clear; r=input('输入信源个数：'); s=input('输入信宿个数：'); deta=input('输入信道容量的精度： '); ()()()()(){}111]log exp[] log exp[+++==∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式()()()()()()。C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????????????????==∑∑计算由式
Q=rand(r,s); %形成r行s列随机矩阵Q A=sum(Q,2); %把Q矩阵每一行相加和作为一个列矩阵A B=repmat(A,1,s); %把矩阵A的那一列复制为S列的新矩阵 %判断信道转移概率矩阵输入是否正确 P=input('输入信道转移矩阵P：')%从这句话开始将用下面两句代替可自动生成信道转移矩阵 [r,s]=size(P); for i=1:r if(sum(P(i,:))~=1) %检测概率转移矩阵是否行和为1. error('概率转移矩阵输入有误！！') return; end for j=1:s if(P(i,j)<0||P(i,j)>1) %检测概率转移矩阵是否负值或大于1 error('概率转移矩阵输入有误！！') return; end end end %将上面的用下面两句代替可自动生成信道转移矩阵 %disp('信道转移概率矩阵:') %P=Q./B 信道转移概率矩阵（每一个原矩阵的新数除以所在行的数总和） i=1:1:r; %设置循环首项为1，公差为1，末项为r（Q的行数）的循环 p(i)=1/r; %原始信源分布r个信源,等概率分布 disp('原始信源分布：')
第5章 信道及信道容量 教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道 5．1信道模型及信道分类 教学内容： 1、一般信道的数学模型 2、信道的分类 3、信道容量的定义 1、 一般信道的数学模型 影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。 信道的一般数学模型： 2、 信道的分类 输出随机信号 输入、输出随机变量个数 输入和输出的个数 信道上有无干扰 有无记忆特性 3、信道容量的定义 衡量一个信息传递系统的好坏，有两个主要指标： 图5.1.1 一般信道的数学模型 离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道 有记忆信道和无记忆信道 单用户信道和多用户信道 速度指标 质量指标
速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量； 质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率； 目标：速度快、错误少，即R 尽量大而e P 尽量小。 信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-== 若信道平均传送一个符号所需时间为t 秒，则 ) ;(1 Y X I t R t =（bit/s ） 称t R 为信息（传输）速率。 分析： 对于给定的信道，总存在一个信源（其概率分布为* )(X P ），会使信道的信息率R 达到 最大。 （);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值） 每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即 ) ;(max max Y X I R C X X P P ==bit/符号 （5.1.3） 信道容量也可以定义为信道的最大的信息速率，记为 t C ?? ? ???==);(1max max Y X I t R C X X P t P t （bit /s ） （5.1.4） 解释： (1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为* )(X P ； (3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量 C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。 4、意义： 研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量);(Y X I 关于输入概率分布)(X P 的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。
2011-2012 信息论与编码理论1 B 卷答案 一、 单项选择题（每题3分，总计15分） 1．当底为e 时，熵的单位为（ C ）。 A 奈特 B 哈特 C 奈特/符号 D 哈特/符号 2．下列关系式中( B )正确。 A )();(X I Y X I ≥ B );(),(Y X I Y X H ≥ C )|()|(X Y H Y X H ≥ D );();(Y X H Y X I ≤ 3．下列（ D ）陈述是正确的。 A Shannon 编码是最优码 B LZ 编码是异字头码 C Huffman 编码可以不需要知道信源的分布 D 典型序列的数目不一定比非典型的多 ) 4．下列数组中（ A ）不满足二个字母上的Kraft 不等式。 A (1，1，1) B (2,2,2,2) C (3,3,3) D （4，4，4） 5．下列（ D ）是只对输出对称的。 A ????? ? ??316 12121613 1 B ????? ??2.04.04.04.02.04.04.04.02.0 C ??????? ? ??32313132 3231 D ??? ? ??2.04.04.04.02.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 4 3 2(1002- 比特/符号. 2．若某离散信道信道转移概率矩阵为?? ????????5.025.025.025.05.025.025.025.05.0，则其信道容量为5.13log 2-比 特/符号；转移概率矩阵为???? ? ?????25.05.025.05.025.025.025.025.05.0，则其信道容量为5.13log 2-比特/符号。 3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为??? ? ??--p p p p 11 ， 则级联信道的信道转移矩阵为??????+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为??? ???5.05.05.05.0。 4．若一个信道的输入熵为6.2)(=X H 比特/符号，输出熵为3.2)(=Y H 比特/符号，
实验二 一般信道容量迭代算法 1． 实验目的 掌握一般离散信道的迭代运算方法。 2． 实验要求 1） 理解和掌握信道容量的概念和物理意义 2） 理解一般离散信道容量的迭代算法 3） 采用Matlab 编程实现迭代算法 4） 认真填写试验报告 3．算法步骤 ①初始化信源分布),,,,,(21)0(p p p p P r i ????=（一般初始化为均匀分布），置迭代计数器k=0，设信道容量相对误差门限为δ，δ>0，可设-∞=C )0(； ②∑= i k i ij k i ij k ji p p p p )()() (? s j r i ，??=??=,1;,,1 ③∑ ∑∑??????????????????????=+i k ji j ij k ji j ij k i p p p ?? )()() 1(ln exp ln exp r i ,,1??= ④?? ??????????????=∑∑+i k ji j ij k p C ?)()1(ln exp ln ⑤如果δ≤-++C C C k k k )1()()1(，转向⑦； ⑥置迭代序号k k →+1,转向②； ⑦输出p k i ) 1(+和C k ）（1+的结果； ⑧停止。 4．代码P=input('转移概率矩阵P=') e=input('迭代精度e=') [r,s]=size(P); n=0; C=0; C_k=0; C_k1=0; X=ones(1,r)/r;
A=zeros(1,r); B=zeros(r,s);%初始化各变量 while(1) n=n+1; for i=1:r for j=1:s B(i,j)=log(P(i,j)/(X*P(:,j))+eps); if P(i,j)==0 B(i,j)=0; else end end A(1,i)=exp(P(i,:)*B(i,:)'); end C_k=log2(X*A'); C_k1=log2(max(A)); if (abs(C_0-C_1) 实验一信道容量及其一般计算方法 1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.源代码 clc;clear all; //清屏 N = input('输入信源符号X的个数N='); //输入行数 M = input('输出信源符号Y的个数M='); //输入列数 p_yx=zeros(N,M); //程序设计需要信道矩阵初始化为零 fprintf('输入信道矩阵概率\n') for i=1:N //从第一行第一列开始输入 for j=1:M p_yx(i,j)=input('p_yx='); //输入信道矩阵概率 if p_yx(i)<0 //若输出概率小于0则不符合概率分布 error('不符合概率分布') end end end for i=1:N //各行概率累加求和 s(i)=0; for j=1:M s(i)=s(i)+p_yx(i,j); end end for i=1:N //判断是否符合概率分布 if (s(i)<=0.999999||s(i)>=1.000001) //若行相加小于等于0.9999999或者大于等于1.000001 Error //('不符合概率分布') end end b=input('输入迭代精度：'); //输入迭代精度 for i=1:N p(i)=1.0/N; //取初始概率为均匀分布（每行值分别为1/N，）end for j=1:M //计算q(j) q(j)=0; for i=1:N q(j)=q(j)+p(i)*p_yx(i,j); //均匀分布的值乘上矩阵值后+q（j），然后赋值给q（j）实现求和 当一个信道受到加性高斯噪声的干扰时，如果信道传输信号的功率和信道的带宽受限，则这种信道传输数据的能力将会如何？这一问题，在信息论中有一个非常肯定的结论――高斯白噪声下关于信道容量的山农（Shannon）公式。本节介绍信道容量的概念及山农定理。 1、信道容量的定义 在信息论中，称信道无差错传输信息的最大信息速率为信道容量，记为。 从信息论的观点来看，各种信道可概括为两大类：离散信道和连续信道。所谓离散信道就是输入与输出信号都是取值离散的时间函数；而连续信道是指输入和输出信号都是取值连续的。可以看出，前者就是广义信道中的编码信道，后者则是调制信道。 仅从说明概念的角度考虑，我们只讨论连续信道的信道容量。 2. 山农公式 假设连续信道的加性高斯白噪声功率为（W），信道的带宽为（Hz），信号功率为（W），则该信道的信道容量为 这就是信息论中具有重要意义的山农公式，它表明了当信号与作用在 信道上的起伏噪声的平均功率给定时，具有一定频带宽度的信道上，理论上单位时间内可能传输的信息量的极限数值。 由于噪声功率与信道带宽有关，故若噪声单边功率谱密度为（W/Hz），则噪声功率。因此，山农公式的另一种形式为 由上式可见，一个连续信道的信道容量受、、三个要素限制，只要这三个要素确定，则信道容量也就随之确定。 3. 关于山农公式的几点讨论 山农公式告诉我们如下重要结论： （1）在给定、的情况下，信道的极限传输能力为，而且此时能够做到无差错传输（即差错率为零）。这就是说，如果信道的实际传输速率大于值，则无差错传输在理论上就已不可能。因此，实际传输速率一般不能大于信道容量，除非允许存在一定的差错率。 （2）提高信噪比（通过减小或增大），可提高信道容量。特别是，若，则，这意味着无干扰信道容量为无穷大； （3）增加信道带宽，也可增加信道容量，但做不到无限制地增加。这是因为，如果、一定，有 信息论与编码理论习题（三） 一、填空题（每空2分，共32分）。 1.在现代通信系统中，信源编码主要用于解决信息传输中的 ，信道编码主要用于解决信息传输中的 ，加密编码主要用于解决信息传输中的 2.离散信源?? ????=??????8/18/14/12/1)(4321x x x x x p X ，则信源的熵为 。 3.采用m 进制编码的码字长度为K i ，码字个数为n ，则克劳夫特不等式为 ，它是判断 的充要条件。 4.如果所有码字都配置在二进制码树的叶节点，则该码字为 。 5.齐次马尔可夫信源的一步转移概率矩阵为P ，稳态分布为W ，则W 和P 满足的方程为 。 6.设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 。 7.某离散无记忆信源X ，其符号个数为n ，则当信源符号呈 分布情况下，信源熵取最大值 。 8.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于 。 二．选择题（共10分，每小题2分） 1、有一离散无记忆信源X ，其概率空间为? ? ????=??????125.0125.025.05.04321x x x x P X ，则其无记忆二次扩展信源的熵H(X 2)=( ) A 、1.75比特/符号； B 、3.5比特/符号； C 、9比特/符号； D 、18比特/符号。 2、信道转移矩阵为112132425363(/)(/) 000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ?????? ???? ，其中(/)j i P y x 两两不相等，则该信道为 A 、一一对应的无噪信道 B 、具有并归性能的无噪信道 C 、对称信道 D 、具有扩展性能的无噪信道 3、设信道容量为C ，下列说法正确的是：（ ） A 、互信息量一定不大于C 广州大学 2016—2017 学年第 一 学期考试卷 课程 《信息论与编码理论1》 考试形式（闭卷，考试） 学院 系 专业 班级 学号 姓名_ 一、 单项选择题（每题2分，总计10分） 1．当底为e 时，信道容量的单位为（ C ）。 A 奈特 B 哈特 C 奈特/符号 D 哈特/符号 2．下列量中（ D ）一定最大。 A );(Y X I B ),(X Y I C )|(Y X H D ),(Y X H 3．下列（ A ）陈述是错误的。 A 算术编码不需要知道信源的分布 B 游程编码不需要知道信源的分布 C LZ 编码不需要知道信源的分布 D LZW 编码不需要知道信源的分布 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。 A (2，2，1) B (2,2) C (1,1,3) D （3，3，3） 5．下列（ A ）是准对称信道的状态转移概率矩阵。 A ?????? ??613 12121613 1 B ????? ??5.05.05.05.05.05.05.05.05.0 C ??????? ? ??32313231 3231 D ??? ? ??2.02.08.02.08.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆信源25.0)0(=p ，75.0)1(=p ，则当给出10比特的信源序列，其中有4个1，其自信息为3log 4202-比特，整个序列的熵为)3log 4 3 2(102- 比特/符号。 2．若某离散信道信道转移概率矩阵为? ? ? ? ??125.0125.05.025.0125.0125.025.05.0，则其信道容量为4 3log 352-比特/符号；转移概率矩阵为???? ? ?????5.05.04.06.06.04.0，则其信道容量为1比特/符号。 一般信道的信道容量求解 组员：文枝传 李红井 任富绳 马增敏 指导教师：张坤老师 一：实验目的 使学生学会利用Matlab求解信道容量及最佳概率分布，帮助学生巩固所学知识，同时拓展学生的知识。 二：实验内容 已知信道的转移矩阵P_YX为 3.0 3.0 1.0 3.01.0 1.0 1.0 7.0 3.0 2.0 4.0 1.0 09 .0 2.0 65 .0 06 .0 3.0 3.0 2.0 2.0 27 .0 4.0 23 .0 1.0 求该信道的信道容量和最佳概率输入分布。 三：实验步骤及编码方法 (1) 建立一个名为contmax的文件，输入以下内容： %任意信道的信道容量C及最佳输入分布P_X源程序 function [P_X,C,N]=contmax(P_YX,e) % 计算任意信道的信道容量C及最佳输入分布P_X % P_X -------最佳概率输入分布 % C----------信道容量N----------迭代次数 % P_YX-----DMC信道的转移矩阵e-----------精度 if length(find(P_YX<0)~=0) error('Not a probable vector.Negtive component'); end if abs(sum(P_YX')-1)>10e-10 error('Not a probable vector,Component do not add up to "1" '); end % 变量初始化 C1=1;C=0;N=0; r=size(P_YX);P_X=ones(1,r(1))/r(1); % 调整P_YX的零元素值 Pyx=(P_YX==0).*eps;P_YX=P_YX+Pyx; % 迭代求解 while (abs(C1-C))>e P_Y=P_X*P_YX; I1=sum((P_YX.*log2(P_YX))'); I2=log2(P_Y)*(P_YX'); BETA=exp(I1-I2); B=P_X*(BETA'); C1=log(B);C=log(max(BETA)); P_X=P_X.*BETA/B; N=N+1; (2) 在命令窗口输入信道的转移矩阵P_YX 实验二一般信道容量迭代算法1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.算法 4.算法流程图 5.代码（要求写出关键语句的解释和运行结果） 6．计算下列信道的信道容量 例一： 0.980.02 0.050.95?????? 例二： 0.60.4 0.010.99?????? 例三： 0.790.160.05 0.050.150.8?????? 7．思考题： 迭代精度指的是什么？它对计算结果的影响？ 3.实验的算法： 1. 初始化信源分布：p i =r 1 ，循环变量k=1，门限△，C （0）=-∞； 2. ∑== r i ji k i ji k i k ij p p p p 1 )()()(φ 3. ∑∑∑===+= r i s j k ij ji s j k ij ji k i p p p 1 1)(1 ) () 1(] log exp[] log exp[φ φ 4. ])log exp(log[1 1 ) () 1(∑∑==+=r i s j k ij ji k p C φ 5. 若 ?>-++) 1() ()1(k k k C C C ，则k=k+1，转第2步 6. 输出P *=()() r k i P 1+和()1+k C ，终止。 4.算法流程图如下： 5.代码如下： 否 是 ()()? ?? ??=+=+????? ?????=∑∑∑i i i i i j i i j i i j i j i a n n C a x p n n C x y p x p x y p x y p a max ln ,1)(ln ,1)/()()/(ln )/(exp 21 ()()ε <+-+n n C n n C ,1,121()n n C C ,11+= ∑= i i i i i i a x p a x p x p )()()( 输入 )()()0(i i x p x p = 结束 哈尔滨理工大学荣成学院 信息论与编码实验报告 ——一般信道容量编码 班级：电信13-2班 姓名： 学号： 日期：2015.10.24 一般信道的信道容量 一、实验目的 1、熟悉MATLAB的使用 2、掌握一般信道的信道容量的求解 3、学习用MATLAB编写一般信道的信道容量的求解程序 二、实验内容 用MATLAB编写一般信道的信道容量的程序，并求出信道容量，最佳信源分布。 三、实验程序 Matlab程序代码段： clear all format rat %所有的数全部用分数显示 A=ones(4)*2^-40; %定义一个极小值矩阵 P=[1/2,1/4,0,1/4;0,1,0,0;0,0,1,0;1/4,0,1/4,1/2]; %信道的传递矩阵 B=A+P; %用极小值矩阵加上矩阵B避免出现log2（0）的情况 for i=1:4 for j=1:4 D(i,j)=B(i,j)*log2(B(i,j)); end end F=sum(D,2); %每行求和Σ X=P\F; %计算公式中的β值记为X C=log2(2^X(1,1)+2^X(2,1)+2^X(3,1)+2^X(4,1)) %信道容量 %以下代码段是求信道容量的最佳输入分布PA Pb1=2^(X(1,1)-C); %Pb1,Pb2,Pb3,Pb4是求输出概率分布 Pb2=2^(X(2,1)-C); Pb3=2^(X(3,1)-C); Pb4=2^(X(4,1)-C); PB=[Pb1;Pb2;Pb3;Pb4]; %输出概率矩阵 PA=inv(P')*PB%因为PB=PT(P的转置)*PA，所以PA=PT^(-1)(P转置矩阵的逆矩 阵)*PB clear all format rat%?ùóDμ?êyè?2?ó?·?êy??ê? s=input('please input a array'); A=ones(4)*2^-40; %?¨ò?ò?????D??μ???ó B=A+s; %ó???D??μ???ó?óé????óB±ü?a3???log2￡¨0￡?μ??é?? for i=1:4 for j=1:4 D(i,j)=B(i,j)*log2(B(i,j)); end end F=sum(D,2); %??DD?óoí|2 X=s\F; %????1?ê??Dμ?|??μ???aX C=log2(2^X(1,1)+2^X(2,1)+2^X(3,1)+2^X(4,1)) %D?μàèYá? %ò???′ú????ê??óD?μàèYá?μ?×???ê?è?·?2?PA Pb1=2^(X(1,1)-C); %Pb1,Pb2,Pb3,Pb4ê??óê?3????ê·?2? Pb2=2^(X(2,1)-C); Pb3=2^(X(3,1)-C); Pb4=2^(X(4,1)-C); PB=[Pb1;Pb2;Pb3;Pb4]; %ê?3????ê???ó PA=inv(s')*PB %òò?aPB=PT(Pμ?×a??)*PA￡??ùò?PA=PT^(-1)(P×a?????óμ??????ó)*PB 四、实验结果 五、出现的问题及解决方法： （1）信道的传递矩阵P中有0，在取对数的时候无法计算log2(0)，经过向同学请教得到 信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。 信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。 通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不 确定度完全消失），这时，发端信息完全得到。 通信信道，发端X，收端Y。从信息传输的角度看，通过信道传输了I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。I该值与两个概率有关，p(x),p(y|x)，特定信道转移概率一定，那么在所有p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。 2011-2012 信息论与编码理论1 A 卷答案 一、 单项选择题（每题3分，总计15分） 1．当底为10时，熵的单位为（ D ）。 A 比特 B 哈特 C 比特/符号 D 哈特/符号 2．下列哪些量当Y X ,交换位置时（ C ）没有对称性。 A );(Y X I B ),(Y X H C )|(Y X H D )|,(Z Y X I 3．下列（ B ）陈述是正确的。 A 算术编码不需要知道信源的分布 B LZ 编码不需要知道信源的分布 C 典型序列出现的概率比非典型的大 D 典型序列的数目比非典型的多 4．下列数组中（ C ）不满足二个字母上的Kraft 不等式。 A (2，2，1) B (2,2) C (1,2,3) D （3，3，3） 5．下列（ D ）是准对称信道的状态转移概率矩阵。 A ????? ? ??613 12121613 1 B ????? ??5.05.05.05.05.05.05.05.05.0 C ??????? ? ??32313231 3231 D ??? ? ??2.02.08.02.08.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有10个1，其自信息为3log 102002-比特，整个序列的熵为)3log 4 3 2(1002- 比特/符号。 2．若某离散信道信道转移概率矩阵为? ? ? ? ??125.0125.05.025.0125.0125.025.05.0，则其信道容量为4 3log 352-比特/符号；转移概率矩阵为???? ? ?????5.05.04.06.06.04.0，则其信道容量为1比特/符号。 3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为??? ? ??--p p p p 11 ， 则级联信道的信道转移矩阵为??????+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为??? ???5.05.05.05.0。 4．若一个信道的输入熵为6.1)(=X H ，输出熵为3.2)(=Y H ，7.0);(=Y X I ，则 =),(Y X H __3.2比特/符号__，疑义度为0.9比特/符号_。信道容量及其一般计算方法
信道容量
信息论与编码理论习题(三)
信息论与编码理论1(A卷答案)
一般信道的信道容量求解
一般信道容量迭代算法
一般信道容量
信道容量知识总结
信息论与编码理论1(A卷答案)
相关主题
文本预览