第3章 离散信道和信道容量
一、例题：
【例3.1】 二元对称信道，简记为BSC （Binary Symmetric Channel ）。如图3.1所示。
10
a =
21
a =1
b =2
b =X
Y
图3.1 二元对称信道
这是很重要的一种特殊信道，其输入输出符号集均取值于{0,1}。此时2r s ==，而且
11220,1a b a b ====。又有转移概率
11221221(|)(0|0)1(|)(1|1)1(|)(0|1)(|)(1|0)P b a P p p P b a P p p P b a P p P b a P p
==-===-=====
于是，可得BSC 的信道转移概率矩阵P 为
11p
p p p -??=??
-??
P 它满足2
2
121
1
(|)(|)1j
j j j P b
a P
b a ====∑∑
【例3.2】 二元删除信道，简记为BEC （Binary Erasure Channel ）。这时2,3r s ==。输入符号X 取值于{0,1}，输出符号Y 取值于{0,2,1}。其信道转移矩阵为
010101021
p p q q -??=?
?-??
P
【例3.3】 设二元对称信道的输入概率空间0
1()1X P x ωω????=????
=-????
，而信道特性如图3.1所示，求平均互信息。
解：根据平均互信息的定义可得
11(;)()(|)
1()()log
(|)
1()()(|)log
(|)
11()()log log 11()log log ()()
r
s
i j i j j i X
Y
X I X Y H Y H Y X H Y P a b P b a H Y P x P y x P y x H Y P x p p p p H Y p p p p H Y H p ===-=-=-??
=-+??
?
???
=-+??
??=-∑∑∑∑∑
其中，()H p 是[0,1]区间上的熵函数。 可得
(0)(1)(1)(1)P y p p p p
P y p p p p
ωωωωωωωω==+-=+==+-=+
所以
(;)()()
11
()log
()log ()()()I X Y H Y H p p p p p H p p p p p
H p p H p ωωωωωωωωωω=-=+++-++=+-
其中()H p p ωω+也是[0,1]区间上的熵函数。可见，当信道固定即固定p 时，可得(;)I X Y 是ω的 型凸函数，其曲线如图3.2所示。从图中可知，当二元对称信道的信道矩阵固定后，输入变量X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X 是等概分布时，即(0)(1)1/2P x P x ====时，在信道接收端平均每个符号才获得最大的信息量。
图3.2 二元对称信道的平均互信息（固定信道转移概率p ）
当固定信源的概率分布ω时，即得);(Y X I 是p 的 型凸函数，如图3.3所示。
图3.3 固定二元信源的平均互信息（固定信源概率分布ω）
从图中可知，当二元信源固定后，存在一种二元对称信道（其1/2p =），使信道输出获得的信息量最小，即等于零。也就是说，信源的信息全部损失在信道中。这是一种最差的信道（其噪声为最大）。
【例3.4】 设某对称离散信道的信道矩阵为
1
1
11336611116
633????=?
???????
P 求其信道容量。
解：由对称信道的信道容量公式，得
log ()
111111111111log 4(,,,)2log log log log
336633336666C s H H =-=-=++++P 的行矢量
0.0817= 比特/符号
在这个信道中，每个符号平均能够传输的最大信息为0.0817比特，而且只有当信道输入是等概分布时才能达到这个最大值。
【例3.5】 强对称信道（均匀信道）的信道矩阵是r r ?阶矩阵，强对称离散信道的信道容量为
1)log ,,,,11
1log log log log
1111log log log
1
r p p p C r H p r r r p p p p
r p p r r r r p
r p p p r -?
?=- ?
---??=++++----=++-
共（项
log log(1)()r p r H p =---
式中p 是总的错误传递概率，p 是正确传递概率。
【例3.6】 设某信道的转移矩阵为：
11p q q
p p
q p q --??=??--??P 求其信道容量。
解：分析该转移矩阵，可知这是一个准对称信道。
121211,11,
2N p q p q N q M p q p q M q
=--+=-==--+=-=
根据准对称离散信道的信道容量公式得
1
212
1
log (,,,)log log 2(1,,)log log 2(1,,)(1)log(1)log 22
log (1)log(1)(1)log
1n
s k k k k k
k C r H p p p N M H p q q p N M H p q q p q q q q p p p q p q q q
=='''=--=----=-------=+----+--∑∑
当0p =时，可得信道转移矩阵为
100
1q q
q q -??=??-??P 这时可得该信道（二元纯对称删除信道）的信道容量为
2log (1)log(1)(1)log 11/C p p p q p q q q q
=+----+--=-比特符号
【例3.7】 求图3.5所示的二元无记忆对称信道的二次扩展信道。
1
1
Y
图3.5 二元无记忆对称信道的转移概率图
因为二元对称信道的输入和输出变量X 和Y 的取值都是0和1，因此，二次扩展信道的输入符号集为{00,01,10,11}=X ，共有2
24=个符号。输出符号集为
{00,01,10,11}=Y ，也共4个符号。根据无记忆信道的特性，求得二次扩展信道的转移概
率为
211()(0000)(00)(00)P P P P p βα=== 21()(0100)(00)(10)P P P P pp βα=== 31()(1000)(10)(00)P P P P pp βα=== 241()(1100)(10)(10)P P P P p βα===
同理，可求得其他传递概率()h
k P βα，最后得二次扩展信道的信道矩阵
1
2
34
2212222232
24p pp pp p pp p p pp pp p p pp p pp
pp
p ββββαααα?????
?=??????
P 上述二次扩展信道可用图3.6表示。
2X =X 2
Y =Y 100
α=100
β=201α=310α=411α=201
β=310
β=411
β=2
p pp pp
2
p
图3.6 二元对称信道的二次扩展信道
此例告诉我们，离散无记忆信道的信道矩阵以及扩展的次数N 是构建离散无记忆信道的N 次扩展信道的数学模型的基本要素。
【例 3.8】 有二个信道的信道矩阵分别为11133
31102
2?????
???????和10
02103
312033?
?
???
??
?
????????
，它们的串联信道如图3.7所示。求证(;)(;)I X Z I X Y =
1
a 2
a 1c 2c 3
c
图3.7 例3.9中的串联信道
证明：对于一般满足X 、Y 、Z 为马氏链的串联信道，它们总的信道矩阵应等于两个串
联信道矩阵的乘积。即
()()()P z x P y x P z y =?
而总的信道矩阵中每个元素应满足
()()()k i j i k j j
P c a P b a P c b =∑
为此，我们可求出串联信道的总的信道矩阵
10
01111112133
3333()011113
300122
2220
33P z x ?
?
???????
?
??????=?=?
??
?????????????????
????
可见，该串联信道满足
()()P y x P z x = （对所有,,x y z ）
于是可得
(;)(;)I X Z I X Y =
此例说明，不论输入信源X 的符号如何分布，该串联噪声信道不会使信道中信息损失增加。
【例3.9】 设有两个离散二元对称信道，其组成的串联信道如图3.8所示，求该串联信道的信道容量。
1
1
1
X Y Z
图3.8 例3.10二元对称信道的串联信道
解：两个二元对称信道的信道矩阵均为
1211p
p P P p p -??==??-??
由于X 、Y 、Z 组成马尔可夫链，则串联信道的总信道矩阵为
1222
221111(1)2(1)2(1)(1)p
p p p PP p p p p p p p p p p p p --????==????
--????
??-+-=??--+??
P
因此，该串联信道仍然是一个二元对称信道。
1[2(1)]C H p p =--串
二、讨论题：
1、什么是先验概率和后验概率？
2、什么是前向概率和后向概率？
3、已知联合概率，如何计算前向概率和后向概率？
三、思考题：
1、信道有哪些分类？
2、信道矩阵是如何构成的？有哪些性质？
3、平均互信息与各类熵有什么关系？
4、平均互信息有哪些性质？
5、信道容量的物理意义是什么？
6、如何计算一般离散信道的信道容量？
7、离散无记忆扩展信道的信道容量如何计算？ 8、数据处理定理的含义是什么？ 9、“信源与信道的匹配”和“信源编码和信道编码”之间是否存在一定的联系？
实验二 离散信道及其容量 一、[实验目的] 1、理解离散信道容量的内涵； 2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法； 3、掌握二元扩展信道的设计方法并会求其平均互信息量。 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 若某信道输入的是N 维序列x ，其概率分布为q(x ),输出是N 维序列y ,则平均互信息量记为I(X ;Y )，该信道的信道容量C 定义为() max (X;Y)q x C I =。 四、[实验内容] 1、给定BSC 信道，信源概率空间为 信道矩阵 0.990.010.010.99P ??=???? 求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。 2 、编写一M 脚本文件t03.m ，实现如下功能： 在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为 求： 平均互信息量； 4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。 五、[实验过程 ] X P ０ １ 0.6 0.4 = X Px ０ １ ２ 0.3 0.5 0.2 = 0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1 P=
每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 1)设计思路 1、信道容量( ) max (X; Y) q x C = I ，因此要求给定信道的信道容量，只要知道该信道 的最大互信息量，即求信道容量就是求信道互信息量的过程。 程序代码： clear all,clc; w=0.6; w1=1-w; p=0.01; X P ０１ = 0.6 0.4 p1=1-p; save data1 p p1; I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))- ... (p*log2(1/p)+p1*log2(1/p1)); C=1-(p*log2(1/p)+p1*log2(1/p1)); fprintf('互信息量:%6.3f\n信道容量:%6.3f',I_XY,C); p=eps:0.001:1-eps; p1=1-p; C=1-(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C'); load data1; w=eps:0.001:1-eps; w1=1-w; I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))- . . .(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,2),plot(w,I_XY) xlabel('w'),ylabel('I_XY'); 实验结果：
实验二离散信道及其容量 一、[实验目的] 1、理解离散信道容量的内涵； 2、掌握求二元对称信道（BSC）互信息量和容量的设计方法； 3、掌握二元扩展信道的设计方法并会求其平均互信息量。 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 若某信道输入的是N 维序列x ，其概率分布为q(x ),输出是N 维序列y ,则平均互信息量记为I(X ;Y )，该信道的信道容量C 定义为() max (X;Y)q x C I =。四、[实验内容] 1、给定BSC 信道，信源概率空间为 信道矩阵0.990.010.010.99P ??=???? 求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。 2、编写一M 脚本文件t03.m，实现如下功能： 在任意输入一信道矩阵P 后，能够判断是否离散输出对称信道。 3、对题1求其二次扩展信道的平均互信息I(X;Y)。 五、[实验过程] 每个实验项目包括： 1)设计思路 1、信道容量 ()max (X;Y)q x C I =，因此要求给定信道的信道容量，只要知道该信道的最大互信息量，即求信道容量就是求信道互信息量的过程。 程序代码： clear all,clc; w=0.6; w1=1-w; p=0.01;X P ０ １0.60.4 =
p1=1-p; save data1p p1; I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))-... (p*log2(1/p)+p1*log2(1/p1)); C=1-(p*log2(1/p)+p1*log2(1/p1)); fprintf('互信息量:%6.3f\n信道容量:%6.3f',I_XY,C); p=eps:0.001:1-eps; p1=1-p; C=1-(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C'); load data1; w=eps:0.001:1-eps; w1=1-w; I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))-.. .(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,2),plot(w,I_XY) xlabel('w'),ylabel('I_XY'); 实验结果： 互信息量:0.891 信道容量:0.919 I(X;Y)和ω、C和p的关系曲线图： C X 2、离散对称信道：当离散准对称信道划分的子集只有一个时，信道关于输入和输出对称。 离散准对称信道：若一个离散无记忆信道的信道矩阵中，按照信道的输出集Y 可以将信道划分成n个子集，每个子矩阵中的每一行都是其他行同一组元素的不同排列。
一般离散无记忆信道容量的迭代计算 信道容量的迭代算法 1信道容量的迭代算法的步骤 一、用了matlab 实现DMC 容量迭代的算法如下： 第一步:首先要初始化信源分布： .0deta 10,1,0,1)(>>=?==，选置，，k r i r P k i 即选取一个精度，本次中我选deta=0.000001。 第二步：}{,) ()()()(k ij i ji k i ji k i k ij t p p p p t 得到反向转移概率矩阵根据式子∑=。 第三步： 第四步： 第五步： 若a C C C k k k det )1() ()1(>-++，则执行k=k+1，然后转第二步。直至转移条件不成立， 接着执行下面的程序。 第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。 2. Matlab 实现 clear; r=input('输入信源个数：'); s=input('输入信宿个数：'); deta=input('输入信道容量的精度： '); ()()()()(){}111]log exp[] log exp[+++==∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式()()()()()()。C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????????????????==∑∑计算由式
Q=rand(r,s); %形成r行s列随机矩阵Q A=sum(Q,2); %把Q矩阵每一行相加和作为一个列矩阵A B=repmat(A,1,s); %把矩阵A的那一列复制为S列的新矩阵 %判断信道转移概率矩阵输入是否正确 P=input('输入信道转移矩阵P：')%从这句话开始将用下面两句代替可自动生成信道转移矩阵 [r,s]=size(P); for i=1:r if(sum(P(i,:))~=1) %检测概率转移矩阵是否行和为1. error('概率转移矩阵输入有误！！') return; end for j=1:s if(P(i,j)<0||P(i,j)>1) %检测概率转移矩阵是否负值或大于1 error('概率转移矩阵输入有误！！') return; end end end %将上面的用下面两句代替可自动生成信道转移矩阵 %disp('信道转移概率矩阵:') %P=Q./B 信道转移概率矩阵（每一个原矩阵的新数除以所在行的数总和） i=1:1:r; %设置循环首项为1，公差为1，末项为r（Q的行数）的循环 p(i)=1/r; %原始信源分布r个信源,等概率分布 disp('原始信源分布：')
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位
精品文档 3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
实验一信道容量及其一般计算方法 1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.源代码 clc;clear all; //清屏 N = input('输入信源符号X的个数N='); //输入行数 M = input('输出信源符号Y的个数M='); //输入列数 p_yx=zeros(N,M); //程序设计需要信道矩阵初始化为零 fprintf('输入信道矩阵概率\n') for i=1:N //从第一行第一列开始输入 for j=1:M p_yx(i,j)=input('p_yx='); //输入信道矩阵概率 if p_yx(i)<0 //若输出概率小于0则不符合概率分布 error('不符合概率分布') end end end for i=1:N //各行概率累加求和 s(i)=0; for j=1:M s(i)=s(i)+p_yx(i,j); end end for i=1:N //判断是否符合概率分布 if (s(i)<=0.999999||s(i)>=1.000001) //若行相加小于等于0.9999999或者大于等于1.000001 Error //('不符合概率分布') end end b=input('输入迭代精度：'); //输入迭代精度 for i=1:N p(i)=1.0/N; //取初始概率为均匀分布（每行值分别为1/N，）end for j=1:M //计算q(j) q(j)=0; for i=1:N q(j)=q(j)+p(i)*p_yx(i,j); //均匀分布的值乘上矩阵值后+q（j），然后赋值给q（j）实现求和
中文摘要 信道是信息传递的通道，承担信息的传输和储存的任务，是构成通信系统的重要组成部分。信道容量是指信道能够传输信息量的大小。信道容量的研究在现实中有着非常重要的理论意义。而信道容量的计算是一个比较复杂的问题，所以我们要借助于数学软件Matlab来解决这个难题。 本文的第一部分从信道容量的基本概念、基本原理、信道模型及分类等方面系统的介绍了信道容量。并在此基础上，介绍了一般信道容量的计算步骤。 本文的第二部分开始介绍信道容量的迭代算法及迭代算法在Matlab中的实现，举例检验迭代算法在Matlab中实现的程序的可行性 关键词信道容量 Matlab 迭代算法
Abstract Channel is a channel of information transmission. And it take on the task of information transmission and storage. Channel is an important part of communication system. Channel capacity is the size of the amount of information can be transmitted. It has important significances in reality. However, calculating the channel capacity is a complex issue. So we must use the mathematical software Matlab to solve this problem. The first part of the article, it introduces channel capacity by the basic concepts, principles and the classification of channel models. On this basis, introduce and discuss the calculation steps of the general channel capacity. The second part of the article, it introduces the Iterative algorithm of the channel capacity and implementes the iterative algorithm in Matlab. After that, by realizing the feasibility of the procedure, we make some examples. And also analyze the procedure. Key word ：channel capacity、matlab
第三章离散信道及其信道容量 3．1．1 信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有： 按照信道输入端或输出端的个数可分为单用户信道和多用户信道。 按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。 按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。 按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。 按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。 按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。 按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 3．1．2 离散信道的数字模型 1．一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足
概率空间[X，P(y|x)，Y]也可用图来描述。 2．基本离散信道(单符号离散信道) 单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足 概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。 若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3．无噪(无干扰信道) 若离散信道[X，P(y|x)，Y]满足
实验二一般信道容量迭代算法1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.算法 4.算法流程图 5.代码（要求写出关键语句的解释和运行结果） 6．计算下列信道的信道容量 例一： 0.980.02 0.050.95?????? 例二： 0.60.4 0.010.99?????? 例三： 0.790.160.05 0.050.150.8?????? 7．思考题： 迭代精度指的是什么？它对计算结果的影响？
3.实验的算法： 1. 初始化信源分布：p i =r 1 ，循环变量k=1，门限△，C （0）=-∞； 2. ∑== r i ji k i ji k i k ij p p p p 1 )()()(φ 3. ∑∑∑===+= r i s j k ij ji s j k ij ji k i p p p 1 1)(1 ) () 1(] log exp[] log exp[φ φ 4. ])log exp(log[1 1 ) () 1(∑∑==+=r i s j k ij ji k p C φ 5. 若 ?>-++) 1() ()1(k k k C C C ，则k=k+1，转第2步 6. 输出P *=()() r k i P 1+和()1+k C ，终止。 4.算法流程图如下： 5.代码如下： 否 是 ()()? ?? ??=+=+????? ?????=∑∑∑i i i i i j i i j i i j i j i a n n C a x p n n C x y p x p x y p x y p a max ln ,1)(ln ,1)/()()/(ln )/(exp 21 ()()ε <+-+n n C n n C ,1,121()n n C C ,11+= ∑= i i i i i i a x p a x p x p )()()( 输入 )()()0(i i x p x p = 结束
实验二 离散信道容量 一、实验目的 1. 掌握离散信道容量的计算。 2. 理解离散信道容量的物理意义。 3. 练习应用matlab 软件进行二元对称离散信道容量的函数曲线的绘制，并 从曲线上理解其物理意义。 二、实验原理 信道是传送信息的载体—信号所通过的通道。 信息是抽象的，而信道则是具体的。比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 二元对称信道BSC （Binary Symmetric Channel ） 二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即 (0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======??======-? 这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示： 信道容量公式： {()} max p x C I(X,Y)= 三、实验内容
BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p 的曲线。 根据曲线说明其物理意义。 四、实验要求 1.提前预习实验，认真阅读实验原理以及相应的参考书。 2.认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的 管理。 3.认真填写实验报告
.. .. ... . . 第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{0.5，0.5} 注意单位
完成时间：201 年月日
一．实验目的： 1.了解离散信道及其信道容量的基本原理及其特点;； 2.熟练掌握离散信道及其信道容量编码的方法步骤;二．实验内容： 1、根据书本作业题2.16编写相应的程序; 2、根据书本作业题3.6编写相应的程序; 3、验证所编程序的正确性。 1.根据书本作业题 2.16编写相应的程序： 程序： function []=Hx() p1=0.3; %白的概率 p2=0.7; %黑的概率 y1=Hx1(p1,p2,1,1) %题2.16（1） p11=0.63; %白白的概率 p12=0.07; %白黑的概率 p21=0.06; %黑白的概率 p22=0.24; %黑黑的概率 y2=(1/2)*Hx1(p11,p12,p21,p22) %题2.16（2） r1=1-y1/log2(2) r2=1-y2/log2(2) function [y]=Hx1(p1,p2,p3,p4) y = -p1*log2(p1)-p2*log2(p2)-p3*log2(p3)-p4*log2(p4); 1.运行结果： >> y1 = 0.8813 y2 = 0.7131 r1 = 0.1187 r2 = 0.2869
>> 2.根据书本作业题 3.6编写相应的程序： 1．程序： function []=channel() p0=0.75; p1=0.25; Hx=Hx1(p0,p1,1,1) %题3.6(1)的H(X) p00=1/2; p01=1/4; p10=1/12; p11=1/6; Hxy=Hx1(p00,p01,p10,p11) py0=p00+p10; py1=p01+p11; Hy=Hx1(py0,py1,1,1) Hx_div_y=Hxy-Hy %题3.6(1)的H(X/Y) Hy_div_x=Hxy-Hx %题3.6(1)的H(Y/X) Ixy=Hx-Hx_div_y %题3.6(1)的I(X;Y) C=log2(2)-Hx1(2/3,1/3,1,1) %题3.6(2)的信道容量,对于对称离散信道，当且仅当信道的输入与输出均为等概率分布(即p0=p1=1/2)时达到信道容量。 function [y]=Hx1(p1,p2,p3,p4) y = -p1*log2(p1)-p2*log2(p2)-p3*log2(p3)-p4*log2(p4); 三．运行结果： >> Hx = 0.8113 Hxy = 1.7296 Hy = 0.9799 Hx_div_y = 0.7497 Hy_div_x = 0.9183 Ixy = 0.0616 C = 0.0817 >> 四．实验总结： 通过这个实验，对matlab软件的运用有了更加深刻的了解，在实验的过程中也遇到了一些问题，总的来说，在完成该实验的过程中，还是学到了比较多的知识，包括使对一些matlab语句的掌握的更加熟练，完成一个算法必须要有一个整体的把握等等。
3.1 设信源??? ???=??????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ? ?????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) sym bol bit y p y p Y H sym bol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) sym bol bit Y H X Y H X H Y X H Y X H Y H X Y H X H sym bol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/()/()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
设某对称离散信道的信道矩阵为 1111336611116 6 3 3?? ??=? ??????? P 求其信道容量。 解：由对称信道的信道容量公式，得 log () 111111111111log 4(,,,)2log log log log 336633336666 C s H H =-=-=++++P 的行矢量 0.0817= 比特/符号 在这个信道中，每个符号平均能够传输的最大信息为0.0817比特，而且只有当信道输入是等概分布时才能达到这个最大值。 设某信道的转移矩阵为： 11p q q p p q p q --?? =? ?--? ? P 求其信道容量。 解：分析该转移矩阵，可知这是一个准对称信道。 121211,11, 2N p q p q N q M p q p q M q =--+=-==--+=-= 根据准对称离散信道的信道容量公式得 12 121 log (,,,)log log 2(1,,)log log 2(1,,)(1)log(1)log 22log (1)log(1)(1)log 1n s k k k k k k C r H p p p N M H p q q p N M H p q q p q q q q p p p q p q q q =='''=--=---- =-------=+----+--∑∑ 当0p =时，可得信道转移矩阵为 100 1q q q q -??=? ?-?? P
这时可得该信道（二元纯对称删除信道）的信道容量为 2log (1)log(1)(1)log 11/C p p p q p q q q q =+----+--=-比特符号
第3章 离散信道和信道容量 一、例题： 【例3.1】 二元对称信道，简记为BSC （Binary Symmetric Channel ）。如图3.1所示。 10 a = 21 a =1 b =2 b =X Y 图3.1 二元对称信道 这是很重要的一种特殊信道，其输入输出符号集均取值于{0,1}。此时2r s ==，而且 11220,1a b a b ====。又有转移概率 11221221(|)(0|0)1(|)(1|1)1(|)(0|1)(|)(1|0)P b a P p p P b a P p p P b a P p P b a P p ==-===-===== 于是，可得BSC 的信道转移概率矩阵P 为 11p p p p -??=?? -?? P 它满足2 2 121 1 (|)(|)1j j j j P b a P b a ====∑∑ 【例3.2】 二元删除信道，简记为BEC （Binary Erasure Channel ）。这时2,3r s ==。输入符号X 取值于{0,1}，输出符号Y 取值于{0,2,1}。其信道转移矩阵为 010101021 p p q q -??=? ?-?? P
【例3.3】 设二元对称信道的输入概率空间0 1()1X P x ωω????=???? =-???? ，而信道特性如图3.1所示，求平均互信息。 解：根据平均互信息的定义可得 11(;)()(|) 1()()log (|) 1()()(|)log (|) 11()()log log 11()log log ()() r s i j i j j i X Y X I X Y H Y H Y X H Y P a b P b a H Y P x P y x P y x H Y P x p p p p H Y p p p p H Y H p ===-=-=-?? =-+?? ? ??? =-+?? ??=-∑∑∑∑∑ 其中，()H p 是[0,1]区间上的熵函数。 可得 (0)(1)(1)(1)P y p p p p P y p p p p ωωωωωωωω==+-=+==+-=+ 所以 (;)()() 11 ()log ()log ()()()I X Y H Y H p p p p p H p p p p p H p p H p ωωωωωωωωωω=-=+++-++=+- 其中()H p p ωω+也是[0,1]区间上的熵函数。可见，当信道固定即固定p 时，可得(;)I X Y 是ω的 型凸函数，其曲线如图3.2所示。从图中可知，当二元对称信道的信道矩阵固定后，输入变量X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入变量X 是等概分布时，即(0)(1)1/2P x P x ====时，在信道接收端平均每个符号才获得最大的信息量。
课程设计任务书 2011—2012学年第一学期 专业：通信工程学号：姓名： 课程设计名称：信息论与编码课程设计 设计题目：对称信道容量的求解 完成期限：自2011 年12 月19 日至2011年12 月25 日共 1 周一．设计目的 1、深刻理解信道容量的概念； 2、理解对称信道的概念与容量公式； 3、使用MATLAB或其他语言进行编程。 二．设计内容 给定信道的概率矩阵，编程判断其是否为对称信道，并求解其信道容量。三．设计要求 1、任意给定矩阵； 2、如矩阵不满足信道矩阵的要求，要能提示错误。 四．设计条件 计算机、MATLAB或其他语言环境 五．参考资料 [1]曹雪虹，张宗橙.信息论与编码.北京：清华大学出版社，2007. [2]王慧琴，数字图像处理.北京：北京邮电大学出版社，2007. [3]张德丰，MATLAB通信工程仿真北京：机械工程出版社，2010 [4]陈鲁生，信息论与编码北京：科学出版社，2010 指导教师（签字）：教研室主任（签字）： 批准日期：年月日
摘要 本课程设计主要以给定信道的概率矩阵1/2 1/2 0 0;0 1/2 1/2 0;0 0 1/2 1/2;1/2 0 0 1/2通过计算机利用MATLAB软件编辑判断其是否为对称信道，如不是对称信道，则提示错误。并利用互信息量二等函数来求平均互信息量，并最终得到信道容量的结果。 关键字：信道；信道容量；信道容量计算
目录 1绪论 (1) 2信道容量概念 (1) 3单用户信道 (2) 4多用户信道 (3) 5信道容量计算 (4) 5.1离散单符号信道及其信道容量 (4) 5.2信道容量计算思路 (5) 5.3信道容量定理 (5) 5.4离散多符号信道及其信道容量 (5) 6组合信道及其信道容量 (6) 7程序设计 (7) 8程序运行与分析 (9) 总结 (11) 致谢 (12) 参考文献 (13)
第三章信道与信道容量 主要内容：（1）信道的分类和表示参数；（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。 重点：离散单个符号信道及其容量。 难点：连续信道及其容量。 说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。 作业：3．1，3．2。 课时分配：4课时。 板书及讲解要点： 本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。 3．1 信道的分类和表示参数 信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。 首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。 3．1． 1 信道的分类 图3－1 信道模型
3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑