实验一贝叶斯判别函数和决
策面
一、实验结果
1、第一种情况:^.= cr2/,z = 1,2,L
决策面如图1所示:
从图1可以看出,各类样木落入以坷为中心的同样大小的一些超球体内,两类的决策而是一个超平而。当两类的先验概率相等,P(?) = P(?)二0.5时,决策面通过绚与叫连线屮点并与连线正交;当两类先验概率不相等,P(?) 二0.2 , P(?)二0.8时,决策面仍通过坷与弘2连线并与连线止交,但向先验概率较小的类偏移。
2、第二种情况:=; 2 ' i=l,2,如=;‘ “2 二决策面如图2所不:
pv/1=0.2, pw2=0.8时'决策面
pw1=0.2/ pw2=0.8时,槪率密度及次策面
0.15
0.05
pw1=0.5^ pw2=0.5时,槪率密度及次策面
1
1=1,2,"产3
从图2可以看出,各类样木落入以冷为中心的同样大小的一些超椭球内,两 类的决策面是一个超平面。当两类的先验概率相等,P(?)二P(?)二0.5时,决 策血通过旳与u 2连线中点;当两类先验概率不相等,戶(?)二0?2,卩(5)二0?8 时,决策面仍通过绚与“2连线,但向先验概率较小的类偏移。
3、第三种情况: ,z, j = 1,2,L ,c
'5 0_
_
1 0_
T
_5_
,11\ —
,=
0 5_
厶2
_0 1
1
_3_
Z
_3_
pw1=0.2, pw2=0.8时,槪潔密度及决策面
pw1=0.2, pw2=0.8时,块策
面
pw1=0.5. pv/2=05时,槪潔密度及决策
面
如图3-1所示,当各个随机变量的方差类内相等、类间不相等时,决策而是
是一个超球面,投影是圆,且将方差较小的类包围。当两类先验概率和等时,决
策面过吗与“2连线屮点,当两类先验概率不相等时,决策而偏向先验概率小 的类。
1
u x =
1
3
如图3-2所示,当两个随机变量各类方差都不相等时,概率密度曲线是椭圆, 决策面也是椭圆。当两类先验概率不相等时,决策面会向偏先验概率小的类。 「10] 「10] 「1]
「5「 ⑶工计0 5f 工2计° 1}坷甘 鬥3.
0.3 0 u 2
pw1=0.2^ pw2=0.8B 寸,概率密度及决茉面
pw1=O2, pw2=08时,决策面
pw1=0.5> pw2=0.5时,概率密度及决茉面
如图3-3,两随机变量在类一中方并不相等,在类二中方并和等,所以概率 密度曲线投影呈现一个椭圆和一个圆,决策面为抛物线。先验概率相等吋,决策 面过两类均值连线的屮心,先验概率不相等吋,决策面偏向先验概率小的类。
⑷为
0.5 0
0 0.5
1
u.= 1
3
u 2
图3?4
pw1=0 2^ pw2==0 8时,概率密度及决策面
pw1=0 5^ pw2=0£B 寸,槪率密度及.决策面
pwl =0 2^ pw2=08时,牴率密度及;夬策面 pw1=0.2, pw2=0.8时,决策面
pw1=0.5^ pw2=0.5时,槪率密度及庆策面
如图3-4,由于两类协方差类内都不相等,两类的概率密度曲线都为椭圆, 决策为双曲线。当先验概率不相等时,决策面为双曲线。
如图3-5,当两类的均值和协方羞矩阵在特殊对称的情况厂决策面从双曲 线退化为一对直线。
二、回答问题
1、 协方差矩阵、均值和先验概率与决策面之间有怎样的关系?
答:协方差矩阵决定概率密度曲线的形状,从而决定决策面的形状;
均值影响样本的分布,从而影响两类概率密度曲线的位置及邻接程度; 先验概率决定决策面的位置;
2、 在不同的情况下,随着协方差矩阵、均值和先验概率的变化会呈现出哪儿种 形
式的决策面?它们之间乂有怎样的规律?
答:随着协方差矩阵、均值、和先验概率的变化,会呈现出圆、椭圆、抛物 线、双曲线、直线五种决策面。
当两类的协方差相等时,决策面是直线,如果先验概率相等,则决策面通过 两类均值连线的中点,如果先验概率不相等,则决策面偏向先验概率较小的类;
当两类的协方差不相等时,如果类内两个随机变量的方差和等,则概率密度 曲线为圆,决策面也是圆;如果类内两个随机变量的方差不相等,则概率密度曲 线为椭圆,类内两个变量方差的大小关系不同可能会出现椭圆、抛物线、双曲线、 双直线型决策面。如果两类先验概率相等,决策面仍然会通过两类均值连线的中 心,如果不相等,则先验概率密度大的一类要占据较大的决策空间。
⑸工产
0 0.8
工厂
0.8 0 0 3
pw1=0 2, pw2=08时,槪率密度及决策面
0.05
pw1=05^ pw2二05时,柢率密度及庆策面
3、在实验过程中遇到哪些问题?乂是如何解决的?
问题一:如果用meshc函数画两类的概率密度曲线投影,需要将程序运行两次才能完全显示出两类的概率密度曲线投影?最后选择用mesh函数画概率密度曲线,用contour函数做投影。其余问题查资料解决。
三、实验部分程序代码
%设置随机变量的取值范围
xl=-5:0. 3:11;
x2=-5:0. 3:11;
%设置类参数
mul=[l 3];
mu2=[5 3];
sigmal=[5 0;0 5];
s i gma2=[1 0;0 1];
%设置类先验概率
pwl=0. 2;
pw2=0. 8;
pwll=0. 5;
pw22=0. 5;
%计算概率密度
adjusts. 1; %将图像整体上移
[XI, X2]=meshgrid(xl, x2);
pl=mvnpdf([XI(:) X2(:)], mul, sigmal)+adjust;
f l=reshape (pl, length(xl), length(x2));
p2=mvnpdf([XI(:) X2(:)], mu2, sigma2)+adjust;
f2二:reshape(p2, length(xl), length(x2));
%判别函数
%决策面方程gi (x)=gj (x)
syms x y;
detl二det(sigmal);
dct2=dct(sigma2);
Sl=inv(sigmal);
S2=inv(sigma2);
A=[x-mul(1) y-mul(2)];
B=[x-mu2(l) y-mu2 (2)];
c二A*S1*A';
d二B*S2*B';
fdel=-(l/2)*(c-d)-(l/2) *log(detl/det2)+log(pwl/pw2);
fde2=-(l/2) *(c-d) -(1/2) *log(detl/det2)+log(pwll/pw22);
%绘图
low=0;
up二max (max(fl(:)), max(f2(:)));
subplot (2, 2, 1);
xlabel (' xl');
ylabcl (' x2');
mesh(xl, x2, fl);
view(-37. 5, 15);
hold on
mesh(xl, x2, f2);
contour (XI, X2, fl);
contour (XI, X2, f2);
axis ([-5 11 -5 11 low up]);
plot3([mul(1) mu2(1)], [mul(2) mu2(2)], [low, low],' r',' linewidth', 2); czplot (fdcl, [一4*pi, 4*pi]);
axis square;
title C pwl=0. 2, pw2=0. 8时,概率密度及决策面');
subplot (2, 2, 2);
xlabel (' xl');
ylabcl (' x2');
contour (Xl, X2, fl);
hold on
contour (Xl, X2, f2);
plot ([mul(1) mu2(l)], [mul(2) mu2(2)' r',' linewidth', 2);
ezplot (fdel, [-4*pi, 4*pi]);
axis square;
title C pwl=0. 2, pw2=0. 8时,决策而');
subplot (2, 2, 3);
xlabel (' xl');
ylabel (' x2');
mcsh(xl, x2, fl);
view(-37. 5, 15);
hold on
mesh(xl, x2, f2);
contour (Xl, X2, fl);
contour (XI, X2, f2);
axis([-5 11 -5 11 low up]);
plot3([mul(1) mu2(1)], [mul(2) mu2(2)], [low, low],' r',' linewidth,, 2); ezplot (fde2, [-4*pi, 4*pi]);
axis square;
title C pwl=0. 5, pw2=0?5时,概率密度及决策面');
subplot (2, 2, 4);
xlabcl (' xT );
ylabel (' x2');
contour (XI, X2, fl);
hold on
contour (XI, X2, f2);
plot([mul(1) mu2(l)], [mul(2) mu2(2)' r',' linewidth', 2);
ezplot (fdc2, [-4*pi, 4*pi]);
axis square;
title C pwl=0. 5, pw2=0. 5时,决策而');