如何使用贝叶斯网络工具箱 2004-1-7版 翻译：By 斑斑（QQ：23920620） 联系方式：banban23920620@https://www.doczj.com/doc/7d12331142.html, 安装 安装Matlab源码 安装C源码 有用的Matlab提示 创建你的第一个贝叶斯网络 手工创建一个模型 从一个文件加载一个模型 使用GUI创建一个模型 推断 处理边缘分布 处理联合分布 虚拟证据 最或然率解释 条件概率分布 列表（多项式）节点 Noisy-or节点 其它（噪音）确定性节点 Softmax（多项式 分对数）节点 神经网络节点 根节点 高斯节点 广义线性模型节点 分类 / 回归树节点 其它连续分布 CPD类型摘要 模型举例 高斯混合模型 PCA、ICA等 专家系统的混合 专家系统的分等级混合 QMR 条件高斯模型 其它混合模型
参数学习 从一个文件里加载数据 从完整的数据中进行最大似然参数估计 先验参数 从完整的数据中（连续）更新贝叶斯参数 数据缺失情况下的最大似然参数估计（EM算法） 参数类型 结构学习 穷举搜索 K2算法 爬山算法 MCMC 主动学习 结构上的EM算法 肉眼观察学习好的图形结构 基于约束的方法 推断函数 联合树 消元法 全局推断方法 快速打分 置信传播 采样（蒙特卡洛法） 推断函数摘要 影响图 / 制定决策 DBNs、HMMs、Kalman滤波器等等
安装 安装Matlab代码 1.下载FullBNT.zip文件。 2.解压文件。 3.编辑"FullBNT/BNT/add_BNT_to_path.m"让它包含正确的工作路径。 4.BNT_HOME = 'FullBNT的工作路径'; 5.打开Matlab。 6.运行BNT需要Matlab版本在V5.2以上。 7.转到BNT的文件夹例如在windows下，键入 8.>> cd C:\kpmurphy\matlab\FullBNT\BNT 9.键入"add_BNT_to_path"，执行这个命令。添加路径。添加所有的文件夹在Matlab的路 径下。 10.键入"test_BNT"，看看运行是否正常，这时可能产生一些数字和一些警告信息。（你可 以忽视它）但是没有错误信息。 11.仍有问题？你是否编辑了文件？仔细检查上面的步骤。
第一章Matlab神经网络工具箱介绍和数值试验 1.1Matlab神经网络工具箱中BP网络相关函数介绍 MATLAB神经网络工具箱中包含了许多用于BP网络分析和设计的函数。BP网络的常用函数如表4-1所示。[10,12] 表4-1 BP网络的常用函数 函数类型函数名称函数用途 前向网络创建函数newcf 创建一个多层前馈BP网络newff 创建一个前向BP网络 newfftd 创建一个前馈输入延迟BP网络 传递函数logsig S型的对数函数dlogsig Logig的导函数tansig S型的正切函数dtansig tansig的导函数purelin 纯线性函数 学习函数traingd 基于标准BP算法的学习函数trainrp 采用Rprop算法训练 trainlm 采用LM算法训练 traincgf 基于共轭梯度法的学习函数 仿真函数sim 仿真一个神经网络 1.2数值试验 1.2.1.“异或”问题 “异或”问题（XOR）是典型的非线性划分问题。这里以它为例，简单介绍BP网络的使用。 在Matlab7.0环境下，建立一个三层的BP神经网络，其中输入层和隐层分别各有两个神经元，输出层有一个神经元。现要求训练这一网络，使其具有解决“异或”问题的能力。 “异或”问题的训练输入和期望输出如表5-1。
表5-1 异或问题的训练输入和期望输出 1X 2X 1d 0 0 0 0 1 1 1 0 1 1 1 1） 基于标准BP 算法 结果如下及图5.1所示： 横轴表示迭代次数，纵轴表示误差。迭代到第240次时达到预设精度。迭代停止时，误差为9.97269e-005，此时的梯度为0.00924693。 050 100150200 10 -4 10 -3 10 -2 10 -1 10 10 1 240 Epochs T r a i n i n g -B l u e G o a l -B l a c k Performance is 9.97269e-005, Goal is 0.0001 图5.1 基于标准BP 算法的“异或”问题 2） 基于共轭梯度法 结果如下及图5.2所示： 横轴表示迭代次数，纵轴表示误差。迭代到第16次时达到预设精度。迭代停止时，
matlab贝叶斯网络工具箱使用 2010-12-18 02:16:44| 分类：默认分类| 标签：bnet 节点叶斯matlab cpd |字号大中小订阅 生成上面的简单贝叶斯网络，需要设定以下几个指标：节点，有向边和CPT表。 给定节点序，则只需给定无向边，节点序自然给出方向。 以下是matlab命令： N = 4; %给出节点数 dag = false(N,N); %初始化邻接矩阵为全假，表示无边图C = 1; S = 2; R = 3; W = 4; %给出节点序 dag(C,[R,S])=true; %给出有向边C-R，C-S dag([R,S],W)=true; %给出有向边R-W，S-W discrete_nodes = 1:N; %给各节点标号 node_sizes = 2*ones(1,N); %设定每个节点只有两个值 bnet = mk_bnet(dag, node_sizes); %定义贝叶斯网络bnet %bnet结构定义之后，接下来需要设定其参数。 bnet.CPD{C} = tabular_CPD(bnet, C, [0.5 0.5]); bnet.CPD{R} = tabular_CPD(bnet, R, [0.8 0.2 0.2 0.8]); bnet.CPD{S} = tabular_CPD(bnet, S, [0.5 0.9 0.5 0.1]); bnet.CPD{W} = tabular_CPD(bnet, W, [1 0.1 0.1 0.01 0 0.9 0.9 0.99]); 至此完成了手工输入一个简单的贝叶斯网络的全过程。 要画结构图的话可以输入如下命令： G=bnet.dag; draw_graph(G); 得到：
#include "stdio.h" #include "stdlib.h" #include "time.h" #include "math.h" /********************************************* inpoints 为输入神经元个数，可改变 outpoints为输出神经元个数 defaultpoints为隐层神经元个数 datagrough为样本数据个数 ********************************************** ******以下数据定义可以修改*****/ #define A 0 #define a 1 #define b 1 #define c 1 #define ALFA 0.85 #define BETA 0.2 //学习率0~1 #define Total 20000 #define inpoints 9 #define outpoints 5 #define defaultpoints 28 #define datagrough 44 #define forecastdata 4 /**********定义所需变量********/ double InpointData[datagrough][inpoints],OutpointData[datagrough][outpoints]; /* 输入输出数据*/ double InpointData_MAX[inpoints],InpointData_MIN[inpoints]; /* 每个因素最大数据*/ double OutpointData_MAX[outpoints],OutpointData_MIN[outpoints]; /* 每个因素最小数据*/ double w[defaultpoints][inpoints],limen[defaultpoints],v[outpoints][defaultpoints]; /* 连接权值、阈值*/ double dlta_w[defaultpoints][inpoints],dlta_limen[defaultpoints],dlta_v[outpoints][defaultpoints]; /* 连接权、阈值修正值*/ double defaultOutpoint[defaultpoints],Outpoint_dp[outpoints],Outpoint_ep[datagrough]; /**************************读数据文件******************************/ void ReadData() { FILE *fp1,*fp2; int i,j; if((fp1=fopen("D:\\data\\训练输入.txt","r"))==NULL) {
神经网络学习算法的过拟合问题及解决方法 李俭川 秦国军 温熙森 胡茑庆 (国防科技大学机电工程与自动化学院 长沙,410073) 摘要 针对反向传播学习算法及其改进算法中出现的过拟合问题,探讨了三种解决方法:调整法、提前停止法和隐层节点自生成法,并用实例对三种方法进行了验证和比较。其中,调整法和提前停 止法针对一个较大的网络可以解决过拟合问题,而隐层节点自生成法的提出既能避免过拟合问 题,又能获得最少神经元网络结构。这三种方法有效地解决了在神经网络学习过程中的过拟合问 题,提高了网络的适应性。它们不仅适合于函数逼近,而且可以推广到其他网络结构等应用领域。关键词 神经网络 计算机 BP 算法 过拟合 均方误差 自生成 故障诊断 中图分类号 T H 165.3神经网络已经在模式分类、机器视觉、机器听觉、智能计算、自动控制、故障诊断、信息处理、地震勘探、通信、雷达和声纳等领域有着十分广泛的应用前景,并随着计算机技术和信号处理技术的发展而发展。应用神经网络必须解决两个问题:模型和算法。现有的神经网络模型已达上百种[1] ,应用最多的是Hopfield 神经网络、多层感知器、自组织神经网络、概率神经网络以及它们的改进型。自Rumellhart D E,H inton 和Williams 提出误差反向传播算法(即BP 算法),解决了神经网络在引入隐层节点后的学习(或训练)问题后,已经发展了许多的改进学习算法[1],如快速下降法、共轭梯度法、一维搜索法及Lev enberg -Mar quardt 法等,其收敛速度很快,能满足实时性要求,但也存在着一些问题。1 学习算法及其过拟合问题 BP 算法及其改进算法是目前应用最广泛的学习算法,尽管不能证明这类算法能象单层感知器一样收敛,但是对许多问题的解决是成功的[2]。实际上,BP 算法是把一组样本的输入输出问题,变为一个非线性优化问题,它使用了优化技术中最普通的一种梯度下降法,用迭代运算求解权值并相应于学习记忆问题,加入隐层节点可使优化问题的可调参数增加,这样可得到更精确的解。要应用学习算法对网络进行训练,首先需要确定网络的结构,即输入、输出层神经元数目和隐层数及其神经元数目。 如何适宜地选取隐含层神经元的数目还没有确定的规律可以指导,但是,隐含层神经元数目是否合适对整个网络是否能够正常工作具有重要的甚至是决定性的意义。隐含层神经元数第22卷第4期2002年12月 振动、测试与诊断Jo ur nal of Vibr ation,M easur em ent &Diag no sis V o l.22No.4 D ec.2002 国家自然科学基金资助项目(编号:59775025)。 收稿日期:2001-07-09;修改稿收到日期:2001-12-03。
1. 打开MATLAB，在命令行输入nntool，将出现如下界面： 图1 神经网络工具箱主界面 其中最主要的分为6个部分：第1部分中显示的是系统的输入数据；第2部分是系统的期望输出；第3部分是网络的计算输出；第4部分是网络的误差，即2 和3之间的差异；第5部分呈现的是已经建立的神经网络实例；第6部分的两个按钮分别负责数据的导入和网络模型的建立。 2. 点击“Import”按钮，分别导入输入数据与目标输出数据（数据可从工作区导入，也可从文件导入）： 图2 导入输入数据集
图3 导入期望输出数据集 导入数据后主界面的情况如下： 图4 导入数据后的情况 重要说明：神经网络的数据是以列为基本单位的，即输入与输出数据的列数必须相同，否则将报错！如果原先数据是以行为单位组织的话，可以先在MATLAB 中实现转置然后再导入，即B = A’。
3.现在需要的数据已经有了，下一步就是建立一个神经网络模型对数据集进行学习。以下步骤以BP网络为例，首先点击“New”按钮，出现如下界面： 几个重要部分已在上图中框出：1处用于定义该神经网络的名称；2处用于选择神经网络的类型；3处用于选择网络的输入数据；4处用于确定网络的期望输出数据；5、6、7处分别对神经网络的主要机制函数进行设置；8处设置网络层数；9处用于选择各网络层（需要说明的是：第1层指的是隐含层而不是输入层），从而在10和11处可以对该层的神经元个数和传递函数进行设置；12处按钮可以用于查看当前所设置的神经网络的结构图（下附图）；点击13处按钮即可生成对应的神经网络模型。前面只是简单地介绍了各个部分的作用，具体参数应该如何设置就只有各位自行去学习相关的文献了，此处不再多言。
Matlab的神经网络工具箱实用指南 文章摘要:第一章是神经网络的基本介绍，第二章包括了由工具箱指定的有关网络结构和符号的基本材料以及建立神经网络的一些基本函数，例如new、init、adapt和train。第三章以反向传播网络为例讲解了反向传播网络的原理和应用的基本过程。 第一章介绍 1．神经网络 神经网络是单个并行处理元素的集合，我们从生物学神经系统得到启发。在自然界，网络功能主要由神经节决定，我们可以通过改变连接点的权重来训练神经网络完成特定的功能。 一般的神经网络都是可调节的，或者说可训练的，这样一个特定的输入便可得到要求的输出。如下图所示。这里，网络根据输出和目标的比较而调整，直到网络输出和目标匹配。作为典型，许多输入/目标对应的方法已被用在有监督模式中来训练神经网络。 神经网络已经在各个领域中应用，以实现各种复杂的功能。这些领域包括：模式识别、鉴定、分类、语音、翻译和控制系统。 如今神经网络能够用来解决常规计算机和人难以解决的问题。我们主要通过这个工具箱来建立示范的神经网络系统，并应用到工程、金融和其他实际项目中去。 一般普遍使用有监督训练方法，但是也能够通过无监督的训练方法或者直接设计得到其他的神经网络。无监督网络可以被应用在数据组的辨别上。一些线形网络和Hopfield网络是直接设计的。总的来说，有各种各样的设计和学习方法来增强用户的选择。 神经网络领域已经有50年的历史了，但是实际的应用却是在最近15年里，如今神经网络仍快速发展着。因此，它显然不同与控制系统和最优化系统领域，它们的术语、数学理论和设计过程都已牢固的建立和应用了好多年。我们没有把神经网络工具箱仅看作一个能正常运行的建好的处理轮廓。我们宁愿希望它能成为一个有用的工业、教育和研究工具，一个能够帮助用户找到什么能够做什么不能做的工具，一个能够帮助发展和拓宽神经网络领域的工具。因为这个领域和它的材料是如此新，这个工具箱将给我们解释处理过程，讲述怎样运用它们，并且举例说明它们的成功和失败。我们相信要成功和满意的使用这个工具箱，对范例
贝叶斯网络 提纲： 最近工作： B-COURSE工具学习 BNT研究与学习 BNT相关实验及结果 手动建立贝叶斯网及简单推理 参数学习 结构学习 下一步工作安排 最近工作： 1． B-COURSE 工具学习 B-COURSE是一个供教育者和研究者免费使用的web贝叶斯网络工具。主要分为依赖关系建模和分类器模型设计。输入自己的研究数据，就可以利用该工具在线建立模型，并依据建立好的模型进行简单推理。 B-COURSE要求数据格式是ASCII txt格式的离散数据，其中第一行是各种数据属性变量，其余各行则是采集的样本，属性变量值可以是字符串也可以是数据，属性变量之间用制表符分割，缺失属性变量值用空格代替。读入数据后，在进行结构学习前，可以手动的选择需
要考虑的数据属性！生成过程中，可以手动确定模型，确定好模型后，可以选择JAVA playgroud，看到一个java applet程序，可以手动输入相应证据，从而进行简单推理。 B-COURSE的详细使用介绍，可详见 [url]http://b-course.cs.helsinki.fi/obc/[/url]。 B-COURSE工具隐藏了数据处理，算法实现等技术难点，所以对初学者来说，容易上手。但是却不能够针对不同的应用进行自主编程，缺乏灵活性。 2．贝叶斯网工具箱BNT的研究与学习 基于matlab的贝叶斯网络工具箱BNT是kevin p.murphy基于matlab语言开发的关于贝叶斯网络学习的开源软件包，提供了许多贝叶斯网络学习的底层基础函数库，支持多种类型的节点（概率分布）、精确推理和近似推理、参数学习及结构学习、静态模型和动态模型。 贝叶斯网络表示：BNT中使用矩阵方式表示贝叶斯网络，即若节点i到j有一条弧，则对应矩阵中（i，j）值为1，否则为0。 结构学习算法函数：BNT中提供了较为丰富的结构学习函数，都有： 1. 学习树扩展贝叶斯网络结构的TANC算法learn_struct_tan(). 2. 数据完整条件下学习一般贝叶斯网络结构的K2算法 learn_struct_k2()、贪婪搜索GS（greedy search）算法
如何用MA TLAB的神经网络工具箱实现三层BP网络？ % 读入训练数据和测试数据 Input = []; Output = []; str = {'Test','Check'}; Data = textread([str{1},'.txt']); % 读训练数据 Input = Data(:,1:end-1); % 取数据表的前五列（主从成分） Output = Data(:,end); % 取数据表的最后一列（输出值） Data = textread([str{2},'.txt']); % 读测试数据 CheckIn = Data(:,1:end-1); % 取数据表的前五列（主从成分） CheckOut = Data(:,end); % 取数据表的最后一列（输出值） Input = Input'; Output = Output'; CheckIn = CheckIn'; CheckOut = CheckOut'; % 矩阵赚置 [Input,minp,maxp,Output,mint,maxt] = premnmx(Input,Output); % 标准化数据 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% % 神经网络参数设置 %====可以修正处 Para.Goal = 0.0001; % 网络训练目标误差 Para.Epochs = 800; % 网络训练代数 Para.LearnRate = 0.1; % 网络学习速率 %==== Para.Show = 5; % 网络训练显示间隔 Para.InRange = repmat([-1 1],size(Input,1),1); % 网络的输入变量区间 Para.Neurons = [size(Input,1)*2+1 1]; % 网络后两层神经元配置
MATLAB 神经网络工具箱函数 说明:本文档中所列出的函数适用于 MATLAB5.3以上版本, 为了简明起见, 只列出了函数名, 若需要进一步的说明,请参阅 MATLAB 的帮助文档。 1. 网络创建函数 newp 创建感知器网络 newlind 设计一线性层 newlin 创建一线性层 newff 创建一前馈 BP 网络 newcf 创建一多层前馈 BP 网络 newfftd 创建一前馈输入延迟 BP 网络 newrb 设计一径向基网络 newrbe 设计一严格的径向基网络 newgrnn 设计一广义回归神经网络 newpnn 设计一概率神经网络 newc 创建一竞争层 newsom 创建一自组织特征映射 newhop 创建一 Hopfield 递归网络 newelm 创建一 Elman 递归网络 2. 网络应用函数
sim 仿真一个神经网络 init 初始化一个神经网络 adapt 神经网络的自适应化 train 训练一个神经网络 3. 权函数 dotprod 权函数的点积 ddotprod 权函数点积的导数 dist Euclidean 距离权函数normprod 规范点积权函数negdist Negative 距离权函数mandist Manhattan 距离权函数linkdist Link 距离权函数 4. 网络输入函数 netsum 网络输入函数的求和dnetsum 网络输入函数求和的导数5. 传递函数 hardlim 硬限幅传递函数hardlims 对称硬限幅传递函数purelin 线性传递函数
tansig 正切 S 型传递函数 logsig 对数 S 型传递函数 dpurelin 线性传递函数的导数 dtansig 正切 S 型传递函数的导数dlogsig 对数 S 型传递函数的导数compet 竞争传递函数 radbas 径向基传递函数 satlins 对称饱和线性传递函数 6. 初始化函数 initlay 层与层之间的网络初始化函数initwb 阈值与权值的初始化函数initzero 零权/阈值的初始化函数 initnw Nguyen_Widrow层的初始化函数initcon Conscience 阈值的初始化函数midpoint 中点权值初始化函数 7. 性能分析函数 mae 均值绝对误差性能分析函数 mse 均方差性能分析函数 msereg 均方差 w/reg性能分析函数
神经网络工具箱 版本6.0.4（R2010a版本）25-JAN-2010 图形用户界面的功能。 nctool - 神经网络分类的工具。 nftool - 神经网络拟合工具。 nprtool - 神经网络模式识别工具。 nntool - 神经网络工具箱的图形用户界面。 nntraintool - 神经网络训练工具。 视图- 查看一个神经网络。 分析功能。 混乱- 分类混淆矩阵。 errsurf - 单输入神经元的误差表面。 maxlinlr - 最大的学习率的线性层。 鹏- 受试者工作特征。 距离函数。 boxdist - 箱距离函数。 DIST - 欧氏距离权重函数。 mandist - 曼哈顿距离权重函数。 linkdist - 链路距离函数。 格式化数据。 combvec - 创建载体的所有组合。 con2seq - 转换并行向量连续载体。 同意- 创建并发偏载体。 dividevec - 创建载体的所有组合。 ind2vec - 转换指数为载体。 最小最大- 矩阵行范围。 nncopy - 复印基质或细胞阵列。 normc - 规格化矩阵的列。 normr - 规格化行的矩阵的。 pnormc - 矩阵的伪规格化列。 定量- 值离散化作为数量的倍数。 seq2con - 转换顺序向量并发载体。 vec2ind - 将矢量转换成指数。 初始化网络功能。 initlay - 层- 层网络初始化函数。 初始化层功能。
initnw - 阮层的Widrow初始化函数。 initwb - 从重量和- 偏置层初始化函数。 初始化的重量和偏见的功能。 initcon - 良心的偏见初始化函数。 initzero - 零重量/偏置初始化函数。 initsompc - 初始化SOM的权重与主要成分。 中点- 中点重初始化函数。 randnc - 归一列重初始化函数。 randnr - 归行重初始化函数。 兰特- 对称随机重量/偏置初始化函数。 学习功能。 learncon - 良心的偏见学习功能。 learngd - 梯度下降重量/偏置学习功能。 learngdm - 梯度下降W /气势重量/偏置学习功能。 learnh - 赫布重学习功能。 learnhd - 赫布衰变重学习功能。 learnis - 重量龄学习功能。 learnk - Kohonen的重量学习功能。 learnlv1 - LVQ1重学习功能。 learnlv2 - LVQ2重学习功能。 learnos - Outstar重学习功能。 learnsomb - 批自组织映射权重学习功能。 learnp - 感知重量/偏置学习功能。 learnpn - 归感知重量/偏置学习功能。 learnsom - 自组织映射权重学习功能。 learnwh - 的Widrow - 霍夫重量/偏置学习规则。 在线搜索功能。 srchbac - 回溯搜索。 srchbre - 布伦特的结合黄金分割/二次插值。 srchcha - Charalambous“三次插值。 srchgol - 黄金分割。 srchhyb - 混合二分/立方搜索。 净输入功能。 netprod - 产品净输入功能。 netsum - 求和净输入功能。 网络创造的功能。 网络- 创建一个自定义的神经网络。 NEWC - 创建一个有竞争力的层。 newcf - 创建级联转发传播网络。
Graphical user interface functions. nnstart - Neural Network Start GUI nctool - Neural network classification tool nftool - Neural Network Fitting Tool nntraintool - Neural network training tool nprtool - Neural network pattern recognition tool ntstool - NFTool Neural Network Time Series Tool nntool - Neural Network Toolbox graphical user interface. view - View a neural network. Network creation functions. cascadeforwardnet - Cascade-forward neural network. competlayer - Competitive neural layer. distdelaynet - Distributed delay neural network. elmannet - Elman neural network. feedforwardnet - Feed-forward neural network. fitnet - Function fitting neural network. layrecnet - Layered recurrent neural network. linearlayer - Linear neural layer. lvqnet - Learning vector quantization (LVQ) neural network. narnet - Nonlinear auto-associative time-series network. narxnet - Nonlinear auto-associative time-series network with external input. newgrnn - Design a generalized regression neural network. newhop - Create a Hopfield recurrent network. newlind - Design a linear layer. newpnn - Design a probabilistic neural network. newrb - Design a radial basis network. newrbe - Design an exact radial basis network. patternnet - Pattern recognition neural network. perceptron - Perceptron. selforgmap - Self-organizing map. timedelaynet - Time-delay neural network. Using networks. network - Create a custom neural network. sim - Simulate a neural network. init - Initialize a neural network. adapt - Allow a neural network to adapt. train - Train a neural network. disp - Display a neural network's properties. display - Display the name and properties of a neural network adddelay - Add a delay to a neural network's response. closeloop - Convert neural network open feedback to closed feedback loops. formwb - Form bias and weights into single vector.
嵌入式贝叶斯网络在人脸识别中的应用 Ara V Nefian 英特尔公司 微处理器研究实验室 Santa Clara ，CA 95052 ara.nefian @ https://www.doczj.com/doc/7d12331142.html, 摘要：本文所介绍的嵌入式贝叶斯网络(EBN)是嵌入式隐马尔可夫模型的一种概括，嵌入式隐马尔可夫模型最初应用于人脸和字符识别。一个EBN 递归的被定义为一个层次结构，在这个结构里，“双亲”层节点在嵌入式贝叶斯网络或者描述“孩子”层各节点的观察序列的条件下是一个贝叶斯网络。在嵌入式贝叶斯网络下，可以建立复杂的N 维数据，在保护他们的灵活性和局部尺度不变性的同时避免复杂的贝叶斯网络。在本文中，我们提出了嵌入式贝叶斯网络在人脸识别上的一种应用，并且描述了该方法与特征脸方法以及嵌入式隐马尔可夫模型方法相比的完善之处。 1、 简介： 本文介绍的动机是需要实际的统计模型与n 维的依赖，特别是依赖使用二维图像分析。而隐马尔可夫模型(HMM)是非常成功的应用于语音识别或手势识别，在这个模型里，随着时间的推移数据依赖于一维，相当于一个N 维隐马尔可夫模型已被证明是不切实际的，由于其复杂性会随着数据的大小而成倍增长[1]。对于图像识别，特别是人脸识别[2]，其数据本质上是二维的，基于采用主成分分析（[3]，[4]），线性判别分析（[5]），神经网络（[6]，[7]），和匹配追踪方法的模板与早期的几何特征表现相比有了改进。然而，这些方法不能概括在尺度，方向，或面部表情方面的广泛差异。近年来，几种近似二维隐马尔可夫模型与实际计算模型的方法被研究了，诸如伪二维隐马尔可夫模型或嵌入式隐马尔可夫模型应用于字符识别[1]或人脸识别[10]，[11]。这些模型在相当大的程度上降低了早期基于隐马尔可夫模型的人脸识别方法的错误率[11]。在文献[12]中，Jia 和 Gray 制定了一个有效的近似于隐马尔可夫模型的训练和识别的方法，并将其应用于文本图像分析。本文介绍了一个系列嵌入式贝叶斯网络（EBN ）并研究它们的人脸识别性能。嵌入式贝叶斯网络通过允许每一个隐马尔可夫模型被任意的贝叶斯网络所代替来概括嵌入式隐马尔可夫模型。本文主要介绍在动态贝叶斯网络如HMM 或耦合HMMs 基础上建立的一系列嵌入式贝叶斯网络,并将他们的人脸识别性能与现有的一些方法相比较。 2、 耦合隐马尔可夫模型 耦合隐马尔可夫模型（CHMM ）可以被视为一个HMMs 的集合，一个数据流集合，其中每个HMM 在时间t 时的离散型节点受所有相关HMMs 在时间t-1时的离散型节点的影响。图1显示了一个CHMM ，其中正方形代表隐藏的离散节点而环形代表连续观测节点。用C 表示一个CHMM 通道的数量，并用i =[il,..,,ic]表示状态向量，描述通道1处隐藏节点的状 态，…，在一个特定时间t 的实例。(C 是耦合隐马尔可夫模型（CHMM ）的一个通道，i = [i l ,….,i c ]是描述在通道1……C 隐藏节点的状态的状态向量，1q [,...]C t t t q q 代表一个特定的时间例如t 时状态。)耦合隐马尔可夫模型的要素有 ，在通道c 里的状态i c 的初始状态概率；
第39卷 第1期 高 师 理 科 学 刊 Vol. 39 No.1 2019年 1月 Journal of Science of Teachers′College and University Jan. 2019 文章编号：1007-9831（2019）01-0023-05 关于卷积神经网络损失函数的改进算法 徐振忠 （广东工业大学 应用数学学院，广东 广州 510520） 摘要：经典的卷积神经网络模型损失函数在设计时只考虑输出与标签之间的比较，没有涉及到图片之间的差异．为了提高卷积神经网络模型提取特征的差异，提出了基于Triplet network模型约束的卷积神经网络模型，这种方法提高了卷积神经网络提取有效特征的能力，减少数据集数量对于模型的影响. 在MNIST数据集和cifar-10数据集上进行实验，提出的新模型在这２个数据集上比经典的卷积神经网络模型识别效果更好. 关键词：卷积神经网络；Triplet network模型；反馈调节 中图分类号：TP391文献标识码：A doi：10.3969/j.issn.1007-9831.2019.01.007 An improved algorithm for the loss function of convolution neural networks XU Zhen-zhong （School of Applied Mathematics，Guangdong University of Technology，Guangzhou 510520，China） Abstract：The loss function of classical convolution neural network model only considers the comparison between output and label，but does not involve the difference between pictures．In order to improve the difference of feature extraction from convolutional neural network model，proposes a convolution neural network model based on Triplet network model constraint．This method improves the ability of convolution neural network in extracting effective features and reduces the infection due to the dataset′ number．MINIST datasets and cifar-10 datasets will be tested for certifying the effectiveness of this methed，and the result shows that the new model is better than the classical convolutional neural network model in recognition of these two datasets． Key words：convolution neural network；Triplet network model；back propagation 1980年，Fukushima根据Huble和Wiesel[1]的研究提出了多层感知机[2]．多层感知机为卷积神经网络的出现奠定了重要的基础．Lecun[3]等在Fukushima的研究基础上采用BP算法建立了卷积神经网络（CNN）模型并运用到手写字符的识别上，并取得了一定的效果，该模型被称为LeNet-5．LeNet-5是最基本的CNN 模型，该模型包括输入层、卷积层、池化层、全连接层和输出层．后面的研究者大多在这个模型的基础上进行相应的改进．目前，对于经典CNN模型的改进大体从5个方面进行：（1）CNN结构的层数，如增加卷积层和池化层的数目，改变它们的顺序[4-5]；（2）卷积核的大小和连接方式，如选择大小不同的卷积核进行组合[6-7]；（3）池化的方式，如最大值池化和均值池化[8-9]；（4）激活函数的选择，如sigmoid函数、tanh 函数和ReLU函数[10-11]；（5）损失函数的选择，如采用不同的损失函数或在损失函数上加上相应的正则约 束[12-13]．本文在经典CNN模型损失函数的基础上加了Triplet Network[14]的正则约束，得到基于Triplet network 模型约束的深度学习算法CNN模型（简称为TCNN）．在经典CNN模型的损失函数中加入同类和异类的2 收稿日期：2018-10-05 作者简介：徐振忠（1992-），男，广东雷州人，在读硕士研究生，从事深度学习和图像识别及处理研究．E-mail：745007440@https://www.doczj.com/doc/7d12331142.html,
Promedas—贝叶斯网络在医学诊断中的应用1. 综述 现代的医学诊断是一个非常复杂的过程，要求具备患者准确的资料，以及对医学著作深刻的理解，还有多年的临床经验。这样的情况尤其适用在内科诊断中，因为它涵盖了一个巨大范围的诊断门类。而且也因此使得内科诊断成为了一个需要专攻的学科。 诊断是一个过程。通过这个过程，医生为病人的症状寻找拥有最佳解释的病因。这个研究的过程是一个连续的过程，即病人的症状会指示医生对其进行一些初步的检查。基于这些初步检查的结果，一个关于可能的病因的试探性的假设形成了。这个过程可能会在若干个循环中推进，直到病人被以充分的确定性来做了诊断，而且其症状的病因也被建立起来。 诊断过程的一个很重要的部分是标准化诊断的形式。这里有若干的规则来限制：依据病人的症状以及检验的结果，什么样的检查应该被执行，它们的顺序应该是什么样的。这些规则形成了一个决策树，其节点是诊断的中间过程；依据当前诊断的结果，其枝干指向额外的检查。这些规则是由每个国家的一个医学专家委员会制定的。 在平时遇到的大部分诊断里，上面提到的指南已经足以准确的指导我们做出正确的诊断。对于这种“一般”的情形，一个“决策支持系统”是没有必要的。在10%~20%的案例中，进行诊断的过程是很困难的。因为对于正确的诊断结果的不确定性，以及对下一步进行什么检查的不确定性，不同的医生在不同的诊断过程中做出的决策是不一样的，而且缺乏“推理”。在这些案例中，通常一个专攻此类疾病的专家或者详细描述此类疾病的著作将会被咨询。对于这种困难的情形，基于计算机的决策支持系统可以作为一个可供选择的信息来源。而且，这样一个由计算机提供帮助的决策支持系统在指出其他一些原来可能被忽略的疾病方面是有帮助的。它可能就此导致一个被提高的，更加理性的诊断过程，并且更见高效和廉价。
第23卷 第4期 1997年7月自 动 化 学 报AC T A AU TO M A T ICA SIN ICA V o l.23,N o.4Jul,1997 小脑模型神经网络改进算法的研究 1) 刘 慧 许晓鸣 张钟俊 (上海交通大学自动化系 上海 200030)摘 要 该文介绍了小脑模型神经网络的基本原理,在分析Albus [1]算法的基础上,指出了 该算法在批量学习时的缺陷.针对批量学习提出了相应的改进算法,并证明了该算法的收敛 性,仿真结果表明了该改进算法具有收敛速度快的特点. 关键词 神经网络,杂凑编码,联想网络,CM AC.1) 留学回国人员科研基金资助课题. 收稿日期 1995-04-101 引言 自1982年H o pfield 发表了关于反馈神经网络的文章以及Rumelha rt 等人发表了专著PDP 以来,在世界范围内掀起了研究神经网络的热潮.近年来,人工神经元网络和人工智能在控制界中的应用研究正在兴起和蓬勃发展,特别是神经网络具有充分逼近任意复杂非线性函数的能力,为解决复杂的非线性问题开辟了一条控制的具有特殊联想功能的神经网络CM AC(Cerebellar Mo del Articula tion Co ntroller). CM AC 神经网络是由J .S .Albus [2]在1975年提出的.它与Perceptro n 网相似,虽然 从每个神经元看其关系是一种线性关系,但从结果总体看CM AC 模型适合于非线性的映射关系.同时它的算法是十分简单的δ算法,所以速度很快.它把输入在一个多维状态空间中的量,映射到一个比较小的有限区域.只要对多维状态空间中部分样本进行学习,就可达到轨迹学习和控制的解,因此特别适合于机器人的轨变学习控制,实时学习控制,非线性函数映射,以及模式识别等领域.CM AC 具有自适应的作用,并且易于硬件化实现.图1 CM AC 网格的模型结构 2 CM AC 的基本原理 CM AC 的简单结构模型如图1 所示,输入空间S 由所有可能的输 入向量S i 组成,CM AC 网络将其 接受到的任何输入,通过感知器M 映射到一个很大的联想存储器A 中的c 个单元.输入空间邻近的两 个输入向量在存储器A 中有部分重叠的单元;距离越近,重叠越多.
实验一利用MATLAB实现遗传算法 一、实验目的 1、熟悉MATLAB语言编程环境 2、掌握MATLAB语言命令 3、学会利用MATLAB编程实现遗传算法 二、实验原理 MATLAB是美国Math Works公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计等领域。通过学习遗传算法原理，使用MATLAB编写程序，实现其求解策略。 三、实验内容 通过MATLAB编程，利用遗传算法求解： x x =求[-2,2] f- ) ( f. x ， max∈ exp 05 x sin( ), .0 ) (x ) 200 ( 三、实验要求 1、程序设计 2、调试 3、实验结果 4、撰写实验报告
实验二 MATLAB神经网络工具箱的使用 一、实验目的 1、掌握MATLAB语言命令 2、提高MATLAB程序设计能力 3、学会使用MATLAB神经网络工具箱 二、实验原理 MATLAB语言是Math Works公司推出的一套高性能计算机编程语言，集数学计算、图形显示、语言设计于一体，其强大的扩展功能为用户提供了广阔的应用空间。它附带有30多个工具箱，神经网络工具箱就是其中之一。利用该工具箱可以方便的构建神经网络的结构模型、设计、训练等，实现神经网络算法。 三、实验内容 通过MATLAB编程，利用神经网络工具箱预测公路运量： 公路运量主要包括公路客运量和公路货运量两个方面。据研究，某地区的公路运量主要与该地区的人数、机动车数量和公路面积有关，上表给出了该地区20年的公路运量相关数据。根据有关部门数据，该地区2010和2011年的人数分别为和万人，机动车数量分别为和万辆，公路面积分别为和万平方千米。请利用BP网络预测该地区2010和2011年的公路客运量和公路货运量。 某地区20年公路运量数据