西北农林科技大学研究生教学参考书
《人工神经网络与应用实验指导》
信息工程学院
二〇一〇年十二月十三日
实验一 MATLAB ANN工具箱及感知器实现
一、实习目的和意义
使学生熟悉并掌握Matlab基本运算编程和运行，掌握人工神经网络工具箱帮助、示例等资源，掌握自主学习Matlab编程的能力，并能设计实现感知器，为后续处理打下基础。
二、实习内容
1、熟悉Matlab基本运算编程，掌握人工神经网络工具箱帮助、示例等资源。
（1）学会给矩阵赋值及常用矩阵运算；
（2）学会在命令窗口单步执行命令；编写m文件及运行的方法；
（3）掌握命令后“；”的显示控制作用，掌握清除命令窗口clc、图像窗口clf、内存和函数clear等命令的用法。
（4）学会用plot(x,y)绘制图形的方法；绘制双曲正切S函数的一阶导数曲线。
（5）掌握人工神经网络工具箱帮助、示例等资源。
2、设计一个感知器，并运行，分析结果、理解感知器算法。
三、实习参考
（1）Matlab基本运算
Matlab区分大小写，Abc，ABC，abc表示不同的矩阵名。在矩阵A中，同一行中的内容用逗号分隔，而采用分号来表示换行。一般情况下，用于同行中分隔的逗号是可以由空格来代替的。
基本的赋值语句：A＝[1，2，3；4，5，6；7，8，0]
矩阵加减法运算：C=A+B 和C=A－B。
矩阵的转置：A T＝A’。
矩阵的点乘：C=A.×B
矩阵的除法：x=A./B。
矩阵乘法:C=A×B
对一个矩阵单个元素赋值和操作:
A （：，j ）表示A 矩阵的第j 列元素；A （i ，：）表示A 矩阵的第i 列全部元素。
在命令窗口中，输入 help 命令，如help plot ，则会给出相关的帮助信息。
（2）S 曲线函数式为x
e x
f y -+==11
)(，设x 在[-10，10]之间每隔0.1取一个值。用
plot()绘制S 曲线。可编写m 文件（polt_s.m ）如下：
%画S 曲线 x=[-10:0.1:10]; %给x 赋值 y=1./(1.0+exp(-x)) %计算y
plot(x,y) %绘制x-y 关系曲线（S 曲线） hold on %保持图形，在原图上继续绘制 y1=y*(1.-y); %计算S 曲线的一阶导数 plot(x,y1,'--r')
%绘制S 曲线的一阶导数曲线
（3）设计一个二维输入矢量分为两类。 %gzq1.m
%P 输入向量,T 为目标向量 P=[-1.0 -0.5 +0.3 -0.1; -0.5 +0.5 -0.5 +1.0] T=[1 1 0 0];
plotpv(P,T); %绘制感知器的输入输出矢量 disp('按任意键继续.') pause %按任意键继续
net=newp([-1 1;-1 1],1); %NEWP 建立一个感知器. plotpv(P,T); %绘制输入向量 plotpc(net.IW{1},net.b{1}); %绘制初始分类线
net.adaptParam.passes = 3;
net = adapt(net,P,T); %ADAPT 返回一个最佳分类的网络ner plotpc(net.IW{1},net.b{1}); %绘制训练后的分类线
%利用训练好的感知器进行分类
p=[0.7;1.2]; %给定一个输入
a=sim(net,p) %SIM对感知器神经网络进行仿真.行尾无“；”号，
%在命令窗口显示a的值。
disp('结束！')
四、思考与讨论
1、如何控制程序运行暂停时间？
2、比较一个命令行后有无“;”的差别。
3、画出gzq1.m中网络模型。
4、查帮助并分析plot、plotpv、plotpc的不同。
实验二自适应线性元件的设计与训练
一、实习目的和意义
掌握用Matlab人工神经网络工具箱设计自适应线性元件的方法，掌握人工神经网络学习和训练过程；理解误差曲面；分析比较自适应线性元件的不足。
二、实习内容
1、掌握自适应线性元件的方法。设计一个线性神经元响应特定输入下的目标输出：P = [1.0 -1.2];T = [0.5 1.0];用ERRSURF函数计算在一定范围可能权重和阈值下的神经元的误差，用PLOTES以等高线的形式绘制误差表面，并在误差曲面上绘制出最佳权重、阈值的点。
2、设计一个线性神经元件，线性神经元以实现对输入矢量P = [+1.0 +1.5 +3.0 4.5]和输出矢量T = [+0.5 +1.1 +1.7 2.6]的线性拟合。
3、在上面的网络设计中，不断增大学习率，分析学习大小对训练次数及网络能否收敛的影响。
三、实习参考
（1）自适应线性元件的方法及误差曲面分析
% 模式联想误差曲面
% 设计一个线性神经元响应特定输入下的目标输出
% P定义两个1单元的输入模式，T定义相关的1单元的目标矢量
P = [1.0 -1.2];
T = [0.5 1.0];
% ERRSURF计算在一定范围可能权重和阈值下的神经元的误差
% PLOTES绘制误差表面.并在误差曲面上绘制出最佳权重、阈值的点。
w_range = -1:0.1:1; %权重取值范围
b_range = -1:0.1:1; %阈值取值范围
ES = errsurf(P,T,w_range,b_range,'purelin'); %计算误差
plotes(w_range,b_range,ES); %绘制误差曲面
pause
net = newlind(P,T); %函数NEWLIND设计一个误差最小的网络层
%SIM仿真网络的输入P。可以计算出神经元的误差，
A = sim(net,P)
E = T - A
SSE = sumsqr(E) %SUMSQR累加平方误差
plotes(w_range,b_range,ES); %重新绘制误差曲面
pause
plotep(net.IW{1,1},net.b{1},SSE);
%用SOLVELIN返回的权值和阈值在误差曲面上绘制出位置
% 用一个输入进行测试。
p = -1.2;
a = sim(net,p)
（2）线性拟合线性元件设计
%拟合线性问题
% P-输入矢量；T－目标矢量
P = [+1.0 +1.5 +3.0 4.5];
T = [+0.5 +1.1 +1.7 2.6];
%计算最大学习率,包括阈值
maxlr = maxlinlr(P,'bias');
%newlin用于建立一个线性网络
net = newlin([-2 2],1,[0],maxlr);
%设置最大训练步数
net.trainParam.epochs = 15;
[net,tr] = train(net,P,T);%tr为训练记录（训练步数，性能）
%仿真
p = -1.1;
a = sim(net, p)
四、思考与讨论
1、自适应线性元件和感知器有哪些不同？
2、自适应线性元件的传递函数是哪种类型？
3、自适应线性元件设计为多层是否可以提高网络性能？
4、学习率大小对训练次数及网络性影响如何？
实验三 BP网络设计与训练（一）
一、实习目的和意义
掌握用Matlab人工神经网络工具箱设计BP网络的方法，掌握BP网络的设计以及训练过程；掌握用BP网络进行函数逼近和分类的基本设计方法；分析比较几种BP训练算法的训练性能；掌握动量法、自适应学习速率算法的设计和应用；通过实验，对局部极小问题有深入的理解。
二、实习内容
1、设计并训练一个BP网络，使其进行模式p = [-1 -1 2 2; 0 5 0 5]进行分类。
2、用动量法训练BP网络，比较动量法和纯梯度法对同一个BP网络进行训练的效率。
3、设计一个BP网络，用于逼近一个函数。该函数输入范围为[-2,2]，输出为T=sin(2*pi*P)+0.2*randn(size(P))。改变隐层神经元数量，分析比较不同隐层神经元数量下网络训练效率及最终训练结果。
4、设计一个BP网络，用自适应学习率算法对其训练，用于逼近一个函数。21个输入在[-1,1]之间，输出为[-0.9602 -0.5770 0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201]。
5、在实习内容3中，事先给定一个不合适的初始权值和阈值，考察局部极小值问题。
三、实习参考
1、BP算法主要函数：
（1）变换函数：对数S型激活函数logsig.m；双曲正切S型激活函数tansig.m；线性激活函数purelin.m；
（2）误差相关函数：误差函数sumsqr.m；误差的变化函数deltalin.m，deltatan.m和deltasig.m，分别用于线性层、双曲正切层和对数层。
（3）newff，生成一个前向网络，如，net = newff([0 10],[5 1],{'tansig' 'purelin'},’trainlm’ );
（4）网络训练函数：A、train() 纯梯度法训练一个神经网络；B、traingda() 自适应学习速率梯度下降法；C、trainrp（）回弹BP算法；D、共轭梯度算法训练函数3个：traincgp （）、traincgb（）、trainscg（）；E、trainlm(),Levenberg-Marquardt训练算法。
（5）学习函数：A、learngd ()，梯度下降法学习函数；B、learnbpm()，利用动量规
则改进的BP算法。
（6）sim ()，网络仿真函数。
（7）函数具体用法可参考帮助，或在命令窗口输入：help 函数名，如help learnbpm,回车即可。
2、缺省训练参数及训练参数设置方法
（1）缺省训练参数
net.trainParam.epochs=10
net.trainParam.goal =0
net.trainParam.lr=0.01
net.trainParam.lr_inc=1.05 Ratio to increase learning rate
net.trainParam.lr_dec=0.7 Ratio to decrease learning rate
net.trainParam.max_fail=5 Maximum validation failures
net.trainParam.max_perf_inc=1.04 Maximum performance increase
net.trainParam.min_grad=1e-10 Minimum performance gradient
net.trainParam.show=25
net.trainParam.time=inf Maximum time to train in seconds
（2）训练参数设置方法
在m文件中编写上述相关设置命令，等号的右侧直接给出设置的训练参数即可。如：net.trainParam.epochs=200 ％设计最大训练次数为200。
四、思考与讨论
1、如何确定BP网络的层数、各层单元个数？
2、学习率大小对网络训练性能有何影响？
3、分析对比几种训练函数的训练性能。
4、如何设置初始权值和阈值？
5、局部极小问题有哪些改进方法？
实验四 BP网络设计与训练（二）
一、实习目的和意义
掌握用BP网络解决实际预测问题的方法，包括数据规格化处理、训练样本和测试样本的组织，网络隐层层数和神经元个数的确定，以及传递函数和训练参数的确定等。二、实习内容
现有某省1986～2010年的客运量数据。编程实现用BP网络预测2011年和2012年公路客运量。
表1 某省1986～2010年的客运量数据
三、实习参考
1、实现思路
1986～2010年客运量数据Ｎ=25个历史观察值，可采用长度ｎ=5为一期，n0=2为滚动间隔。即用前5年的数据预测下一年的数据，每隔2年开始一期长度为5年的观察数据。
2、样本组织
20期数据样本分成两组，每组10个，分别做为训练集（1986年开始）和测试集（1987年开始）。
3、网络结构
BP网络有5个输入（5年运量数据），1个输出（预测运量）。
隐层可采用单隐含层或双隐层。隐含层神经元数目采用试差法确定。若采用双隐层，则第1、2隐含层神经元数目分别可选8、5进行实验。
若为单隐层，隐层神经元数可选14左右进行实验。
4、数据规格化处理
将表1中的输入、输出数据规格化到区间[0.2～0.9]内。规一化公式：
规格化后数据＝z1+(z2-z1)*(x-xmin)/(xmax-xmin)
式中：[z1 z2]－规格化后的数据范围，如本例z1=0.2，z2=0.9；x为待规格化数据；xmin、xmax－分别为数据序列的最小、最大值。
在程序中可用：p1=0.2+(0.9-0.2).*(p0-min(p0))./(max(p0)-min(p0))实现。
６、程序设计技巧
（１）按每5年为一期组织样本，作为训练集,p为输入，t为目标。从第1986年客运量开始。编程参考如下：
j=0;
for i=1:10;
p(:,i)=p1(i+j:i+j+4)'; %取第i个训练样本，给p
t(:,i)=p1(i+j+5);
j=j+1;
end
（2）按每5年为一期组织样本，作为测试集，testp为输入，testt为目标。从1987年客运量开始。编程参考如下：
j=0;
for i=1:10;
testp(:,i)=p1(i+j+1:i+j+5)';
testt(:,i)=p1(i+j+6);
j=j+1;
end
（3）建立两层隐含层BP网络，隐层神经元数为8、5，输出为1个单元，训练函数为trainlm。
net = newff(p,t,[8 5 1],{'tansig' 'tansig' 'purelin'},'trainlm');
（4）设置训练参数
net.trainParam.lr=0.6; %学习率
net.trainParam.epochs = 10000; %最大训练次数
net.trainParam.goal = 0.0001; %目标误差
（5）训练、仿真网络
net = train(net,p,t);
%仿真
y = sim(net,testp); %将1987起的10组测试数据输入网络进行测试
E=testt-y; %计算测试集网络输出和目标的误差
mse=MSE(E) %计算均方误差
（6）预测2011年客运情况
P11=p1(21:25)' %取预测数据，2006－2010共5年，转置成列矢量
Y11=sim(net,p11) %用sim仿真，计算2011年客运量（规一化值）
y2011=min(p0)+(y11-0.2)*(max(p0)-min(p0))/0.7; %求出客运量实际值
四、思考与讨论
1、为什么要对数据进行规格化？
2、若取第一个隐层的神经元个数比第二个隐层大，网络训练效果如何？分析为什么。
3、可否用训练好的BP网络预测2020年的运量？为什么？
4、分别用1个隐层和2个隐层BP网络进行预测，比较训练时间和泛化效果。
实验五 SOFM、LVQ网络设计与训练
一、实习目的和意义
掌握SOFM网络、LVQ网络设计方法，能对实际问题进行聚类或分类。
二、实习内容
1、掌握SOFM网络的方法。一组随机建立的数据点集合P，设计一个竞争网络将它们分成自然的类。
2、设计一个LVQ网络，将10个二维输入矢量聚类。
三、实习参考
（1）一组随机建立的数据点集合P，设计一个竞争网络将它们分成自然的类。
% comp_learn1.m 自组织网络的训练
X = [0 1; 0 1]; %簇的中心在该范围内
clusters = 8; %设定建立的簇为8个
points = 10; % 每个簇10个点.
std_dev = 0.05; % 每个簇的标准差
P = nngenc(X,clusters,points,std_dev); % nngenc可以建立一个数据点簇
% 绘制P矢量
plot(P(1,:),P(2,:),'+r');
title('Input Vectors');
xlabel('p(1)');
ylabel('p(2)');
net = newc([0 1;0 1],8,.1);%建立一个竞争网络
w = net.IW{1};
plot(P(1,:),P(2,:),'+r');
hold on;
circles = plot(w(:,1),w(:,2),‘ob’);
%用蓝色o绘制权矢量
net.trainParam.epochs = 7;
net = train(net,P); %训练网络
w = net.IW{1};
delete(circles); %删除circles句柄
plot(w(:,1),w(:,2),'ob');
p = [0; 0.2]; %用竞争层分类
a = sim(net,p)
（2）设计一个LVQ网络，将10个二维输入矢量聚类。
% P为10个2维矢量，C为分类矢量
P = [-3 -2 -2 0 0 0 0 +2 +2 +3;
0 +1 -1 +2 +1 -1 -2 +1 -1 0];
C = [1 1 1 2 2 2 2 1 1 1];
T = ind2vec(C); %转换类别号为目标矢量
% 绘制数据点，Red = class 1, Cyan = class 2.
colormap(hsv);
plotvec(P,C)
title('Input Vectors');
xlabel('P(1)');
ylabel('P(2)');
pause
% NEWLVQ 建立LVQ，输入范围、隐层神经元数4, 典型类百分比矢量、学习率net = newlvq(minmax(P),4,[.6 .4],0.1);
% 绘制竞争层神经元权重矢量.
hold on
W1 = net.IW{1};
plot(W1(1,1),W1(1,2),'ow')
title('Input/Weight Vectors');
xlabel('P(1), W(1)');
ylabel('P(2), W(3)');
pause
% 训练结束后,重新绘制输入矢量'+'，竞争神经元权重矢量'o'.
%Red = class 1, Cyan = class 2.
%设置训练参数
net.trainParam.epochs=150;
net.trainParam.show=Inf;
net=train(net,P,T);
cla;
plotvec(P,C);
hold on;
plotvec(net.IW{1}',vec2ind(net.LW{2}),'o');
pause
% 用LVQ 分类. 输入矢量[0.2; 1]，Red = class 1, Cyan = class 2.
p = [0.2; 1];
a = vec2ind(sim(net,p))
四、思考与讨论
1、SOFM网络聚类的准则是什么？
2、SOFM网络竞争层算法和BP网络有何不同？
3、LVQ网络结构与工作原理？
实验六 RBF网络设计与训练
一、实习目的和意义
掌握RBF网络、GRNN和PNN网络的设计方法，学会用GRNN网络进行函数逼近、用PNN网络对实际问题进行分类。
二、实习内容
1、在Matlab下绘制出高斯径向基函数图形。并将中心为0的基函数a1，分别平移
2、-1.5得到a2和a3，将a1、a2、a3线性组合得到a4，绘制出a4图形。
2、设输入p在-1~1之间，数据间隔为0.1。设计一个正规化RBF网络逼近
T= [-.9602 -.5770 -.0729 .3771 .6405 .6600 .4609 ...
.1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 ...
.3072 .3960 .3449 .1816 -.0312 -.2189 -.3201]
用RBF有效设计方法，改变扩展常数为0.01和18，分别观察逼近效果，深入理解不能拟合和过拟合现象。
3、设P = [1 2 3 4 5 6 7 8];T = [0 1 2 3 2 1 2 1]。试设计一个GRNN网络实现函数逼近。
4、设输入为P = [1 2; 2 2; 1 1]';期望输出为Tc = [1 2 3]。试设计一个PNN网络对输入进行分类。
三、实习参考
1、径向基函数和其线性组合
a1=radbas(p)产生一个径向基函数。其算法为a1=radbas(p) = exp(-p^2)
向右平移基函数：a2 = radbas(p-2);
向左平移基函数：a3 = radbas(p+1.5);
基函数的线性组合：a4 = a1+ a2 + a3;
试在a1、a2、a3前增加一个适当的加权系数，考察a4图形的变化。
2、RBF网络有效设计：
net=newrb(P,T,GOAL,SPREAD,MN,DF)
GOAL－目标误差；NM－最大神经元个数；DF－迭代过程显示频率。
3、GRNN设计
net = newgrnn(P,T,spread);
试用一个不在输入样本中的数据进行仿真。
4、用PNN 进行分类参考程序如下。
P = [1 2; 2 2; 1 1]';%输入样本为3个点
Tc = [1 2 3]; %3个样本对应1-3类
plot(P(1,:),P(2,:),'.','markersize',30) %绘制样本点
for i=1:3, text(P(1,i)+0.1,P(2,i),sprintf('class %g',Tc(i))), end %每个样本注释第X类。
axis([0 3 0 3])
title('Three vectors and their classes.')
xlabel('P(1,:)')
ylabel('P(2,:)')
T = ind2vec(Tc); %转换目标类标记为矢量
spread = 1; %设置扩展常数
net = newpnn(P,T,spread); 建立PNN网络
A = sim(net,P); %仿真
Ac = vec2ind(A); %将类别矢量转换成类别号
plot(P(1,:),P(2,:),'.','markersize',30)
axis([0 3 0 3])
for i=1:3,text(P(1,i)+0.1,P(2,i),sprintf('class %g',Ac(i))),end
title('Testing the network.')
xlabel('P(1,:)')
ylabel('P(2,:)')
四、思考与讨论
1、RBF网络的基本思想是什么？
2、GRNN、RBF和PNN在输出层各有何不同？
3、GRNN输入样本个数、输入样本维数和隐含层神经元个数之间有何关系？
4、PNN的输出层神经元个数与何参数相同？
实验七标准支持向量机C-SVM分类
一、实习目的和意义
掌握支持向量机原理及编程实现，深入理解支持向量及不同核函数对SVM性能的影响，学习解二次优化方程、寻找支持向量等程序设计方法。
二、实习内容
1、构造2类训练样本集，选择合适的核函数，编程实现求解的Laglange系数、寻找出支持向量并绘制出，然后进行分类。
2、用不同的核函数进行实验比较。
3、用BP网络进行分类，并比较二者训练时间的差异。
三、实习参考
1、标准支持向量机C-SVM分类参考程序
% 支持向量机C-SVM分类算法
close all
clear all
clc
% ------------------------------------------------------------%
% 构造两类训练数据集
fprintf('支持向量机分类C_SVM \n')
fprintf('_____________________________________\n')
fprintf('构造...\n');
C = 100; % 拉格朗日乘子上界
ker = struct('type','linear');%选择核函数
%ker ='linear'; %核函数有4种
% linear : k(x,y) = x'*y
% poly : k(x,y) = (x'*y+c)^d
% gauss : k(x,y) = exp(-0.5*(norm(x-y)/s)^2)
% tanh : k(x,y) = tanh(g*x'*y+c)
n = 50;
randn('state',2);%选择正态分布数据
x1 = randn(n,2); %产生50×2的随机数据
y1 = ones(n,1); %产生50×1的1阵
x2 = 4+randn(n,2); %在X1的基础上产生50×2的随机数据X2
y2 = -ones(n,1); %产生50×1的-1阵
figure; %绘制由X1、X2构成的数据点集分布
plot(x1(:,1),x1(:,2),'bx',x2(:,1),x2(:,2),'k.');
hold on;
pause
X = [x1;x2]; % 训练样本,50×2的矩阵,50为样本个数,2为样本维数Y = [y1;y2]; % 训练目标,50×1的矩阵,50为样本个数,Y值为+1或-1 % ------------------------------------------------------------%
% 训练%
fprintf('training ...\n');
tic %启动计时器starts a stopwatch timer
% ------------------------------------------------------------%
%训练%
% ------------------------------------------------------------%
% 解二次优化方程
n = length(Y);
H = (Y*Y').*Calckernel(ker,X,X);
f = -ones(n,1);
A = [];
b = [];
Aeq = Y';
beq = 0;
lb = zeros(n,1);
ub = C*ones(n,1);
a0 = zeros(n,1);
options = optimset;
https://www.doczj.com/doc/318298935.html,rgeScale = 'off';
options.Display = 'off';
%quadprog()二次方程式求解子程序，需要安装优化工具箱
[a,fval,eXitflag,output,lambda] = quadprog(H,f,A,b,Aeq,beq,lb,ub,a0,options); eXitflag %推出标记，为1时问题收敛解决
% 输出svm
svm.ker = ker;
svm.x = X;
svm.y = Y;
svm.a = a; % a为求解的Laglange系数
% ------------------------------------------------------------%
% ------------------------------------------------------------%
fprintf('训练时间为t_train:\n');
t_train = toc %toc为tic启动后经过的时间
% ------------------------------------------------------------%
% 寻找支持向量
a = svm.a;
epsilon = 1e-8; % 如果小于此值则认为是0
i_sv = find(a>epsilon); % 寻找支持向量的下标
fprintf('支持向量下标为:') %输出支持向量的下标（行号）
i_sv
plot(X(i_sv,1),X(i_sv,2),'ro'); %用蓝色O绘制支持向量
pause
% ------------------------------------------------------------%%
% 求b
%epsilon = 1e-8; % 如果小于此值则认为是0
%i_sv = find(a>epsilon); % 支持向量下标
tmp = (Y.*a)'*Calckernel(ker,X,X(i_sv,:)); % 行向量
b = 1./Y(i_sv)-tmp';
b = mean(b);
fprintf('构造函数Y = sign(tmp+b):')
tmp
b
% ------------------------------------------------------------% % 测试输出
fprintf('测试开始...\n');
[x1,x2] = meshgrid(-2:0.05:7,-2:0.05:7);
[rows,cols] = size(x1);
nt = rows*cols; % 测试样本数
Xt = [reshape(x1,nt,1),reshape(x2,nt,1)];
tic
% ------------------------------------------------------------% % ------------------------------------------------------------% ker = svm.ker;
X = svm.x;
Y = svm.y;
a = svm.a;
% ------------------------------------------------------------% % ------------------------------------------------------------% % 测试输出
nt = size(Xt,1); % 测试样本数
tmp = (Y.*a)'*Calckernel(ker,X,Xt);
Yd = sign(tmp+b)';
% ------------------------------------------------------------% % ------------------------------------------------------------%
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
基于人工神经网络的通信信号分类识别 冯 涛 (中国电子科技集团公司第54研究所,河北石家庄050081) 摘 要 通信信号的分类识别是一种典型的统计模式识别问题。系统地论述了通信信号特征选择、特征提取和分类识别的原理和方法。设计了人工神经网络分类器,包括神经网络模型的选择、分类器的输入输出表示、神经网络拓扑结构和训练算法,并提出了分层结构的神经网络分类器。 关键词 模式识别;特征提取;分类器;神经网中图分类号 TP391 文献标识码 A Classification and Identification of Communication Signal Using Artificial Neural Networks FE NG Tao (T he 54th Research Institute of CETC,Shijia zhuan g Hebei 050081,China) Abstract The classification and identificati on of communication signal is a typical statistical pattern identification.The paper discusses the theory and method of feature selection,feature extraction and classi fication &identificaiton of communication signal.A classifier based on artificial neural networks is designed,includin g the selection of neural network model,the input and output expression of the classifier,neural network topology and trainin g algorithm.Finally a hierarchical archi tecture classifier based on artificial neural networks is presented. Key words pattern recognition;features extraction;classifier;neural networks 收稿日期:2005-12-16 0 引言 在通信对抗侦察中,侦察接收设备在截获敌方通信信号后,必须经过对信号的特征提取和对信号特征的分析识别,才能变为有价值的通信对抗情报。通过对信号特征的分析识别,可以得到信号种类、通信体制、网路组成等方面的情报,从而为研究通信对抗策略、研制和发展通信对抗装备提供重要参考依据。 1 通信信号分类识别的原理 通信信号的分类识别是一种典型的模式识别应用,其作用和目的就是将某一接收到的信号正确地归入某一种类型中。一般过程如图1 所示。 图1 通信信号分类识别的一般过程 下面简单介绍这几部分的作用。 信号获取:接收来自天线的信号x (t),并对信号进行变频、放大和滤波,输出一个中频信号; A/D 变换:将中频模拟信号变换为计算机可以运算的数字信号x (n); 以上2步是信号空间x (t)到观察空间x (n )的变换映射。 特征提取:为了有效地实现分类识别,必须对原始数据进行变换,得到最能反映分类差别的特征。这些特征的选择和提取是非常重要的,因为它强烈地影响着分类器的设计和性能。理想情况下,经过特征提取得到的特征向量对不同信号类型应该有明显的差别; 分类器设计和分类决策:分类问题是根据识别对象特征的观察值将其分到某个类别中去。首先,在样本训练集基础上确定合适的规则和分类器结构,然后,学习训练得到分类器参数。最后进行分类决策,把待识别信号从特征空间映射到决策空间。 2 通信信号特征参数的选择与特征提取 2 1 通信信号特征参数的选择 选择好的特征参数可以提高低信噪比下的正确 识别率,降低分类器设计的难度,是基于统计模式识别方法最为关键的一个环节。试图根据有限的信号 信号与信息处理 24 2006Radio Engineering Vo1 36No 6
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
人工神经网络的发展及应用 西安邮电学院电信系樊宏西北电力设计院王勇日期：2005 1-21 1 人工神经网络的发展 1．1 人工神经网络基本理论 1．1．1 神经生物学基础生物神经系统可以简略地认为是以神经元为信号的处理单元，通过广泛的突触联系形成的信息处理集团，其物质结构基础和功能单元是脑神经细胞，即神经元(neuron) 。 (1)神经元具有信号的输人、整合、输出三种主要功能作用行为，结构如图1 所示： (2)突触是整个神经系统各单元间信号传递驿站，它构成各神经元之间广泛的联接。 (3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物，其变化是先天遗传信息确定的总框架下有限的自组织过程。 1．1．2 建模方法神经元的数量早在胎儿时期就已固定，后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系，这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法：①神经生物学模型方法，即根据微观神经生物学知识的积累，把脑神经系统的结构及机理逐步解释清楚，在此基础上建立脑功能模型；②神 经计算模型方法，即首先建立粗略近似的数学模型并研究该模型的动力学特性，然后冉与真实对象作比较（仿真处理方法）。1．1．3 概
念人工神经网络用物理町实现系统采模仿人脑神经系统的结构和功能，是一门新兴的前沿交义学科，其概念以T．Kohonen．Pr 的论述 最具代表性：人工神经网络就是由简单的处理单元（通常为适应性神经元，模型见图2）组成的并行互联网络，它的组织能够模拟生物神 经系统对真实世界物体所作出的交互反应。 1．2 人工神经网络的发展 人工神经网络的研究始于40 年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的较为曲折的道路。1943 年，心理学家W．S．Mcculloch 和数理逻辑学家W．Pitts 提出了M—P 模型， 这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949 年，心理学家D. O. Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络。1969 年，美国著名人工智能学者M．Minsky 和S．Papert 编写了影响很大的Perceptron 一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知能也不过如此，在这之后近10 年，神经网络研究进入了一个缓慢发展的萧条期。美国生物物理学家J．J．Hopfield 于1982年、1984 年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method ）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。 这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。 图1-1简单神经元网络及其简化结构图 （1）细胞体 （2）树突 （3）轴突 （4）突触
人工神经网络发展前景 姓名 单位 摘要 在分析人工神经网络的发展过程、基本功能、应用范围的基础上，着重论述了神经网络与专家系统、模糊技术、遗传算法、灰色系统及小波分析的融合。 关键词 英文摘要 英文关键词 1前言 人工神经网络的发展起源于何时，说法不一。一般认为，其起源可追溯到Warren WcCulloch和Walter Pitts提出的MP模型。从此拉开了神经网络的序幕。20世纪50年代后期，Frank Rosenblatt定义了一种以后常用的神经网络结构，称为感知器。这是人工神经网络第一个实际应用；20世纪60年代，Bernard Widrow和Ted Hoff提出了一个新的学习算法用于训练自适应线性神经网络；20世纪70年代，Grossberg 提出了自适应共振理论。他研究了两种记忆机制（短期记忆和长期记忆），提出了一种可视系统的自组织神经网络，这是一种连续时间竞争网络，是构成自适应谐振理论网络基础；20世纪80年代，Hopfield 及一些学者提出了Hopfield网络模型，这是一种全连接的反馈网络。此外，Hinton等提出了Boltzman机。Kumellhart等人提出误差反向
传播神经网络，简称BP网络。目前BP神经网络已成为广泛使用的网络。 2应用现状 神经网络以及独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： 1）信号处理。神经网络广泛应用于自适应信号处理和非线性信号处理中。前者如信号的自适应滤波、时间序列预测、谱估计、噪声消除等；后者如非线性滤波、非线性预测、非线性编码、调制/解调等。2）模式识别。神经网络不仅可以处理静态模式如固定图像、固定能谱等，还可以处理动态模式如视频图像、连续语音等。 3）系统识别。基于神经网络的系统辨识是以神经网络作为被识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。 4)智能检测。在对综合指标的检测（例如对环境舒适度这类综合指标检测）中，以神经网络作为智能检测中的信息处理联想等数据融合处理，从而实现单一传感器不具备的功能。 5）汽车工程。神经网络在汽车刹车自动控制系统中也有成功的应用，该系统能在给定刹车距离、车速和最大减速度的情况下，以人体能感受到的最小冲击实现平稳刹车，而不受路面坡度和车重影响。 6）化学工程。神经网络在光谱分析、判定化学反应的生成物、判定离子浓度及研究生命体中某些化合物的含量与生物活性的对应关系都有广泛应用并取得了一定成果。 7）卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分
实验报告人工神经网络 实验原理：利用线性回归和神经网络建模技术分析预测。 实验题目：利用给出的葡萄酒数据集，解释获得的分析结论。 library(plspm); data(wines); wines 实验要求： 1、探索认识意大利葡萄酒数据集，对葡萄酒数据预处理，将其随机划分为训练集和测试集，然后创建一个线性回归模型； 2、利用neuralnet包拟合神经网络模型； 3、评估两个模型的优劣，如果都不理想，提出你的改进思路。 分析报告： 1、线性回归模型 > rm(list=ls()) > gc() used (Mb) gc trigger (Mb) max used (Mb) Ncells 250340 13.4 608394 32.5 408712 21.9 Vcells 498334 3.9 8388608 64.0 1606736 12.3 >library(plspm) >data(wines) >wines[c(1:5),] class alcohol malic.acid ash alcalinity magnesium phenols flavanoids 1 1 14.23 1.71 2.43 15.6 127 2.80 3.06 2 1 13.20 1.78 2.14 11.2 100 2.65 2.76 3 1 13.16 2.36 2.67 18.6 101 2.80 3.24 4 1 14.37 1.9 5 2.50 16.8 113 3.85 3.49 5 1 13.24 2.59 2.87 21.0 118 2.80 2.69 nofla.phen proantho col.intens hue diluted proline 1 0.28 2.29 5.64 1.04 3.9 2 1065 2 0.26 1.28 4.38 1.05 3.40 1050 3 0.30 2.81 5.68 1.03 3.17 1185 4 0.24 2.18 7.80 0.86 3.4 5 1480 5 0.39 1.82 4.32 1.04 2.93 735 > data <- wines > summary(wines)
人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的 若干基本特征，但并非其逼真的描写。 人工神经网络可概括定义为：由大量简单元件广泛互连而成的复 杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、 光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型： 线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。 2 1.5 1 0.5 -0.5 -1 -1.5 -2 -6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ? 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6 ?1, x ≥ 0 ?-1, x < 0 ，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴 奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型： 兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神 经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简 单的人工神经网络结构图如下所示： 上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与 输出层之间即为隐层。 输入层节点上的神经元接收外部环境的输入模式，并由它传递给 相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神 经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工 神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层 用于产生神经网络的输出模式。 多层神经网络结构中有代表性的有前向网络（BP网络）模型、
神经网络实验指导书2013版[1]
北京信息科技大学自编实验讲义 神经网络实验指导书 许晓飞陈雯柏编著
找其映射是靠学习实践的，只要学习数据足够完备，就能够描述任意未知的复杂系统。因此前馈神经网络为非线性系统的建模和控制提供了有力的工具。 输入层隐层输出层 图1 前馈型神经网络结构 2.BP算法原理 BP（Back Propagation）神经网络是一种利用误差反向传播训练算法的前馈型网络，BP学习算法实质是求取网络总误差函数的最小值问题[2]。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数，它是梯度下降法在多层前馈网络中的应用。具体学习算法包括两大过程，其一是输入信号的正向传播过程，其二是输出误差信号的反向传播过程。 1.正向传播 输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出
层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。 2.反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。网络各层的权值改变量，则由传播到该层的误差大小来决定。 3.BP算法的特点 BP神经网络具有以下三方面的主要优点[3]：第一，只要有足够多的隐含层和隐层节点，BP 神经网络可逼近任意的非线性映射关系；第二，BP学习算法是一种全局逼近方法，因而它具有较好的泛化能力。第三，BP神经网络具有一定的容错能力。因为BP神经网络输入输出间的关联信息分布存储于连接权中，由于连接权的个数总多，个别神经元的损坏对输入输出关系只有较小影响。 但在实际应用中也存在一些问题，如：收敛
本文首先分析了图像识别技术以及bp神经网络算法，然后详细地阐述了人工神经网络图像识别技术。 【关键词】人工神经网络 bp神经网络图像识别识别技术 通常而言，所谓图像处理与识别，便是对实际图像进行转换与变换，进而达到识别的目的。图像往往具有相当庞大的信息量，在进行处理图像的时候要进行降维、数字化、滤波等程序，以往人们进行图像识别时采用投影法、不变矩法等方法，随着计算机技术的飞速发展，人工神经网络的图像识别技术将逐渐取代传统的图像识别方法，获得愈来愈广泛的应用。 1 人工神经网络图像识别技术概述 近年来，人工智能理论方面相关的理论越来越丰富，基于人工神经网络的图像识别技术也获得了非常广泛的应用，将图像识别技术与人工神经网络技术结合起来的优点是非常显著的，比如说： （1）由于神经网络具有自学习功能，可以使得系统能够适应识别图像信息的不确定性以及识别环境的不断变化。 （2）在一般情况下，神经网络的信息都是存储在网络的连接结构以及连接权值之上，从而使图像信息表示是统一的形式，如此便使得知识库的建立与管理变得简便起来。 （3）由于神经网络所具有的并行处理机制，在处理图像时可以达到比较快的速度，如此便可以使图像识别的实时处理要求得以满足。 （4）由于神经网络可增加图像信息处理的容错性，识别系统在图像遭到干扰的时候仍然能正常工作，输出较准确的信息。 2 图像识别技术探析 2.1 简介 广义来讲，图像技术是各种与图像有关的技术的总称。根据研究方法以及抽象程度的不同可以将图像技术分为三个层次，分为：图像处理、图像分析以及图像理解，该技术与计算机视觉、模式识别以及计算机图形学等学科互相交叉，与生物学、数学、物理学、电子学计算机科学等学科互相借鉴。此外，随着计算机技术的发展，对图像技术的进一步研究离不开神经网络、人工智能等理论。 2.2 图像处理、图像识别与图像理解的关系 图像处理包括图像压缩、图像编码以及图像分割等等，对图像进行处理的目的是判断图像里是否具有所需的信息并滤出噪声，并对这些信息进行确定。常用方法有灰度，二值化，锐化，去噪等；图像识别则是将经过处理的图像予以匹配，并且对类别名称进行确定，图像识别可以在分割的基础之上对所需提取的特征进行筛选，然后再对这些特征进行提取，最终根据测量结果进行识别；所谓图像理解，指的是在图像处理与图像识别的基础上，根据分类作结构句法分析，对图像进行描述与解释。所以，图像理解包括图像处理、图像识别和结构分析。就图像理解部分而言，输入是图像，输出是对图像的描述解释。 3 人工神经网络结构和算法 在上个世纪八十年代，mcclelland与rumelhant提出了一种人工神经网络，截止现在，bp神经网络已经发展成为应用最为广泛的神经网络之一，它是一种多层前馈神经网络，包括输入层、输出层和输入层输出层之间隐藏层，如图1所示，便是一种典型的bp神经网络结构。 bp神经网络是通过不断迭代更新权值使实际输入与输出关系达到期望，由输出向输入层反向计算误差，从而通过梯度下降方法不断修正各层权值的网络。 bp神经网络结构算法如下所述： （1）对权值矩阵，学习速率，最大学习次数，阈值等变量和参数进行初始化设置； （2）在黑色节点处对样本进行输入；
《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。
（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1 ，为稳定平稳状态。 X X
《人工智能及其应用》 实验指导书 工业大学计算机科学与技术学院—人工智能课程组 2011年9月
前言 本实验是为了配合《人工智能及其应用》课程的理论学习而专门设置的。本实验的目的是巩固和加强人工智能的基本原理和方法，并为今后进一步学习更高级课程和信息智能化技术的研究与系统开发奠定良好的基础。 全书共分为八个实验：1.产生式系统实验；2.模糊推理系统实验；3.A*算法求解8数码问题实验；4.A*算法求解迷宫问题实验；5.遗传算法求解函数最值问题实验；6.遗传算法求解TSP问题实验；7.基于神经网络的模式识别实验；8.基于神经网络的优化计算实验。每个实验包括有：实验目的、实验容、实验条件、实验要求、实验步骤和实验报告等六个项目。 本实验指导书包括两个部分。第一个部分是介绍实验的教学大纲；第二部分是介绍八个实验的容。 由于编者水平有限，本实验指导书的错误和不足在所难免，欢迎批评指正。 人工智能课程组 2011年9月
目录 实验教学大纲 (1) 实验一产生式系统实验 (3) 实验二模糊推理系统实验 (5) 实验三 A*算法实验I (9) 实验四 A*算法实验II (12) 实验五遗传算法实验I (14) 实验六遗传算法实验II (18) 实验七基于神经网络的模式识别实验 (20) 实验八基于神经网络的优化计算实验 (24)
实验教学大纲 一、学时：16学时，一般安排在第9周至第16周。 二、主要仪器设备及运行环境：PC机、Visual C++ 6.0、Matlab 7.0。 三、实验项目及教学安排 序号实验名称实验 平台实验容学 时 类型教学 要求 1 产生式系统应用VC++ 设计知识库，实现系统识别或 分类等。 2 设计课 2 模糊推理系统应 用Matlab 1）设计洗衣机的模糊控制器； 2）设计两车追赶的模糊控制 器。 2 验证课 3 A*算法应用I VC++ 设计与实现求解N数码问题的 A*算法。 2 综合课4 A*算法应用II VC++ 设计与实现求解迷宫问题的A* 算法。 2 综合课5 遗传算法应用I Matlab 1）求某一函数的最小值； 2）求某一函数的最大值。 2 验证课6 遗传算法应用II VC++ 设计与实现求解不同城市规模 的TSP问题的遗传算法。 2 综合课 7 基于神经网络的 模式识别Matlab 1）基于BP神经网络的数字识 别设计； 2）基于离散Hopfiel神经网络 的联想记忆设计。 2 验证课 8 基于神经网络的 优化计算VC++ 设计与实现求解TSP问题的连 续Hopfield神经网络。 2 综合课 四、实验成绩评定 实验课成绩单独按五分制评定。凡实验成绩不及格者，该门课程就不及格。学生的实验成绩应以平时考查为主，一般应占课程总成绩的50%，其平时成绩又要以实验实际操作的优劣作为主要考核依据。对于实验课成绩，无论采取何种方式进行考核，都必须按实验课的目的要求，以实际实验工作能力的强弱作为评定成绩的主要依据。 评定各级成绩时，可参考以下标准：
人工神经网络在蕨类植物生长中的应用 摘要：人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。根据此特点结合蕨类植物的生长过程进行了蕨类植物生长的模拟。结果表明，人工神经网络的模拟结果是完全符合蕨类植物的生长的，可有效的应用于蕨类植物的生长预测。 关键词：人工神经网络；蕨类植物；MATLAB应用 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 二人工神经网络的基本数学模型 神经元是神经网络操作的基本信息处理单位（图1）。神经元模型的三要素为： (1) 突触或联接，一般用，表尔神经元和神经元之间的联接强度，常称之为权值。 (2) 反映生物神经元时空整合功能的输入信号累加器。 图1 一个人工神经元（感知器）和一个生物神经元示意图 (3) 一个激活函数用于限制神经元输出（图2），可以是阶梯函数、线性或者是指数形式的
人工神经网络概述及其在分类中的应用举例 人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。 神经网络在2个方面与人脑相似： (1) 人工神经网络获取的知识是从外界环境中学习得来的。 (2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一
种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 6、软件硬件的实现：人工神经网络不仅能够通过硬件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。 二人工神经网络的基本数学模型
《神经网络原理》 、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为 离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+ △)=▼(◎，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改—进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：(1 )、信息分布存储和容错性。 (2 )、大规模并行协同处理。 (3)、自学习、自组织和自适应。
(4)、人工神经元网络是大量的神经元的集体行为，表现为复杂
的非线性动力学特性。 (5)人式神经元网络具有不适合高精度计算、学习算法和网络 设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：(1 )、空间相加性；(2 )、时间相加性；(3)、阈值作用；(4 )、不应期；(5 )、可塑性；(6)疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x的关系如下图，试述它们分别有几个平衡状态，是 否为稳定的平衡状态? 答：在图(1、中，有两个平衡状态a、b，其中，在a点曲线斜率|F' (X)|>1 ,为非稳定平稳状态；在b点曲线斜率|F' (X)|<1 ,为稳定平稳状态。 在图(2、中，有一个平稳状态a，且在该点曲线斜率|F' (X)|>1 ，为非稳定平稳状态。