人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
第四章计算智能（1）：神经计算模糊计算4-1 计算智能的含义是什么？它涉及哪些研究分支？ 贝兹德克认为计算智能取决于制造者提供的数值数据，而不依赖于知识。计算智能是智力的低层认知。 主要的研究领域为神经计算，模糊计算，进化计算，人工生命。 4-2 试述计算智能（CI）、人工智能（AI）和生物智能（BI）的关系。 计算智能是智力的低层认知，主要取决于数值数据而不依赖于知识。人工智能是在计算智能的基础上引入知识而产生的智力中层认知。生物智能，尤其是人类智能，则是最高层的智能。即CI包含AI包含BI 4-3 人工神经网络为什么具有诱人的发展前景和潜在的广泛应用领域？ 人工神经网络具有如下至关重要的特性： (1) 并行分布处理 适于实时和动态处理 (2)非线性映射 给处理非线性问题带来新的希望 (3) 通过训练进行学习 一个经过适当训练的神经网络具有归纳全部数据的能力，能够解决那些由数学模型或描述规则难以处理的问题 (4) 适应与集成 神经网络的强适应和信息融合能力使得它可以同时输入大量不同的控制信号，实现信息集成和融合，适于复杂，大规模和多变量系统 (5) 硬件实现 一些超大规模集成是电路实现硬件已经问世，使得神经网络成为具有快速和大规模处理能力的网络。 4-4 简述生物神经元及人工神经网络的结构和主要学习算法。
生物神经元 大多数神经元由一个细胞体(cell body或soma)和突(process)两部分组成。突分两类，即轴突(axon)和树突(dendrite)，轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。 轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。此时，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。学习就发生在突触附近。 每个人脑大约含有10^11-10^12个神经元，每一神经元又约有10^3-10^4个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。 人工神经网络的结构 人工神经网络由神经元模型构成。每个神经元具有单一输出，并且能够与其它神经元连接，存在许多输出连接方法，每种连接方法对应于一个连接权系数。 人工神经网络的结构分为2类， (1)递归(反馈)网络 有些神经元的输出被反馈至同层或前层神经元。信号能够从正向和反向流通。Hopfield网络，Elmman网络和Jordan网络是代表。 (2) 前馈网络 具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通，神经元从一层连接至下一层，不存在同层神经元之间的连接。多层感知器(MLP)，学习矢量量化网络(LVQ)，小脑模型连接控制网络(CMAC)和数据处理方法网络(GMDH)是代表。 人工神经网络的主要学习算法 (1) 指导式(有师)学习 根据期望和实际的网络输出之间的差来调整神经元连接的强度或权。包括Delta规则，广义Delta规则，反向传播算法及LVQ算法。 (2) 非指导(无导师)学习 训练过程中，神经网络能自动地适应连接权，以便按相似特征把输入模式分组聚集。包括
人工神经网络（ANN）又称神经网络，是在现代神经科学研究成果的基础上，对生物神经系统的结构和功能进行数学抽象、简化和模仿而逐步发展起来的一种新型信息处理和计算系统。由于人工神经网络具有自学习、高容错、高度非线性描述能力等优点，现已广泛应用于经济、机器人和自动控制、军事、医疗、化学等领域［l ~ 3］，并取得了许多成果。本文简要介绍人工神经网络的原理和特点，论述人工神经网络在高分子科学与工程领域的应用。 橡胶配方是决定橡胶制品性能的关键因素，由于材料配方与制品性能之间存在很复杂的非线性关系，多数情况下无法建立完整精确的理论模型，只能借助于回归方法得到经验公式。 传统的回归方法存在以下局限性： (1)使用不同的回9j方法可获得不同的经验公式，导致经验公式的繁多和不一致； (2)当配方项目及性能指标项目较多时，采用回归公式无法完全再现实验数据； (3)当实验进一步完善，实验数据增多的时候．其他人员再进行回归时，如果无法找到原来的回归方法、程序和实验数据，原来的回归公式将不能被利用，造成一定的浪费。随着计箅机的发展而出现的人工神经网络是人工智能方法．它不像回归方法那样，需预先给定基本函数，而是以实验数据为基础．经过有限次的迭代计算而获得的一个反映实验数据内在联系的数学模型，具有极强的非线性处理、自组织调整、自适应学习及容错抗噪能力，特别适用于研究像材料配方与制品性能之间关系的复杂非线性系统特性【¨】。因此，人们开始将人工神经网络应用于橡胶配方设计”J。 随着橡胶制品在各领域应用的拓展，橡胶配方设计变得越来越重要。人们进行橡胶配方设计主要有3个目的：提高制品的性能；改善加工工艺；降低生产成本。传统的橡胶配方设计方法有全因素设计、正交试验设计n_3]、均匀设计[4‘60等，而这些配方设计试验数据的处理方法无外乎方差分析和回归分析口]。由于材料的配方和性能之问存在非常复杂的非线性关系，回归分析只适合于单目标优化数据处理的模型，对于不同的性能，需要建立不同的模型，因此将其应用于配方设计有一定的局限性。近年来，发展日趋成熟的人工神经网络技术，尤其是BP神经网络凭借其结构简单、收敛速度快、预测精度高等优势越来越多地应用到橡胶配方设计试验中。 1橡胶配方设计 1．1橡胶配方设计概述 配方设计¨J是橡胶工业中的首要技术问题，在橡胶工业中占有重要地位。所谓配方设计，就是根据产品的性能要求和工艺条件，通过试验、优化、鉴定，合理地选用原材料，确定各种原材料的用量配比关系。 橡胶配方人员的主要工作就是要确定一系列变量对橡胶各项性能的定量或定性影响。变量可以是硫化剂、促进剂、填充剂、防老剂等，也可以是加工：[艺条件(如硫化温度、硫化时间等)，总之是配方人员可能控制或测得的变量。橡胶各项基本性能包括拉伸强度、撕裂强度、硬度、定伸应力等物理机械性能，以 及加工性能、光洁度、外观等。 橡胶配方设计常常是多变量的试验设计，配方设计理论和试验设计方法对于 配方设计具有重要意义。
《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。 （4）、人工神经元网络是大量的神经元的集体行为，表现为复杂
的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。 在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。
第五章 神经网络课后习题及答案 一、选择题： 1. 在BP算法中，设y=f(xi)为xi的平滑函数，想知道xi对y增大变化的情况， 我们可求 ，然后进行下列的哪一项？ （ B ） A 取最小 B 取最大 C 取积分 D 取平均值 2. 对于反向传播学习，无论是在识别单个概念的学习或识别两个概念的学习中，都涉及到下列的哪一个操作？ （ A ） A 权值的修正 B 调整语义结构 C 调整阀值 D 重构人工神经元 3. 根据Hopfield网络学习的特点，能实现联想记忆和执行线性和非线性规划等求解问题其应用没有涉及到下列的哪一个内容？ （ D ） A 模糊推理模型 B 非线性辨认 C 自适应控制模型 D 图象识别 4. 对于神经网络的二级推理产生式规则由三个层次构成，它不含下列的哪一个层次？ （ C ） A 输入层 B 输出层 C 中间层 D 隐层 5. 人工神经网络借用了生理神经元功能的一些描述方式，它涉及到下列的哪一些内容？ （ ABC ） A 模拟神经元 B 处理单元为节点 C 加权有向图 D 生理神经元连接而成
6. 在应用和研究中采用的神经网络模型有许多种，下列的哪一些是具有代表性的？ （ ABD ） A 反向传递（BP） B Hopfield网 C 自适应共振 D 双向联想存储器 7. 下列的哪一些内容与反向传播学习算法有关？ （ ABCD ） A 选取比率参数 B 误差是否满足要求 C 计算权值梯度 D 权值学习修正 8. 构造初始网络后，要用某种学习算法调整它的权值矩阵，使NN在功能上满足样例集给定的输入一输出对应关系，并由此产生推理，该矩阵必须满足下列的哪一个性质？ ( A ) A 收敛性 B 对称性 C 满秩性 D 稀疏性 9. 在人工神经元的功能描述中，往往会用一激发函数来表示输出，常用的一般非线性函数有下列的哪一些项？ ( ABD ) A 阀值型 B 分段线性强饱和型 C 离散型 D S i gm oid型 10. 基于神经网络的推理，其应用中必须涉及到下列的哪一些内容？ ( ACD ) A NN的结构模型 B NN的推理规则 C NN的学习算法 D 从NN到可解释的推理网 二、填空题： 1. 前馈网络是一种具有很强学习能力的系统，结构简单，易于编程。前馈网络通
人工神经网络 1.简介 人工神经网络(ANN)技术是一种信息处理范式,灵感来自于生物神经系统的方式,如大脑、处理信息。这拍拉的DIGM关键的元素是一款新颖的结构的信息处理系统。它是由大量的高度互连处理单元(神经元都)工作在和谐中要解决的具体问题。像人一样,学习结合起来,通过实例说明。一个人工神经网络被配置为某一特定的应用,如模式识别或数据分类,通过一个学习的过程。学习在生物体系需要调整突触连接之间的神经元都存在。结合起来,这是有据可查的。在更多的实际统计数据的模糊神经网络的非线性建模工具。它们能被用于模型复杂的输入-输出关系或发现模式在数据。本文将简要介绍有关知识安和打好基础,为进一步研究。 2.人工神经网络的特点 神经网络模型,拥有的卓越的能力也衍生意义是从复杂的或不精确数据，可被用于提取模式和趋势发现太过于复杂以致难以被任何人类或其它计算机技术注意到。一个受过训练的神经网络可以被认为是一个“专家”在信息范畴内,才能来来作分析。这位专家就可以被用来提供给测感和给定新的有兴趣环境，然后提问“假如如此”的问题。 神经网络的其他优点包括: 自适应学习能力:学习如何做任务的基础上,给出了初始数据训练或经验。 自组织:一个人工神经网络可以创造自己的组织或表示它收到的信息时的学习时间。 实时操作:安计算可以对并联,和特殊的硬件设备被设计和制造,充分利用这一能力。 通过冗余信息容错编码:局部破坏网络导致相应的降解性能。然而,一些网络能力甚至可以保留与主要网络伤害。 3.一个简单的神经元和复杂的神经元 一个简单神经元 一种人工神经元是一种装置与许多输入和一个输出,如图。3-26。神经元的有两种模式的操作:培养模式和使用模式。在训练模式中,神经元可以训练的射击(或没有),为特定的输入方式。在使用模式,当一个教输入模式检测到输入、输出成为其关联的输出电流。如果输入模式不属于这教的名单输入方式、烧成规则是用来确定是否发生火灾或不是。 射击规则是在神经网络的一个重要概念。一个射击规则决定了一个人如何计算一个神经
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
科技信息 2011年第 3期 SCIENCE &TECHNOLOGY INFORMATION 人工神经网络是模仿生理神经网络的结构和功能而设计的一种信息处理系统。大量的人工神经元以一定的规则连接成神经网络 , 神经元之间的连接及各连接权值的分布用来表示特定的信息。神经网络分布式存储信息 , 具有很高的容错性。每个神经元都可以独立的运算和处理接收到的信息并输出结果 , 网络具有并行运算能力 , 实时性非常强。神经网络对信息的处理具有自组织、自学习的特点 , 便于联想、综合和推广。神经网络以其优越的性能应用在人工智能、计算机科学、模式识别、控制工程、信号处理、联想记忆等极其广泛的领域。 1986年 D.Rumelhart 和 J.McCelland [1]等发展了多层网络的 BP 算法 , 使BP 网络成为目前应用最广的神经网络。 1BP 网络原理及学习方法 BP(BackPropagation 网络是一种按照误差反向传播算法训练的多层前馈神经网络。基于 BP 算法的二层网络结构如图 1所示 , 包括输入层、一个隐层和输出层 , 三者都是由神经元组成的。输入层各神经元负责接收并传递外部信息 ; 中间层负责信息处理和变换 ; 输出层向 外界输出信息处理结果。神经网络工作时 , 信息从输入层经隐层流向输出层 (信息正向传播 , 若现行输出与期望相同 , 则训练结束 ; 否则 , 误差反向进入网络 (误差反向传播。将输出与期望的误差信号按照原连接通路反向计算 , 修改各层权值和阈值 , 逐次向输入层传播。信息正向传播与误差反向传播反复交替 , 网络得到了记忆训练 , 当网络的全局误差小于给定的误差值后学习终止 , 即可得到收敛的网络和相应稳定的权值。网络学习过程实际就是建立输入模式到输出模式的一个映射 , 也就是建立一个输入与输出关系的数学模型 :
人工神经网络概论 梁飞 （中国矿业大学计算机科学与技术学院信科09-1班，江苏，徐州，221116） 摘要：进入21世纪以来，神经网络近来越来越受到人们的关注，因为神经网络可以很容易的解决具有上百个参数的问题，它为大复杂度问题提供了解决一种相对来说比较有效的简单方法。人工神经网络是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。本文简要介绍了人工神经网络的工作原理、属性、特点和优缺点、网络模型、发展历史及它的应用和发展前景等。 关键词：人工神经网络；人工智能；神经网络；神经系统 1．人工神经网络的简介 人工神经网络（Artificial Neural Networks,简写为 ANN），一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。 2．人工神经网络的工作原理 人脑的处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模网络。单个神经细胞的工作速度并不高，但它通过超并行处理使得整个系统实现处理的高速性和表现的多样性。 因此，从处理的角度对人脑进行研究，并由此研制出一种象人脑一样能够“思维”的智能计算机和智能处理方法，一直是人工智能追求的目标。 人脑神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method ）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。 这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。 图1-1简单神经元网络及其简化结构图 （1）细胞体 （2）树突 （3）轴突 （4）突触
人工神经网络的发展及应用 西安邮电学院电信系樊宏西北电力设计院王勇日期：2005 1-21 1 人工神经网络的发展 1．1 人工神经网络基本理论 1．1．1 神经生物学基础生物神经系统可以简略地认为是以神经元为信号的处理单元，通过广泛的突触联系形成的信息处理集团，其物质结构基础和功能单元是脑神经细胞，即神经元(neuron) 。 (1)神经元具有信号的输人、整合、输出三种主要功能作用行为，结构如图1 所示： (2)突触是整个神经系统各单元间信号传递驿站，它构成各神经元之间广泛的联接。 (3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物，其变化是先天遗传信息确定的总框架下有限的自组织过程。 1．1．2 建模方法神经元的数量早在胎儿时期就已固定，后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系，这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法：①神经生物学模型方法，即根据微观神经生物学知识的积累，把脑神经系统的结构及机理逐步解释清楚，在此基础上建立脑功能模型；②神 经计算模型方法，即首先建立粗略近似的数学模型并研究该模型的动力学特性，然后冉与真实对象作比较（仿真处理方法）。1．1．3 概
念人工神经网络用物理町实现系统采模仿人脑神经系统的结构和功能，是一门新兴的前沿交义学科，其概念以T．Kohonen．Pr 的论述 最具代表性：人工神经网络就是由简单的处理单元（通常为适应性神经元，模型见图2）组成的并行互联网络，它的组织能够模拟生物神 经系统对真实世界物体所作出的交互反应。 1．2 人工神经网络的发展 人工神经网络的研究始于40 年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的较为曲折的道路。1943 年，心理学家W．S．Mcculloch 和数理逻辑学家W．Pitts 提出了M—P 模型， 这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949 年，心理学家D. O. Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络。1969 年，美国著名人工智能学者M．Minsky 和S．Papert 编写了影响很大的Perceptron 一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知能也不过如此，在这之后近10 年，神经网络研究进入了一个缓慢发展的萧条期。美国生物物理学家J．J．Hopfield 于1982年、1984 年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的
二．神经网络控制 §2.1 神经网络基本概念 一. 生物神经元模型：<1>P7 生物神经元,也称作神经细胞,是构成神经系统的基本功能单元。虽然神经元的形态有极大差异,但基本结构相似。本目从信息处理和生物控制的角度,简述其结构和功能。 1.神经元结构 神经元结构如图2－1所示 图2－1
1) 细胞体：由细胞核、细胞质和细胞膜等组成。 2) 树突：胞体上短而多分支的突起，相当于神经元的输入端，接收传入的神经冲 动。 3) 轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末梢，传出神经 冲动。 4) 突触：是神经元之间的连接接口，每一个神经元约有104～106 个突触，前一个 神经元的轴突末梢称为突触的前膜，而后一个神经元的树突称为突触的后膜。一个神经元通过其轴突的神经末梢经突触，与另一个神经元的树突连接，以实现信息传递。由于突触的信息传递是特性可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。 5） 细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后能产生兴奋，此时细胞膜内外由电位差，称为膜电位。其电位膜内为正，膜外为负。 2. 神经元功能 1） 兴奋与抑制：传入神经元的冲动经整和后使细胞膜电位提高，超过动作电 位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。 2） 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强与减弱， 因此神经元具有学习与遗忘的功能。 二．人工神经元模型 ,<2>P96 人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。图2－2显示了一种简化的人工神经元结构。它是一个多输入单输出的非线形元件。 图2－2 其输入、输出的关系可描述为 =-= n j i j ji i Q X W I 1 2－1 )I (f y i i = 其中i X (j=1、2、……、n)是从其他神经元传来的输入信号；
X X X X 大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010 年12 月22 日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1. 1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元, 通过广泛的突触联系形成的信息处理集团, 其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1) 神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站, 它构成各神经元之间广泛的联接。(3) 大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物, 其变化是先天遗传信息确定的总框架下有限的自组织过程。 1. 2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系, 这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法: ①神经生物学模型方法, 即根据微观神经生物学知识的积累, 把脑神经系统的结构及机理逐步解释清楚, 在此基础上建立脑功能模型。②神经计算模型方法, 即首先建立粗略近似的数学模型并研究该模型的动力学特性, 然后再与真实对象作比较(仿真处理方法)。 1. 3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能, 是一门新兴的前沿交叉学科, 其概念以T.Kohonen. Pr 的论述最具代表性: 人工神经网络就是由简单的处理单元(通常为适应性) 组成的并行互联网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1. 4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题: 模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1. 5理论局限性 (1) 受限于脑科学的已有研究成果由于生理试验的困难性, 目前对于人脑思维与记忆机制的认识尚很肤浅, 对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2) 尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网, 节点间互连强度构成的矩阵可通过某种学
人工神经网络综述 摘要：人工神经网络是属于人工智能的一个组成部分，它的提出是基于现代神经科学的相关研究，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。首先论述了人工神经网络的发展历程，并介绍了几种常见的模型及应用现状，最后总结了当前存在的问题及发展方向。 关键词：神经网络、分类、应用 0引言 多年以来，科学家们不断从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度探索人脑工作的秘密，希望能制作模拟人脑的人工神经元。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。在研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“人工神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。 1人工神经网络概述 1.1人工神经网络的发展 人工神经网络是20世纪80年代以来人工智能领域中兴起的研究热点，因其具有独特的结构和处理信息的方法，使其在许多实际应用中取得了显著成效。 1.1.1人工神经网络发展初期 1943年美国科学家家Pitts和MeCulloch从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，这是人类最早对于人脑功能的模仿。他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。1958年Frank Rosenblatt提出了感知模型(Pereeptron)，用来进行分类，并首次把神经网络的研究付诸于工程实践。1960年Bernard Widrow等提出自适应线形元件ADACINE网络模型，用于信号处理中的自适应滤波、预测和模型识别。 1.1.2人工神经网络低谷时期
人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的 若干基本特征，但并非其逼真的描写。 人工神经网络可概括定义为：由大量简单元件广泛互连而成的复 杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、 光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型： 线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。 2 1.5 1 0.5 -0.5 -1 -1.5 -2 -6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ? 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6 ?1, x ≥ 0 ?-1, x < 0 ，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴 奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型： 兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神 经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简 单的人工神经网络结构图如下所示： 上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与 输出层之间即为隐层。 输入层节点上的神经元接收外部环境的输入模式，并由它传递给 相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神 经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工 神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层 用于产生神经网络的输出模式。 多层神经网络结构中有代表性的有前向网络（BP网络）模型、