稿号：0906004（修改稿）
人工神经网络及其在公共卫生领域的应用
沈波（综述）1，郑能雄1（审校），刘宝英2（审校）
摘要：人工神经网络（ANN，简称神经网络）由于其具有高度的自适应性、非线性、善于处理复杂关系的特点，较传统统计方法具有很多优点，对其目前在公共卫生领域中的应用进行综述。
关键词：人工神经网络；公共卫生;卫生统计;
人工神经网络（artificial neural network，ANN，简称神经网络）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学和分子生物学等有关，是一门新兴的边缘交叉学科。
神经网络起源于20世纪40年代，1943年心理学家McCulloch和数学家Pitts合作提出了神经元的数学模型，即MP模型，从此开创了神经科学理论研究的新时代。神经网络的发展经历了20世纪60到70年代低潮期，80年代又进入新的研究高潮。1987年6月在美国加州举行了第一届神经网络国际会议，并成立了国际神经网络学会。我国的“863”高技术研究计划从1990年开始批准了关于神经网络的课题，自然科学基金与国防科技基金也把神经网络列入选题指南，对中选的课题提供研究资助[1]。
1 人工神经网络模型的原理和结构
人工神经网络根据神经元的生物特性和功能，把它抽象为简单的数学模型(如图1)，X1，X2，……，X n是神经元的输入，即是来自前级n个神经元的轴突的信息，θi是i神经元的阈值；W i1，W i2……，W in分别是i神经元对X1，X2，……，X n的权系数，也即突触的传递效率；Y i是i
神经元的输出；()?
?是传递函数，它决定i神经元受到输人X1，X2，……，X n的共同刺激达到
阀值时以何种方式输出。
图1 神经元的数学模型
神经元和神经网络的关系是元素与整体的关系。神经元的结构很简单，工作原理也不深奥。但用神经元组成的神经网络就非常复杂，其功能也十分奥妙。下面是一个最常用的三层BP网络模型，网络包括一个输入层，一个输出层，一个或多个隐含层（中间层）。同层节点（单元）中没有任何连接，各层之间实现全连接，典型的 BP 神经网络是含有一个隐含层的三层网络结构（图2），
第一作者简介：沈波（1974－），男，医学硕士，主管医师，主要从事疾病预防控制工作。
1.作者单位：福州市疾病预防控制中心，福州350004；
2.福建医科大学，福州350004。
图2 3层BP网络结构
这个网络的输入层有n个神经元，输出层有q个神经元，隐含层有 p 个神经元。输入信号从输入层节点依次传过各隐含层节点，然后传到输出层，每一层节点的输出只影响下一层节点的输出，相邻层每个节点通过适当的连接权值前向连接。BP网络可以看作是一个从输入到输出的高度非线性映射。
2 神经网络的基本类型和特点
人们根据不同的应用，研制出许多种不同的神经网络模型，因此人工神经网络的分类也有很多标准，如按性能可分为连续型与离散型网络或确定性与随机性网络；按学习方法可分为有导师学习或无导师学习；按连接突触性质可分为一阶线性关联网络或高阶非线性关联网络。但常见的人工神经网络按信息传递的路径和网络结构的不同，归纳为三大类，即前馈型神经网络（feedforward neural network,FF），以BP网络为代表；反馈型神经网络（backforward neural network，BF），以Hopfield网络为代表；自组织特征映射神经网络(self-organizing feature map neural network,SOM)，以Kohonen特征映射网络为代表。其中理论较成熟、应用广泛的是前馈型网络，在前馈神经网络的应用中又首推BP网络和它的变化形式，它也是前馈网络的核心部分，并体现了人工神经网络最精华的部分。
尽管人工神经网络只是人脑的低级近似，但是神经网络不同于一般的计算机和人工智能，它的很多特点和人类的智能类似。单个神经单元的功能很弱，但是大量的神经元集体的并行的活动处理功能却十分强大，其具有以下特点：
2.1大规模并行处理。人工神经网络是由大量简单处理单元相互连接构成的高度并行的非线性系统，具有大规模并行性处理特征。虽然每个处理单元的功能十分简单，但大量简单处理单元的并行活动使网络呈现出丰富的功能并具有较快的速度。
2.2知识的分布式存储。在神经网络中，记忆的信息都存储在神经元之间互连的权值中，从单个权值中看不出其存储信息的内容，因而知识的存储是分布式的方式。
2.3较强的容错特性。由于知识的分布式存储，使得人工神经网络具有良好的容错性，即使局部的神经元损坏后，不影响整体神经网络输出的正确性。
2.4具有自适应、自组织、自学习的能力。人工神经网络可以处理各种变化的信息，而且在处理信息的同时，非线性动力系统本身也在不断变化，即网络可以通过学习和训练进行自组织，以适应不同的信息处理要求，这也是神经网络最突出的特点。
3 神经网络与医学统计学的关系
与传统的统计方法相比，人工神经网络具有许多的优点：①常规的影响因素分析方法如线性回归模型、logistic回归模型等往往要求资料服从正态分布，且自变量、因变量之间的关系为线性关系，但实际不可能完全满足这些条件，神经网络模型对资料的性质要求较低，可以拟合任意非线性关系。②避免了在建模过程中如何正确设定函数形式，扩充了回归建模研究中的函数类型，能提示系统内部存在的关系，使变量选择研究更具一般性，为在结构未知下的变量筛选开辟了途径。③传统对于强影响点和异常点的处理往往是通过回归诊断，使模型能更多地照顾到大多数点的影响。而BP人工神经网络充分考虑强影响点所包含的信息，能够为决策提供一定的帮助。④神经网络模型能同时处理几百种因素，其中某些因素与问题求解只有很小的相关性，但将它们集合起来考虑，可使困难问题的求解更加精确[2]。
人工神经网络方法与传统统计方法又有很强的联系，从统计学的观点来看，人工神经网络最有用的特性之一就是对分析问题的概率模型不要求先做出先验假设然后验证，而是从纯计算的角度实现逼近求解。用人工神经网络逼近映射被认为是统计回归分析，尤其是非线性回归的推广。然而人工神经网络在探查自变量和因变量之间复杂的非线性关系时是从数学计算中发现规律，不能像传统统计分析那样给出明确的方程，但是它能够给出具有确定算法与结构参数的神经网络，这个网络结构是清晰的，从某种意义上说，它能够更有效的表述实际问题，特别是当有些问题并不需要明确的数学表达式或者根本无法找到明确的数学公式表达时，神经网络就更显示其优越性。
人工神经网络与传统统计方法相比，理论基础还不是十分完善，在解决问题的模型上没有统一的标准，无法提供明确的统计学差异等验证功能，因此神经网络并不能完全取代传统统计学。也没有必要按传统统计方法的思路过分追究假设检验、可信区间估计等问题在网络模型中的实现。而应该认识到神经网络和传统统计方法各有作用，需要根据数据的条件做出正确的评价，两者互补，结合起来共同发展和完善。
4 人工神经网络的应用
随着人工神经网络理论研究的深入，以及计算机技术的普及与发展，人工神经网络的应用也取得了令人瞩目的成果，涉及自然科学、应用科学及综合性交叉学科等各个领域，主要用于解决以下问题：模式信息处理和模式识别、最优化问题的计算、信息的智能化处理、复杂控制和信号处理等，目前已在人脸识别、能源的优化利用、机器人的智能控制、电力负荷预报、飞行控制、工业生产监控等领域得到了成功应用。
近年来在生物医药领域应用也越来越广泛，主要有利用人工神经模型进行的模式识别、判别分析、预测预报，例如用于基因识别和DNA、RNA序列分析，进行药物分析、药代动力学、制剂研究，疾病诊断专家系统、医学图像分析和信号处理，疾病预测等[3]。
5 人工神经网络在公共卫生领域的应用
5.1 流行病学方面：有学者通过神经网络建立了一些传染病的预测模型，如吴海磊等根据15个自变量为输入因子建立了性病艾滋病的预测模型[4]，曲波、施海龙、高玉兰、Kiang R 等分别应用气象要素为输入因子建立流脑、呼吸道传染病、伤寒、疟疾等传染病的神经网络预测模型[5-9]。在慢性病的预测模型方面，如马玉霞应用气象要素建立了高血压的神经网络预测模型[10]，周水红和高蔚等分别应用神经网络分析了高血压和糖尿病的危险因素，认为神经网络能够胜任疾病危险因素的分析任务，拟合出比传统模型（logistic回归分析）更复杂的变量间关系[11、12]。Baghdadi G则应用神经网络技术开发出糖尿病病人的血糖预测模型[13]。
5.2 环境与职业医学方面：神经网络技术在环境监测方面学有较好的应用前景[14]，Groves等把神经网络技术应用于饮用水中挥发性有机物的检测，提高了野外水源的检测和收集能力[15]。李祚泳等提出了人工神经网络建立环境污染物浓度预测的方法，并通过一个大气污染物ＳＯ２浓度的预测实例，证实了人工神经网络用于环境污染预测的可行性[16]。沈波等应用神经网络模型建立了中低强度噪声对高频听力损伤的模型[17]，严雁翎建立了噪声非稳态噪声性耳聋发病率的预测模型[18]，柳静献，郑双忠等人分别则建立了尘肺发病预测的神经网络
模型[19、20]，麦海明将其应用于职业卫生安全工程的评价等[21]。
5.3 食品与营养学方面：Hay DC等通过研究认为应用神经网络模型来估计人的每日能量消耗，可以得到更精确和经济方便的结果[22]。Heaty AP等人应用人工神经网络技术和决策树研究膳食模式，通过对1379名爱尔兰成年人的膳食营养等分析，结果提示神经网络可以成功地应用于每日膳食的合理化预测研究[23]。Marini F认为神经网络在食品的分析方面有许多独特的优势和功能，今后有非常大的发展前景[24]。
5.4 突发性公共卫生事件的预警：应用神经网络对大量数据的综合分析能力和预测预报特点，与GIS等技术结合，通过数据挖掘等，可以建立突发性公共卫生事故的预测预报系统 [25]。
5.5 卫生检验方面用：虽然目前人工神经网络在卫生检验领域直接应用的学术文献很少，但在分析化学应用则有很多的报道，而且也涉及了很多与卫生检验密切相关的研究[26、27]。
5.6 卫生经济学方面：神经网络在经济学的许多领域有广泛的应用，在公共卫生方面也不另外，雷海潮等采用人工神经网络的模型方法对我国卫生总费用进行了推算研究，得到了近似卫生账户测算体系（SHA）要求的新结果[28]。
6 神经网络技术的不足
虽然人工神经网络具有很多优点，但其理论研究还有待完善，技术上有诸多的限制：①BP神经网络模型能在诸多的影响因素中找出最主要的几个因素，但对于多层神经网络模型而言，其计算过程复杂，不能给出变量间可解释的具体函数关系，无法提供准确的可信区间等指标；②学习速度太慢，即使一个比较简单的问题，也需要几百次甚至上千次的学习才能收敛，容易陷入局部极小值；③网络隐含层的数目与隐含层单元的选择尚无理论上的指导，而是根据经验确定。④要建构良好的网络结构，设计者必须精心设计网络参数，在网络运行中还要进行大量调整。
7 神经网络的发展前景
总之，基于神经网络的方法是一个热点研究问题，目前国内的人工神经网络研究远不如国外成熟，在医学领域中应用研究还比较分散，研究需要多学科联合开展，多数神经网络在公共卫生领域的应用中还存在训练时间长、精确度不够高，缺乏一套行之有效的神经网络设计方法等缺陷，同时由于神经网络模型的复杂性，不同的研究采用不同的网络结构，不同的研究结果之间可能存在矛盾。相信通过对人工神经网络不断的探索和研究，一定能在复杂的公共卫生领域性发挥其巨大的潜力。
参考文献
[1] 董长虹.Matlab神经网络与应用（第2版）[M].国防工业出版社.2007.6-7.
[2]张军，黄子杰.BP神经网络模型的原理及在心理学领域的应用[J].现代预防医学,2006,33(10):1855.
[3] 李丽霞，张敏，郜艳晖,等.人工神经网络在医学研究中的应用[J]. 数理医药学杂志，2009，22（1）：80-82.
[4] 吴海磊，钱吉生，徐兴大，等.人工神经网络的性病艾滋病预测模型研究[J].中国艾滋病性病, 2007，12（26）：
[5] 曲波，黄德生，郭海强.流行性脑脊髓膜炎与气象因素关系的BP神经网络模型研究[J]. 中国医科大学学报，2006，35（2）：158-159.
[6] 施海龙,曲波,郭海强,等.干旱地区呼吸道传染病气象因素及发病预测[J].中国公共卫生,2006,4(30):417-418.
[7] 曲波，黄德生，郭海强，等.干旱地区伤寒副伤寒与气象因素关系的BP神经网络模型[J].中国卫生统计学.2004，21（3）：165-166.
[8] 高春玉,熊鸿燕,易东,等.智能神经网络模型用于气象因素对疟疾发病影响的初步研究. 中华流行病学杂志，2003，24（9）：
[9]Kiang R, Adimi F,Soika V,etal.Meteorological,environmental remote sensing and neural network analysis of the epidemiology of malaria transmission in Thailand. Geospat Health.2006,1(1):71-84.
[10] 马玉霞, 谢月玉, 王式功,等.人工神经网络方法在气象因素预测高血压发病中的应用.环境与健康杂志，2007，24（03）：139-140.
[11] 周水红,聂绍发,王重建,等.应用人工神经网络预测个体患原发性高血压病危险度[J].
中华流行病学杂志，2008，29（6）：614-617.
[12] 高蔚，王声湧，王自能，等.在糖尿病危险因素分析中人工神经网络的应用[J]. 中华
流行病学杂志，2004,25(8):715-718.
[13] Baghdadi G, Nasrabadi AM. Controlling blood glucose levels in diabetics by neural network predictor. Conf Proc IEEE Eng Med Biol Soc.2007:3216-3219.
[14] Dedecker AP,Goethals PL,D'heygere T,etal.Application of artificial neural network models to analyse the relationships between Gammarus pulex L. (Crustacea, Amphipoda) and river characteristics. Environ Monit Assess. 2005,111(1-3):223-41.
[15]Groves,W,A Grey,AB,O'Shaughnessy.Surface acoustic wave (SAW) microsensor array for measuring VOCs in drinking water[J].J Environ Monit.2006，8(9):932-41.
[16] 李祚泳，邓新民.环境污染预测的人工神经网络模型[J].成都气象学院学
报,1997,12(28):279-283.
[17] 沈波，王李仁，陈艳，等.中低强度噪声致高频听力损伤的BP神经网络模型[J].预防医学论坛，2008，14（12）：1088-1089.
[18] 严雁翎,何小新.基于人工神经网络的非稳态噪声性耳聋发病率预测模型的研究[J].中
国职业医学，2003，30（6）：25.
[19] 柳静献，刘铁民，王金波，等.尘肺危害的神经网络评价及预测研究. 中国安全科学学报，2001，1（2）：21-24.
[20] 郑双忠.基于神经网络的尘肺病预测模型研究(英文),中国安全生产科学技术,2005，1（6）：78-80.
[21] 麦海明，罗海铭，常会友，等.数据挖掘技术在职业卫生工程分析中的应用研究.中国
卫生工程学，2OO7，6（2）：70-72.
[22] Hay DC, Wakayama A, Sakamura K，etal.Improved estimation of energy expenditure by artificial neural network modeling[J].Appl Physiol Nutr
Metab.2008,33(6):1213-1222.
[23]Hearty AP,Gibney MJ.Analysis of meal patterns with the use of supervised data mining techniques―artificial neural networks and decision trees[J].Am J Clin Nutr.2008,88(6):1632-1642.
[24] Marini F.Artificial neural networks in foodstuff analyses: Trends and perspectives A review[J].Anal Chim Acta.2009,635(2):121-31.
[25] 李琦，郭玲玲，甘杰夫.城市突发公共卫生疫情分析与决策系统的设计.计算机工程，2006，32（3）：9-10.
[26]郑波，张克荣.人工神经网络及其在卫生检验中的应用.中国卫生检验杂志.2003，13（2）：137-138.
[27]Afkhami A, Abbasi-Tarighat M, Khanmohammadi H.Simultaneous determination of Co2+, Ni2+, Cu2+ and Zn2+ ions in foodstuffs and vegetables with a new Schiff base using artificial neural networks.Talanta.2009，77(3):995-1001.
[28] 雷海潮，刘新亮，毛阿燕，等. 我国卫生总费用推算研究基于SHA体系和人工神经网络方法术.中国卫生经济，2009，28（1）：23-26.
神经网络的应用及其发展 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
5.4 BP神经网络的基本原理 BP（Back Propagation）网络是1986年由Rinehart和 McClelland为首的科学家小组提出，是一种按误差逆传播算 法训练的多层前馈网络，是目前应用最广泛的神经网络模型 之一。BP网络能学习和存贮大量的输入-输出模式映射关系， 而无需事前揭示描述这种映射关系的数学方程。它的学习规 则是使用最速下降法，通过反向传播来不断调整网络的权值 和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结 构包括输入层（input）、隐层(hide layer)和输出层(output layer)（如图5.2所示）。 5.4.1 BP神经元 图5.3给出了第j个基本BP神经元（节点），它只模仿了生物神经元所具有的三个最基本 也是最重要的功能：加权、求和与转移。其中x 1、x 2 …x i …x n 分别代表来自神经元1、2…i…n 的输入；w j1、w j2 …w ji …w jn 则分别表示神经元1、2…i…n与第j个神经元的连接强度，即权 值；b j 为阈值；f(·)为传递函数；y j 为第j个神经元的输出。 第j个神经元的净输入值为： （5.12） 其中： 若视，，即令及包括及，则
于是节点j的净输入可表示为： （5.13）净输入通过传递函数（Transfer Function）f (·)后，便得到第j个神经元的输出: （5.14） 式中f(·)是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。 5.4.2 BP网络 BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。 设 BP网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为，隐层与输出层之间的权值为，如图5.4所示。隐层的传递函数为f (·)， 1 (·)，则隐层节点的输出为（将阈值写入求和项中）： 输出层的传递函数为f 2
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
研究生必备的人工神经网络电子书汇总（31本） 这些都是我从淘宝和百度文库里面搜集到的电子书，需要的可以联系我 QQ：415295747，或者登录我的博客https://www.doczj.com/doc/1f6326538.html,/u/1723697742 1.神经网络在应用科学和工程中的应用——从基础原理到复杂的模式识别 5 译者序 6 前 9 致谢 10 作者简介 11 目录 19 第1章从数据到模型:理解生物学、生态学和自然系统的复杂性和挑战 27 第2章神经网络基础和线性数据分析模型 72 第3章用于非线性模式识别的神经网络 105 第4章神经网对非线性模式的学习 166 第5章从数据中抽取可靠模式的神经网络模型的实现 205 第6章数据探测、维数约简和特征提取 235 第7章使用贝叶斯统计的神经网络模型的不确定性评估 276 第8章应用自组织映射的方法发现数据中的未知聚类 359 第9章神经网络在时间序列预测中的应用 458 附录 2.MATLB 神经网络30个案例分析 第1章BP神经网络的数据分类——语音特征信号分类 23 第2章BP神经网络的非线性系统建模——非线性函数拟合 33 第3章遗传算法优化BP神经网络——非线性函数拟合 48 第4章神经网络遗传算法函数极值寻优——非线性函数极值寻优 57 第5章基于BP_Adsboost的强分类器设计——公司财务预警建模 66 第6章PID神经元网络解耦控制算法——多变量系统控制 77 第7章RBF网络的回归——非线性函数回归的实现 85 第8章GRNN的数据预测——基于广义回归神经网络的货运量预测 93 第9章离散Hopfield神经网络的联想记忆——数字识别 102 第10章离散Hopfield神经网络的分类——高校科研能力评价 112 第11章连续Hopfield神经网络的优化——旅行商问题优化计算 124 第12章SVM的数据分类预测——意大利葡萄酒种类识别 134 第13章SVM的参数优化——如何更好的提升分类器的性能
卷积神经网络（CNN） 一、简介 卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。 1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络[1]（Convolutional Neural Networks-简称CNN）7863。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。 Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络[2]。他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。随着1986年BP算法以及T-C问题[3]（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能[4][5]。在1998年，他们建立了一个多层人工神经网络，被称为LeNet-5[5]，用于手写数字分类,这是第一个正式的卷积神经网
络模型3579。类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。 因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。直到2006年，Hinton终于一鸣惊人，在《科学》上发表文章，使得CNN再度觉醒，并取得长足发展。随后，更多的科研工作者对该网络进行了改进。其中，值得注意的是Krizhevsky等人提出的一个经典的CNN架构，相对于图像分类任务之前的方法，在性能方面表现出了显著的改善2674。他们方法的整体架构，即AlexNet[9]（也叫ImageNet），与LeNet-5相似，但具有更深的结构。它包括8个学习层（5个卷积与池化层和3个全连接层），前边的几层划分到2个GPU上，（和ImageNet 是同一个）并且它在卷积层使用ReLU作为非线性激活函数，在全连接层使用Dropout减少过拟合。该深度网络在ImageNet大赛上夺冠，进一步掀起了CNN学习热潮。 一般地，CNN包括两种基本的计算，其一为特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该
科技信息 2011年第 3期 SCIENCE &TECHNOLOGY INFORMATION 人工神经网络是模仿生理神经网络的结构和功能而设计的一种信息处理系统。大量的人工神经元以一定的规则连接成神经网络 , 神经元之间的连接及各连接权值的分布用来表示特定的信息。神经网络分布式存储信息 , 具有很高的容错性。每个神经元都可以独立的运算和处理接收到的信息并输出结果 , 网络具有并行运算能力 , 实时性非常强。神经网络对信息的处理具有自组织、自学习的特点 , 便于联想、综合和推广。神经网络以其优越的性能应用在人工智能、计算机科学、模式识别、控制工程、信号处理、联想记忆等极其广泛的领域。 1986年 D.Rumelhart 和 J.McCelland [1]等发展了多层网络的 BP 算法 , 使BP 网络成为目前应用最广的神经网络。 1BP 网络原理及学习方法 BP(BackPropagation 网络是一种按照误差反向传播算法训练的多层前馈神经网络。基于 BP 算法的二层网络结构如图 1所示 , 包括输入层、一个隐层和输出层 , 三者都是由神经元组成的。输入层各神经元负责接收并传递外部信息 ; 中间层负责信息处理和变换 ; 输出层向 外界输出信息处理结果。神经网络工作时 , 信息从输入层经隐层流向输出层 (信息正向传播 , 若现行输出与期望相同 , 则训练结束 ; 否则 , 误差反向进入网络 (误差反向传播。将输出与期望的误差信号按照原连接通路反向计算 , 修改各层权值和阈值 , 逐次向输入层传播。信息正向传播与误差反向传播反复交替 , 网络得到了记忆训练 , 当网络的全局误差小于给定的误差值后学习终止 , 即可得到收敛的网络和相应稳定的权值。网络学习过程实际就是建立输入模式到输出模式的一个映射 , 也就是建立一个输入与输出关系的数学模型 :
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method ）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。 这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。 图1-1简单神经元网络及其简化结构图 （1）细胞体 （2）树突 （3）轴突 （4）突触
模糊神经网络的基本原理与应用概述 摘要：模糊神经网络（FNN）是将人工神经网络与模糊逻辑系统相结合的一种具有强大的自学习和自整定功能的网络,是智能控制理论研究领域中一个十分活跃的分支,因此模糊神经网络控制的研究具有重要的意义。本文旨在分析模糊神经网络的基本原理及相关应用。 关键字：模糊神经网络，模糊控制，神经网络控制，BP算法。 Abstract:A fuzzy neural network is a neural network and fuzzy logic system with the combination of a powerful. The self-learning and self-tuning function of the network, is a very intelligent control theory research in the field of active branches. So the fuzzy neural network control research has the vital significance. The purpose of this paper is to analysis the basic principle of fuzzy neural networks and related applications. Key Words: Fuzzy Neural Network, Fuzzy Control, Neural Network Control, BP Algorithm.
1人工神经网络的基本原理与应用概述 1.1人工神经网络的概念 人工神经网络(Artificial Neural Network,简称ANN)是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统,它使用大量简单的相连的人工神经元来模仿生物神经网络的能力,从外界环境或其它神经元获得信息,同时加以简单的运算,将结果输出到外界或其它人工神经元。神经网络在输入信息的影响下进入一定状态,由于神经元之间相互联系以及神经元本身的动力学特性,这种外界刺激的兴奋模式会自动地迅速演变成新的平衡状态,这样具有特定结构的神经网络就可定义出一类模式变换即实现一种映射关系。由于人工神经元在网络中不同的联接方式,就形成了不同的人工神经网络模式,其中误差反向传播网络(Back-Propagation Network,简称BP网络)是目前人工神经网络模式中最具代表性,应用得最广泛的一种模型【1,2】。 1.2人工神经网络研究的发展简史 人工神经网络的研究己有近半个世纪的历史但它的发展并不是一帆风顺的,神经网络的研究大体上可分为以下五个阶段[3]。 (1) 孕育期(1956年之前):1943年Mcculloch与Pitts共同合作发表了“A logical calculus of ideas immanent in Nervous Activity”一文,提出了神经元数学模型(即MP模型)。1949年Hebb提出Hebb学习法则,对神经网络的发展做出了重大贡献。可以说,MP模型与学习规则为神经科学与电脑科学之间架起了沟通的桥梁,也为后来人工神经网络的迅速发展奠定了坚实的基础。 (2)诞生期(1957年一1968年):1960年Widrow提出了自适应线性元件模型,Rossenbaltt在1957年提出了第一种人工神经网络模式一感知机模式,由二元值神经元组成,该模式的产生激起了人工神经网络研究的又一次新高潮。(3)挫折期(1969年一1981年):1969年Minsky等人写的《感知机》一书以数学
几种神经网络模型及其应用 摘要：本文介绍了径向基网络，支撑矢量机，小波神经网络，反馈神经网络这几种神经网络结构的基本概念与特点，并对它们在科研方面的具体应用做了一些介绍。 关键词：神经网络径向基网络支撑矢量机小波神经网络反馈神经网络Several neural network models and their application Abstract: This paper introduced the RBF networks, support vector machines, wavelet neural networks, feedback neural networks with their concepts and features, as well as their applications in scientific research field. Key words: neural networks RBF networks support vector machines wavelet neural networks feedback neural networks 2 引言 随着对神经网络理论的不断深入研究，其应用目前已经渗透到各个领域。并在智能控制，模式识别，计算机视觉，自适应滤波和信号处理，非线性优化，语音识别，传感技术与机器人，生物医学工程等方面取得了令人吃惊的成绩。本文介绍几种典型的神经网络，径向基神经网络，支撑矢量机，小波神经网络和反馈神经网络的概念及它们在科研中的一些具体应用。 1. 径向基网络 1.1 径向基网络的概念 径向基的理论最早由Hardy，Harder和Desmarais 等人提出。径向基函数（Radial Basis Function，RBF）神经网络，它的输出与连接权之间呈线性关系，因此可采用保证全局收敛的线性优化算法。径向基神经网络（RBFNN）是 3 层单元的神经网络，它是一种静态的神经网络，与函数逼近理论相吻合并且具有唯一的最佳逼近点。由于其结构简单且神经元的敏感区较小，因此可以广泛地应用于非线性函数的局部逼近中。主要影响其网络性能的参数有3 个：输出层权值向量，隐层神经元的中心以及隐层神经元的宽度(方差)。一般径向基网络的学习总是从网络的权值入手，然后逐步调整网络的其它参数，由于权值与神经元中心及宽度有着直接关系，一旦权值确定，其它两个参数的调整就相对困难。 其一般结构如下： 如图 1 所示，该网络由三层构成,各层含义如下： 第一层：输入层：输入层神经元只起连接作用。 第二层：隐含层：隐含层神经元的变换函数为高斯核. 第三层：输出层：它对输入模式的作用做出响应. 图 1. 径向基神经网络拓扑结构 其数学模型通常如下： 设网络的输入为x = ( x1 , x2 , ?, xH ) T，输入层神经元至隐含层第j 个神经元的中心矢 为vj = ( v1 j , v2 j , ?, vIj ) T (1 ≤j ≤H)，隐含层第j 个神经元对应输入x的状态为：zj = φ= ‖x - vj ‖= exp Σx1 - vij ) 2 / (2σ2j ) ，其中σ(1≤j ≤H)为隐含层第j个神
神经网络 在石灰窑炉的建模与控制中的应用神经网络应用广泛，尤其在系统建模与控制方面，都有很好应用。下面简要介绍神经网络在石灰窑炉的建模与控制中的应用，以便更具体地了解神经网络在实际应用中的具体问题和应用效果。 1 石灰窑炉的生产过程和数学模型 石灰窑炉是造纸厂中一个回收设备，它可以使生产过程中所用的化工原料循环使用，从而降低生产成本并减少环境污染。其工作原理和过程如图1所示，它是一个长长的金属圆柱体，其轴线和水平面稍稍倾斜，并能绕轴线旋转，所以又 CaCO（碳酸钙）泥桨由左端输入迴转窑，称为迴转窑。含有大约30%水分的 3 由于窑的坡度和旋转作用，泥桨在炉内从左向右慢慢下滑。而燃料油和空气由右端喷入燃烧，形成气流由右向左流动，以使泥桨干燥、加热并发生分解反应。迴转窑从左到右可分为干燥段、加热段、煅烧段和泠却段。最终生成的石灰由右端输出，而废气由左端排出。 图1石灰窑炉示意图 这是一个连续的生产过程，原料和燃料不断输入，而产品和废气不断输出。在生产过程中首先要保证产品质量，包括CaO的含量、粒度和多孔性等指标，因此必须使炉内有合适的温度分布，温度太低碳酸钙不能完全分解，会残留在产品中，温度过高又会造成生灰的多孔性能不好，费燃料又易损坏窑壁。但是在生产过程中原料成分、含水量、进料速度、燃油成分和炉窑转速等生产条件经常会发生变化，而且有些量和变化是无法实时量测的。在这种条件下，要做到稳定生产、高质量、低消耗和低污染，对自动控制提出了很高的要求。 以前曾有人分析窑炉内发生的物理-化学变化，并根据传热和传质过程来建立窑炉的数学模型，认为窑炉是一个分布参数的非线性动态系统，可以用二组偏
人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的 若干基本特征，但并非其逼真的描写。 人工神经网络可概括定义为：由大量简单元件广泛互连而成的复 杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、 光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型： 线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。 2 1.5 1 0.5 -0.5 -1 -1.5 -2 -6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ? 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6 ?1, x ≥ 0 ?-1, x < 0 ，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴 奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型： 兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神 经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简 单的人工神经网络结构图如下所示： 上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与 输出层之间即为隐层。 输入层节点上的神经元接收外部环境的输入模式，并由它传递给 相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神 经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工 神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层 用于产生神经网络的输出模式。 多层神经网络结构中有代表性的有前向网络（BP网络）模型、
基于动态BP神经网络的预测方法及其应用来源：中国论文下载中心 [ 08-05-05 15:35:00 ] 作者：朱海燕朱晓莲黄頔编辑：studa0714 摘要人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力。本文提出了一种基于动态BP神经网络的预测方法，阐述了其基本原理，并以典型实例验证。 关键字神经网络，BP模型，预测 1 引言 在系统建模、辨识和预测中，对于线性系统，在频域，传递函数矩阵可以很好地表达系统的黑箱式输入输出模型；在时域，Box-Jenkins方法、回归分析方法、ARMA模型等，通过各种参数估计方法也可以给出描述。对于非线性时间序列预测系统，双线性模型、门限自回归模型、ARCH模型都需要在对数据的内在规律知道不多的情况下对序列间关系进行假定。可以说传统的非线性系统预测，在理论研究和实际应用方面，都存在极大的困难。相比之下，神经网络可以在不了解输入或输出变量间关系的前提下完成非线性建模[4，6]。神经元、神经网络都有非线性、非局域性、非定常性、非凸性和混沌等特性，与各种预测方法有机结合具有很好的发展前景，也给预测系统带来了新的方向与突破。建模算法和预测系统的稳定性、动态性等研究成为当今热点问题。目前在系统建模与预测中，应用最多的是静态的多层前向神经网络，这主要是因为这种网络具有通过学习逼近任意非线性映射的能力。利用静态的多层前向神经网络建立系统的输入/输出模型，本质上就是基于网络逼近能力，通过学习获知系统差分方程中的非线性函数。但在实际应用中，需要建模和预测的多为非线性动态系统，利用静态的多层前向神经网络必须事先给定模型的阶次，即预先确定系统的模型，这一点非常难做到。近来，有关基于动态网络的建模和预测的研究，代表了神经网络建模和预测新的发展方向。 2 BP神经网络模型 BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。如图1所示，BP神经网络包括以下单元：①处理单元(神经元)（图中用圆圈表示），即神经网络的基本组成部分。输入层的处理单元只是将输入值转入相邻的联接权重，隐层和输出层的处理单元将它们的输入值求和并根据转移函数计算输出值。②联接权重(图中如V,W)。它将神经网络中的处理单元联系起来，其值随各处理单元的联接程度而变化。③层。神经网络一般具有输入层x、隐层y和输出层o。④阈值。其值可为恒值或可变值，它可使网络能更自由地获取所要描述的函数关系。⑤转移函数F。它是将输入的数据转化为输出的处理单元，通常为非线性函数。
BP神经网络原理及应用 1 人工神经网络简介 1。1生物神经元模型 神经系统的基本构造是神经元（神经细胞)，它是 处理人体内各部分之间相 互信息传递的基本单元。据神经生物学家研究的结 果表明,人的大脑一般有1011 个神经元。每个神经 1010 元都由一个细胞体,一个连接其他神经元的轴突和一些向外伸出的其它较短分支--树突组成。轴突的功能是将本神经元的输出信号（兴奋)传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋.神经元细胞体将接受到的所有信号进行简单地处理后由轴突输出.神经元的树突与另外的神经元的神经末梢相连的部分称为突触....感谢聆听...
1.２人工神经元模型 神经网络是由许多相互连接的处理单元组成。这些处理单元通常线性排列成 组,称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关 联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量, 再传给下一层的神经元。目前人们提出的神经元模型已有很多,其中提出最早且影 响最大的是19４3年心理学家ＭcCullｏch和数学家Pitｔs在分析总结神经元基本特性的基础上首先提出的M—P模型，它是大多数神经网络模型的基础。
)()(1∑=-=n i j i ji j x w f t Y θ （1。1) 式(1。1)中，ｊ为神经元单元的偏置（阈值）,ji w 为连接权系数(对于激发状态,ji w 取正值,对于抑制状态，ji w 取负值）,n 为输入信号数目，j Y 为神经元 输出，t 为时间，f （）为输出变换函数，有时叫做激发或激励函数,往往采用0和1二值函数或Ｓ形函数. １．3人工神经网络的基本特性 人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构.每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法,每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：...感谢聆听... （１）对于每个节点存在一个状态变量xi ； （２）从节点i 至节点j ，存在一个连接权系数wji; (3）对于每个节点,存在一个阈值 j;
神经网络的应用及其发展 来源：辽宁工程技术大学作者：苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 (4) 机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。 (5) 卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。 (6) 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都
万方数据
万方数据
神经网络研究的现状 刊名： 甘肃科技纵横 英文刊名：SCIENTIFIC & TECHNICAL INFORMATION OF GANSU 年，卷(期)：2006,35(4) 本文读者也读过(10条) 1.卢海林.王鑫改进的BP神经网络在单桩竖向承载力预测中的应用[期刊论文]-长江大学学报（自然科学版）2005,2(7) 2.张国栋.彭刚.王钊.朱暾BP神经网络在单桩承载力预测中的应用[期刊论文]-三峡大学学报(自然科学版) 2003,25(1) 3.张永央.陈新朝复合载体夯扩桩单桩竖向极限承载力研究[期刊论文]-资源环境与工程2008,22(z1) 4.王昆明.蒋洪胜.姜千君.WANG Kun-ming.JIANG Hong-sheng.JIANG Qian-jun嵌岩桩竖向承载力预测的遗传BP神经网络模型研究[期刊论文]-山东建筑大学学报2008,23(6) 5.刘世奇.潘冬子.陈静曦.LIU Shi-qi.PAN Dong-zi.Chen Jing-xi小波分析在基桩浅部缺陷检测中的应用[期刊论文]-无损检测2005,27(4) 6.刘曦文.LIU Xi-wen BP神经网络在地基承载力预测中的应用[期刊论文]-山西建筑2010,36(30) 7.蒋洪胜.戚靖骅.万立华.JIANG Hong-sheng.QI Jing-hua.WAN Li-hua基于遗传-BP神经网络预测单桩竖向承载力[期刊论文]-山东建筑工程学院学报2006,21(3) 8.牟粼琳.李卓球.林佳木.MOU Linlin.LI Zhuoqiu.LIN Jiamu低应变桩基检测模拟信号的小波分析系统研究[期刊论文]-武汉理工大学学报(信息与管理工程版)2008,30(3) 9.潘冬子.程升明.唐颖栋.Pan Dongzi.Cheng Shengming.Tang Yingdong小波神经网络在基桩缺陷诊断分析中的应用[期刊论文]-振动、测试与诊断2006,26(3) 10.熊水金基于小波分析的低应变反射波法测桩信号处理中的小波基选取[期刊论文]-内蒙古石油化工2008,34(7)本文链接：https://www.doczj.com/doc/1f6326538.html,/Periodical_gskjzh200604024.aspx
一前言 让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。后文中，我们统一使用这种颜色来表达神经网络的结构。 图1神经网络结构图 设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定； 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别； 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。 除了从左到右的形式表达的结构图，还有一种常见的表达形式是从下到上来
表示一个神经网络。这时候，输入层在图的最下方。输出层则在图的最上方，如下图： 图2从下到上的神经网络结构图 二神经元 2.结构 神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。 下图是一个典型的神经元模型：包含有3个输入，1个输出，以及2个计算功能。 注意中间的箭头线。这些线称为“连接”。每个上有一个“权值”。
图3神经元模型 连接是神经元中最重要的东西。每一个连接上都有一个权重。 一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。 我们使用a来表示输入，用w来表示权值。一个表示连接的有向箭头可以这样理解： 在初端，传递的信号大小仍然是a，端中间有加权参数w，经过这个加权后的信号会变成a*w，因此在连接的末端，信号的大小就变成了a*w。 在其他绘图模型里，有向箭头可能表示的是值的不变传递。而在神经元模型里，每个有向箭头表示的是值的加权传递。 图4连接（connection） 如果我们将神经元图中的所有变量用符号表示，并且写出输出的计算公式的话，就是下图。