大数据集的快速SVM训练方法
Boyang LI, Qiangwei WANG and Jinglu HU
摘要：训练标准支持向量机需要O(n2)的时间复杂度和O(n3)的空间复杂度，其中n表示数据集的大小。因此支持向量机不能应用到大规模数据集中，因此需要减少数据集的规模，来解决数据集规模过大的问题。对于支持向量机，只有分类边界上的支持向量影响分类器性能。因此那些可能成为支持向量的样本需要被保留。本文提出一种边界检测技术用于保留潜在的支持向量。并且利用k均值聚类的方法对样本集进行聚类，并保留聚类中心，用以反映样本的分布状况。在不影响分类精度的前提下，本文提出的方法可以有效的降低训练集的规模，同时提高训练支持向量机的效率。
引言
支持向量机是运用核方法的成功范例。许多核方法的公式中需要用到多次求解二次规划的问题。如果训练集的样本数目为n,那么求解二次规划问题的时间复杂度为O(n3)，并且空间复杂度最少为O(n2)。因此对于训练支持向量机，最主要的问题就是如何减少计算的时间复杂度和空间复杂度。
为了减少支持向量机的时间和空间复杂度，许多改进算法得到了成功的应用，其中一种方法是通过贪心算法获得核矩阵的低阶近似值[1]，或者样本[2],或者矩阵的分解。然而分解后的核矩阵的维数依然很高，导致支持向量机的训练效率依然非常低下。
另外一种方法提高支持向量机的效率是分块算法。然而分块需要优化整个非零拉格朗日乘法器，但其产生的核矩阵仍然可能太大了，导致内存出现溢出状况。
第三种方法是避免二次规划问题，如中心支持向量机算法[5]，规模化的方法[6]，拉格朗日支持向量机算法（LSVM）[7]。这类算法对于线性具有非常好的性能，然而，对于非线性核，但它仍然需要大量的矩阵运算。
另外一种算法是在训练支持向量机之前减少训练集规模。本文将深入讨论这种更加直观并且从根本上解决问题的方法。Pavlov[8]和Collobert[9] 等人提出了利用那个改进的基于神经网络的阈值选择方法用以减少支持向量的规模。Lee和Mangasarian[10]等人提出了RSVM算法，RSVM利用随机获取的一个训练集的子集，用以代替原训练集。
这种方法的基本问题是如何检测训练集中不相关的样本。这一类算法都可以减少训练集的规模，但是仍然有许多与分类不相关的非支持向量被保留，这样严重的限制了训练SVM分类器的效率。
因此需要提出一种更加行之有效的相关样本保留算法，用以检测潜在的支持向量。本文提出一种边界检测技术，用以减少原支持向量机的训练集规模。在数字图像处理，边缘检测是一种减少的数据量和过滤掉无用信息技术，同时保留了重要的结构特性。这种方法也可以应用于缩减数据的过程中。因此，边缘检测技术可以引入到快速发展的SVM训练算法中用以保持分类边界附近的支持向量稳定。聚类精度并不重要，因此本文采用K-means聚类算法。重建后的训练集由边缘点和聚类中心组成。两个参数用来调整边缘检测的精度和聚类数据。由于该方法关注于聚类边缘的样本，支持向量被极大的减少了。
本文的其余部分安排如下：下一节提供了一个介绍SVM分类器。然后，第3节边缘检测方法的基础上介绍了训练SVM过程中减少训练集。第4节提出了一个模拟实验，并给出实验结论。在最后一节给出总结。
2 SVM
SVM在许多实际应用，特别是在分类问题在显示其突出的能力。SVM的基本设计理念是最大化分类边界。支持向量机的基本目的是最大化分类超平面。由于现实应用中，许多问题都不是线性可分的，因此对于一个非线性可分问题，应该将其映射为线性可分问题。首先，将输入的向量映射到高维特征空间中，通过求解二次规划问题找到最优分类超平面，因此这个算法的空间复杂度最少是O(n2) 二元分类是最简单的分类模型，任何复杂的分类模型都建立在二维空间分类的基础上，所以我们首先
分析二分类问题。假定我们有一个分类训练集，用{Xi, Yi}表示。训练集被分类A.B两个分类类别，其对应的分类标签为+1，-1。两个边界类之间的距离被定义为分类边界。很显然，最大化分类边界可以优化分类器的分类能力。在训练数据是不可分的情况下，我们应该尽量减少分离的错误，同时最大化分类边缘。只有在分类边界上的决定分类最有超平面的样本才被称作支持向量。支持向量的数目越小，训练分类器所需要的二次规划的运算次数也越小，因此训练分类器的计算时间消耗越小。
3 SVM的问题
由于支持向量机需要求解多次二次规划问题，训练时间复杂度和空间复杂度分别为O(n3)和O(n2),其中n表示训练样本的数目。因此，减少整个训练集的大小可以有效的提高训练效率。由于支持向量机的训练集中，有效的样本只有支持向量，因此在训练分类器之前，提取支持向量可以有效的提高训练分类器的时间和空间效率。
然而，抽样减少训练数据集会影响分类器的性能。在支持向量机中，分类边界是由支持向量决定的。为了保证分类效率，应该有效的保存那些最有可能成为支持向量的样本。
假设，整个数据集可以作为一个图像表示，每个类都有一个特定的颜色，然后分类决策面可以被认为在图像边缘。根据SVM理论，在分类边界附近的样本，成为支持向量的可能性更高。因此，接近决策边界的样本更有可能在检测点附近的边缘。
4 通过边界检测技术减小分类边界规模
边界检测技术是在模式识别和图像处理领域中广泛应用的一种技术。边界点监测在图像处理中是一种最根本的问题。同样，查找决策边界的样本在文本分类领域中同样非常重要。这些在边界的样本更有可能是支持向量，因此在压缩支持向量机的训练集的过程中，应该要保留这些样本。
在图像处理过程中，图像处理的目标在于在到图像中亮度变化非常大的点。在图像处理中，边缘检测技术的目的是确定在数字图像，图像亮度的急剧变化或更正式有间断点。边缘强度强对比（在强度跳转到下一个像素）[18]等领域。边缘检测大大减少了数据量，并保留重要的属性。
在分类问题，我们的目的是检测不同类别之间的急剧变化，捕捉周围边界的重要样本。边缘检测中的分类问题比在图像处理中简单。在图像亮度不连续的边缘检测可能面对如下问题：深入的连续性，在表面方向的连续性，在材料的正确关系的变化，并在场景照明的变化。然而，在分类问题，我们只需要考虑类标号的变化。
一个典型的边缘可能是例如块的红色和黄色块之间的边界。在图像处理中，我们需要扫描一个像素的相邻像素的亮度和色彩检测的急剧变化。在我们的边界点监测模型中，这个规则被简化成找到m个最近邻点。如图1所示，假设存在5个最近邻点，对于某个给定点p，如果它的一个边界点与其标号不同，那么这个点将被认为潜在的支持向量，将被保留。
在这种情况下，我们采用边界点监测技术去查找边界点，得到的缩小的数据集，将由最优分类超平面附近的样本组成。而远离分类边界的样本点将被删除。因此训练集的样本数目将大大减少，那些被过滤掉的样本点是那些基本不含有分类信息的，而那别被保留的样本点反映了这个数据的分布结构，尤其是反映了分类超平面信息。由于支持向量分布在分类超平面附近，通过边界检测技术而保留的样本点基本包含了支持向量，进而不至于影响分类效果。
有时候，仅仅用分类超平面附近的样本训练支持向量机将导致过学习现象。也就是说，仅仅采用边界检测得到的样本不能有效的反映原训练集的分布状况，严重影响分类器的分类精度。因此，我们需要利用聚类技术，对原训练集进行聚类，并保留聚类中心，加入压缩的训练集。K均值算法是一种将一个训练集聚类成k组数据的聚类算法。这种聚类算法通过计算样本点到聚类中心的距离来进行聚类.
本文算法通过边界检测技术和K均值聚类算法重新构建训练集，通过压缩原训练集的大小，达到减少训练时间的目的。算法主要包括下面4个步骤：
步骤1：确定最近邻数目m
步骤2：通过边界检测技术，查找训练集的边界点
（1）查找某个样本点的m个最近邻居。
（2）检查最近邻居的样本类别，如果和该样本点属于同一个类别，那么这个样本点将被删除，如果不是属于同一个类别，这个样本点将被保存
步骤3：确定K均值聚类的K值，并且对整个训练集进行K均值聚类。
步骤4：重建训练集。利用K均值聚类得到的聚类中心和通过边界检测得到的样本重建训练集。
从图2中可以看出，本文提出方法减小了数据集规模，让提高了支持向量机效率。
5 模拟实验
首先，我们的实验是在4X4的方格数据，这种数据经常用于衡量大规模训练集的支持向量机。原始的训练集和测试集都是随机产生的。我们分别采用1000个训练集进行训练和1000测试集对支持向量机进行测试。支持向量机所用的参数都是缺省的数据。因为我们需要用到非线性核函数，因此我们采用RBF作为核函数。在本文中，我们采用SVM-KM的工具箱（Matlab自带的工具箱）。
在实验中，传统的支持向量机方法也将被采用，用以比较本文提出的新的方法。训练数据集和训练结果在图3中将被展示出来。图3（a）是原始数据，图3（b）是采用本文给出方法重构的数据集，图3（c）是测试数据和分类边界。图3（d）重构数据的分类边界。从图3（c）和图3（d）我们可以看出，本文所给出的方法基本上维持了相同的分类边界。
不同大小规模的原始训练数据在图4中可以看到。从图中可以看出，本文提出的支持向量机的训练集的重构方法在分类精度和传统支持向量机的分类精度基本一致。另外，本文给出的方法的支持向量的数据和传统支持向量机产生的支持向量的数据基本差不多。但是由于去除了冗余的远离分类超平面的样本，本文给出的算法具有更少的训练样本数据，更快的训练时间。特别应该指出的是，如果最近邻样本的的数目选得太少，支持向量机的分类精度会降低。因此，在这个训练集之中，最近邻样本数据是8.
实际数据集
我们同样从UCI数据集中提取显示生活中的数据进行模拟实验。Iris数据集和forest数据集用于测试我们提出的方法。
Irish数据集手机了3种150个irish花朵，这个数据集有3个参数。75个样本被用于训练支持向量机分类器，而剩余的75个训练集用于测试。在比较实验中，我们用RTS的快速支持向量机和本文提出的支持向量方法进行对比。表1是一个实验IRIS的实验结构。表格的第一行显示本文的提出方法在精度方面和传统支持向量机差不多。剩下的几行比较了RTS支持向量机和本文提出支持向量机算法的各项性能指标。第一列显示了分类的成功率，第二列显示了保留支持向量的数目。换而言之，就是训练集的大小规模。最后一列显示了整个训练支持向量机的训练时间消耗。在本文提出的方法中，训练消耗时间包括压缩训练集的时间和训练支持向量机的时间。从表1可以看出，本文提出算法在各项指标上均优于传统的支持向量机和IRIS方法。同时，本文提出算法在分类器的分类精度方面优于其他两种算法。
另外，我们在一个非常大的训练数据集forest上测试了我们的分类器，这个训练集包含100000个训练样本，这些样本被分为两组，一组是训练集，而另外一组是测试集。1.2.5类被用于分类。分类结果可以在表3中看到。对于大数据集，本文提出的快速SVM训练，用本文提出的边界检测方法依旧取得了最好的效果，不管是在分类精度还是在分类时间方面。另外，用于构建压缩数据集的时间比训练支持向量机的时间消耗要大许多。然而，对于真个训练时间，本文提出的方法，比经典SVM和RTS 快速支持向量机要好。
5结论
本文提出了一种改进的SVM算法，用于克服支持向量机难以有效训练大规模训练集的问题。在支持向量机理论中，支持向量是接近分类超平面的样本。因此，本文提出了一种边界检测技术，用于检测分类超平面的边界，用于进一步压缩数据集，保留那些最有可能是支持向量的样本。为了更好的描述原样
本集的分布状况，本文提出了利用K均值聚类算法获得聚类中心。这些聚类中心也将被包保留下来，用于重新构建一个小规模训练集。在模拟实验阶段，我们将本文提出算法同传统的支持向量机，RTS快速支持向量机进行比较。从结论图表中，在分类成功率，训练集规模和计算时间消耗方面，本文提出算法均有更为优越的表现。
实验算法BP神经网络实验 【实验名称】 BP神经网络实验 【实验要求】 掌握BP神经网络模型应用过程，根据模型要求进行数据预处理，建模，评价与应用； 【背景描述】 神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。其基本组成单元是感知器神经元。 【知识准备】 了解BP神经网络模型的使用场景，数据标准。掌握Python/TensorFlow数据处理一般方法。了解keras神经网络模型搭建，训练以及应用方法 【实验设备】 Windows或Linux操作系统的计算机。部署TensorFlow，Python。本实验提供centos6.8环境。 【实验说明】 采用UCI机器学习库中的wine数据集作为算法数据，把数据集随机划分为训练集和测试集，分别对模型进行训练和测试。 【实验环境】 Pyrhon3.X，实验在命令行python中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。 【实验步骤】 第一步：启动python： 1
命令行中键入python。 第二步：导入用到的包，并读取数据： (1).导入所需第三方包 import pandas as pd import numpy as np from keras.models import Sequential from https://www.doczj.com/doc/cd13625585.html,yers import Dense import keras (2).导入数据源,数据源地址:/opt/algorithm/BPNet/wine.txt df_wine = pd.read_csv("/opt/algorithm/BPNet/wine.txt", header=None).sample(frac=1) (3).查看数据 df_wine.head() 1
1. 打开MATLAB，在命令行输入nntool，将出现如下界面： 图1 神经网络工具箱主界面 其中最主要的分为6个部分：第1部分中显示的是系统的输入数据；第2部分是系统的期望输出；第3部分是网络的计算输出；第4部分是网络的误差，即2 和3之间的差异；第5部分呈现的是已经建立的神经网络实例；第6部分的两个按钮分别负责数据的导入和网络模型的建立。 2. 点击“Import”按钮，分别导入输入数据与目标输出数据（数据可从工作区导入，也可从文件导入）： 图2 导入输入数据集
图3 导入期望输出数据集 导入数据后主界面的情况如下： 图4 导入数据后的情况 重要说明：神经网络的数据是以列为基本单位的，即输入与输出数据的列数必须相同，否则将报错！如果原先数据是以行为单位组织的话，可以先在MATLAB 中实现转置然后再导入，即B = A’。
3.现在需要的数据已经有了，下一步就是建立一个神经网络模型对数据集进行学习。以下步骤以BP网络为例，首先点击“New”按钮，出现如下界面： 几个重要部分已在上图中框出：1处用于定义该神经网络的名称；2处用于选择神经网络的类型；3处用于选择网络的输入数据；4处用于确定网络的期望输出数据；5、6、7处分别对神经网络的主要机制函数进行设置；8处设置网络层数；9处用于选择各网络层（需要说明的是：第1层指的是隐含层而不是输入层），从而在10和11处可以对该层的神经元个数和传递函数进行设置；12处按钮可以用于查看当前所设置的神经网络的结构图（下附图）；点击13处按钮即可生成对应的神经网络模型。前面只是简单地介绍了各个部分的作用，具体参数应该如何设置就只有各位自行去学习相关的文献了，此处不再多言。
CDA数据分析研究院出品，转载需授权 深度学习是机器学习的一个子领域，研究的算法灵感来自于大脑的结构和功能，称为人工神经网络。 如果你现在刚刚开始进入深度学习领域，或者你曾经有过一些神经网络的经验，你可能会感到困惑。因为我知道我刚开始的时候有很多的困惑，我的许多同事和朋友也是这样。因为他们在20世纪90年代和21世纪初就已经学习和使用神经网络了。 该领域的领导者和专家对深度学习的观点都有自己的见解，这些具体而细微的观点为深度学习的内容提供了很多依据。 在这篇文章中，您将通过听取该领域的一系列专家和领导者的意见，来了解什么是深度学习以及它的内容。 来让我们一探究竟吧。 深度学习是一种大型的神经网络 Coursera的Andrew Ng和百度研究的首席科学家正式创立了Google Brain，最终导致了大量Google服务中的深度学习技术的产品化。 他已经说了很多关于深度学习的内容并且也写了很多，这是一个很好的开始。 在深度学习的早期讨论中，Andrew描述了传统人工神经网络背景下的深度学习。在2013年的题为“ 深度学习，自学习和无监督特征学习”的演讲中“他将深度学习的理念描述为： 这是我在大脑中模拟的对深度学习的希望： - 使学习算法更好，更容易使用。 - 在机器学习和人工智能方面取得革命性进展。 我相信这是我们迈向真正人工智能的最好机会
后来他的评论变得更加细致入微了。 Andrew认为的深度学习的核心是我们现在拥有足够快的计算机和足够多的数据来实际训练大型神经网络。在2015年ExtractConf大会上，当他的题目“科学家应该了解深度学习的数据”讨论到为什么现在是深度学习起飞的时候，他评论道： 我们现在拥有的非常大的神经网络......以及我们可以访问的大量数据 他还评论了一个重要的观点，那就是一切都与规模有关。当我们构建更大的神经网络并用越来越多的数据训练它们时，它们的性能会不断提高。这通常与其他在性能上达到稳定水平的机器学习技术不同。 对于大多数旧时代的学习算法来说......性能将达到稳定水平。......深度学习......是第一类算法......是可以扩展的。...当你给它们提供更多的数据时，它的性能会不断提高 他在幻灯片中提供了一个漂亮的卡通片： 最后，他清楚地指出，我们在实践中看到的深度学习的好处来自有监督的学习。从2015年的ExtractConf演讲中，他评论道： 如今的深度学习几乎所有价值都是通过有监督的学习或从有标记的数据中学习 在2014年的早些时候，在接受斯坦福大学的题为“深度学习”的演讲时，他也发出了类似的评论。 深度学习疯狂发展的一个原因是它非常擅长监督学习
%%%清除空间 clc clear all ; close all ; %%%训练数据预测数据提取以及归一化 %%%下载四类数据 load data1 c1 load data2 c2 load data3 c3 load data4 c4 %%%%四个特征信号矩阵合成一个矩阵data ( 1:500 , : ) = data1 ( 1:500 , :) ; data ( 501:1000 , : ) = data2 ( 1:500 , : ) ; data ( 1001:1500 , : ) = data3 ( 1:500 , : ) ; data ( 1501:2000 , : ) = data4 ( 1:500 , : ) ; %%%%%%从1到2000间的随机排序 k = rand ( 1 , 2000 ) ; [ m , n ] = sort ( k ) ; %%m为数值，n为标号
%%%%%%%%%%%输入输出数据 input = data ( : , 2:25 ) ; output1 = data ( : , 1) ; %%%%%%把输出从1维变到4维 for i = 1 : 1 :2000 switch output1( i ) case 1 output( i , :) = [ 1 0 0 0 ] ; case 2 output( i , :) = [ 0 1 0 0 ] ; case 3 output( i , :) = [ 0 0 1 0 ] ; case 4 output( i , :) = [ 0 0 0 1 ] ; end end %%%%随机抽取1500个样本作为训练样本，500个样本作为预测样本 input_train = input ( n( 1:1500 , : ) )’ ; output_train = output ( n( 1:1500 , : ) )’ ; input_test = input ( n( 1501:2000 , : ) )’ ;
一个 BP 神经网络的 matlab 程序把训练数据拷入, load 的 *.m文件中 , 文件中部 load 的 *.m为测试数据 save 存盘的文件为测试数据的 bp 预测值 , 该程序可以扩充 n 个输入 ,n 个输出 , 很容易。 代码: load osforce2.m; a=osforce2'; load osgap2.m; b=osgap2'; [nb,minb,maxb,na,mina,maxa]=premnmx(b,a; net=init(net; net=newff([-1 1],[10,6,1],{'tansig','logsig','purelin'},'traingdm'; net.trainParam.show = 50; net.trainParam.lr = 0.05; net.trainParam.epochs = 10000; net.trainParam.goal = 1e-5; net=train(net,nb,na; nc= sim(net,nb; c=postmnmx(nc,mina,maxa; load osgap2.m;
test=osgap2'; [ntest,mintest,maxtest]=premnmx(test; nnetout= sim(net,ntest; netout=postmnmx(nnetout,mina,maxa; load osforce2.m; real=osforce2'; me=mean(real-netout st=std(netout-real save d:\wzy.txt c -ASCII; load spssyce.m; spss=spssyce'; sts=std(real-spss
在学习神经网络之前，我们需要对神经网络底层先做一个基本的了解。我们将在本节介绍感知机、反向传播算法以及多种梯度下降法以给大家一个全面的认识。 一、感知机 数字感知机的本质是从数据集中选取一个样本（example），并将其展示给算法，然后让算法判断“是”或“不是”。一般而言，把单个特征表示为xi，其中i是整数。所有特征的集合表示为，表示一个向量： ， 类似地，每个特征的权重表示为其中对应于与该权重关联的特征 的下标，所有权重可统一表示为一个向量: 这里有一个缺少的部分是是否激活神经元的阈值。一旦加权和超过某个阈值，感知机就输出1，否则输出0。我们可以使用一个简单的阶跃函数（在图5-2中标记为“激活函数”）来表示这个阈值。
一般而言我们还需要给上面的阈值表达式添加一个偏置项以确保神经元对全0的输入具有弹性，否则网络在输入全为0的情况下输出仍然为0。 注：所有神经网络的基本单位都是神经元，基本感知机是广义神经元的一个特例，从现在开始，我们将感知机称为一个神经元。 二、反向传播算法 2.1 代价函数 很多数据值之间的关系不是线性的，也没有好的线性回归或线性方程能够描述这些关系。许多数据集不能用直线或平面来线性分割。比如下图中左图为线性可分的数据，而右图为线性不可分的数据：
在这个线性可分数据集上对两类点做切分得到的误差可以收敛于0，而对于线性不可分的数据点集，我们无法做出一条直线使得两类点被完美分开，因此我们任意做一条分割线，可以认为在这里误差不为0，因此我们需要一个衡量误差的函数，通常称之为代价函数： 而我们训练神经网络（感知机）的目标是最小化所有输入样本数据的代价函数 2.2 反向传播 权重通过下一层的权重（）和（）来影响误差，因此我们需要一种方法来计算对误差的贡献，这个方法就是反向传播。 下图中展示的是一个全连接网络，图中没有展示出所有的连接，在全连接网络中，每个输入元素都与下一层的各个神经元相连，每个连接都有相应的权
神经网络算法详解 第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在https://www.doczj.com/doc/cd13625585.html,/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集： 有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。 一种解决方法是用已有的数据训练一个神经网络用作分类器。 如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。 第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示： 图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为：
图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ] 则神经元的输出可以表示为向量相乘的形式： 若神经元的净激活net为正，称该神经元处于激活状态或兴奋状态(fire)，若净激活net 为负，则称神经元处于抑制状态。 图1中的这种“阈值加权和”的神经元模型称为M-P模型 ( McCulloch-Pitts Model )，也称为神经网络的一个处理单元( PE, Processing Element )。 2. 常用激活函数 激活函数的选择是构建神经网络过程中的重要环节，下面简要介绍常用的激活函数。 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Function )
bp神经网络及matlab实现 分类：算法学习2012-06-20 20:56 66399人阅读评论(28) 收藏举报网络matlab算法functionnetworkinput 本文主要内容包括：(1) 介绍神经网络基本原理，(2) https://www.doczj.com/doc/cd13625585.html,实现前向神经网络的方法，(3) Matlab实现前向神经网络的方法。 第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在https://www.doczj.com/doc/cd13625585.html,/wiki/Iris_flower_data_set 找到。这里简要介绍一下Iris数据集： 有一批Iris花，已知这批Iris花可分为3个品种，现需要对其进行分类。不同品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。我们现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。 一种解决方法是用已有的数据训练一个神经网络用作分类器。 如果你只想用C#或Matlab快速实现神经网络来解决你手头上的问题，或者已经了解神经网络基本原理，请直接跳到第二节——神经网络实现。 第一节、神经网络基本原理 1. 人工神经元( Artificial Neuron )模型 人工神经元是神经网络的基本元素，其原理可以用下图表示：
图1. 人工神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中yi表示神经元i的输出，函数f称为激活函数 ( Activation Function )或转移函数( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个输入x0的权重wi0，则上面的式子可以简化为： 若用X表示输入向量，用W表示权重向量，即： X = [ x0 , x1 , x2 , ....... , xn ]
本技术公开了一种LSTM神经网络训练方法及装置，本技术的目的在于提供一种基于文本感知聚焦机制的长短时记忆网络训练方法。该技术将人类感知事物时对关键信息形成聚焦，给予更多注意力权重的机理用于神经网络模型训练；将词向量模式应用于文本中实体关系、事件等关键信息，计算实体向量和事件向量，对训练数据进行实体增强、关系增强和事件增强，在不改变网络结构的前提下，增加训练数据中关键信息的比重，从而获得更加适用于训练数据的网络参数，提升LSTM神经网络性能。 权利要求书 1.一种LSTM神经网络训练方法，包括由无标注文本生成的训练数据，其特征在于：将无标注文本中的关键词处理后根据关键词对训练数据进行加权，提升训练数据对特征信息的携带能力，将加权后的训练数据用于LSTM神经网络训练。 2.根据权利要求1所述的一种LSTM神经网络训练方法，其特征在于：所述由无标注文本生成的训练数据，将无标注文本中的关键词处理后根据关键词对训练数据进行加权，提升训练数据对特征信息的携带能力，将加权后的训练数据用于LSTM神经网络训练的方法包括以下步骤： S1、将无标注文本作为训练文本，对训练文本进行预处理；
S2、对预处理后的训练文本进行识别，生成训练文本的关键词； S3、对训练文本中的词语进行编码，得到高维空间连续词向量，对关键词进行同样的 编码得到关键词向量； S4、将关键词向量添加至对应的词向量对词向量进行加权得到最终的训练数据； S5、将最终的训练数据输入LSTM神经网络进行训练。 3.根据权利要求2所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S1中对训练文本进行预处理的方法包括清洗、分词、去停用词中的至少一种。 4.根据权利要求2所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S2中的关键词包括实体关键词、关系关键词和事件关键词。 5.根据权利要求4所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S3中的关键词线路包括分别与实体关键词、关系关键词和事件关键词对应的实体向量、关系向量和事件向量。 6.根据权利要求5所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S4中将关键词向量添加至对应的词向量对词向量进行加权包括实体增强加权、关系增强加权和事件增强加权。 7.根据权利要求2所述的一种LSTM神经网络训练方法，其特征在于：所述步骤S3中对训练文本中的词语进行编码和对关键词进行同样的编码的编码方法为先进行one-hot编码再进行word2vector词向量转化。 8.根据权利要求2所述的一种LSTM神经网络训练方法，其特征在于：所述LSTM神经网络进行训练的方法包括前向传播和沿时反向传播算法。
神经网络实学习例子 1通过神经网络滤波和信号处理，传统的sigmoid函数具有全局逼近能力，而径向基rbf函数则具有更好的局部逼近能力，采用完全正交的rbf径向基函 数作为激励函数，具有更大的优越性，这就是小波神经网络，对细节逼近能力 更强。 BP网络的特点①网络实质上实现了一个从输入到输出的映射功能，而数学 理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解 内部机制复杂的问题。我们无需建立模型，或了解其内部过程，只需输入，获 得输出。只要BPNN结构优秀，一般20个输入函数以下的问题都能在50000次 的学习以内收敛到最低误差附近。而且理论上，一个三层的神经网络，能够以 任意精度逼近给定的函数，这是非常诱人的期望；②网络能通过学习带正确答 案的实例集自动提取"合理的"求解规则，即具有自学习能力；③网络具有一定 的推广、概括能力。bp主要应用回归预测(可以进行拟合，数据处理分析，事 物预测，控制等)、分类识别(进行类型划分，模式识别等)，在后面的学习中，都将给出实例程序。但无论那种网络，什么方法，解决问题的精确度都无法打 到100%的，但并不影响其使用，因为现实中很多复杂的问题，精确的解释是毫 无意义的，有意义的解析必定会损失精度。BP注意问题1、BP算法的学习速度 很慢，其原因主要有：a由于BP算法本质上为梯度下降法，而它所要优化的目 标函数又非常复杂，因此，必然会出现"锯齿形现象"，这使得BP算法低效； 结论4：由上表可以看出，后者的初始权值比较合适些，因此训练的时间 变短， 误差收敛速度明显快些。因此初始权值的选取对于一个网络的训练是很重 要的。 1.4，用最基本的BP算法来训练BP神经网络时，学习率、均方 误差、权值、阈值的设置都对网络的训练均有影响。综合选取合理的值， 将有
基于神经网络的网络入侵检测 本章从人工神经网络的角度出发，对基于神经网络的网络入侵检测系统展开研究。在尝试用不同的网络结构训练和测试神经网络后，引入dropout层并给出了一种效果较好的网络结构。基于该网络结构，对目前的神经网络训练算法进行了改进和优化，从而有效避免了训练时出现的过拟合问题，提升了训练效率。 4.1 BP神经网络相关理论 本章从学习算法与网络结构相结合的角度出发，神经网络包括单层前向网络、多层前向网络、反馈神经网络、随机神经网络、竞争神经网络等多种类型。构造人工神经网络模型时主要考虑神经元的特征、网络的拓补结构以及学习规则等。本文选择反向传播神经网络(Back Propagation Neural Network, BPNN)作为基本网络模型。 BP神经网络是一种通过误差逆传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络模型形式之一。网络中每一层的节点都只接收上一层的输出，而每一层节点的输出都只影响下一层的输入，同层节点之间没有交互，相邻两层节点之间均为全连接模式。BP神经网络在结构上分为输入层、隐含层与输出层三部分，其拓扑结构如图4-1所示。 图4-1 BP神经网络拓扑结构 Figure 4-1 Topological Structure of BP Neural Network
这里隐含层既可以是一层也可以是多层，数据在输入后由隐含层传递到输出层，通过各层的处理最终得到输出结果。 传统的BP网络算法可分为两个过程:神经网络中信号的前向传播和误差函数的反向传播。算法在执行时会不断调整网络中的权值和偏置，计算输出结果与期望结果之间的误差，当误差达到预先设定的值后，算法就会结束。 (1)前向传播 隐含层第J个节点的输出通过式(4-1)来计算: (4-1) 式中ωij代表输入层到隐含层的权重，αj代表输入层到隐含层的偏置，n 为输入层的节点个数，f(.)为激活函数。输出层第k个节点的输出通过式(4-2)来计算: (4-2) 式中ωjk代表隐含层到输出层的权重，bk代表隐含层到输出层的偏置，l为隐含层的结点个数。 根据实际输出与期望输出来计算误差，见式(4-3)。 (4-3) 式中(Yk-Ok)用ek来表示，Yk代表期望输出，m为输出层的结点个数。 当E不满足要求时，就会进入反向传播阶段。 (2)反向传播 反向传播是从输出到输入的传播过程。从式((4-1)至式(4-3 )中，可以发现网络误差E是与各层权值和偏置有关的函数，所以如果想减小误差，需要对权值和偏置进行调整。一般采取梯度下降法反向计算每层的权值增量，令权值的变化量同误差的负梯度方向成正相关，调整的原则是令误差沿负梯度方向不断减少。权值的更新公式见式(4-4)，偏置的更新公式见式(4-5)。
1. 人工神经网络（Artificial Neural Networks，ANNs），也简称为神经网络（NNs），是模拟（生物神经网络）进行信息处理的一种数学模型，以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现一些特定的功能。 2. 生物神经元主要由（细胞体轴突），（树突），（轴突），（突触(Synapse，又称神经键）组成。 3. 人工神经元模型可以看成是由3种基本元素组成（一个连接），（一个加法器），（一个激活函数）。 4. 学习算法是指针对学习问题的明确规则，学习类型是由参数变化发生的形式决定的，不同的学习算法对神经元的权值调整的表达式是不同的。人工神经网络常用的算法有（Hebb学习算法），（学习算法），（随机学习算法），（竞争学习算法）。 5. 从一个3输入、2输出的系统中获取了10条历史数据，如表所示。另外，最后两条数据是系统的输入，不知道其对应的输出。请使用SQl Server 2008的神经网络功能预测最后两条数据的输出。 首先，打开SQL SERVER 2005数据库软件，然后在界面上右键单击树形图中的“数据库”标签，在弹出的快捷菜单中选择“新建数据库”命令，并命名数据库的名称为YxqDatabase，单击确定，如下图所示。 然后，在新建的数据库YxqDatabas中，根据题目要求新建表，相应的表属性见下图所示。
在新建的表完成之后，默认的数据表名称为Table_1,并打开表，根据题目提供的数据在表中输入相应的数据如下图所示。 在测试数据被输入到数据库中之后，打开SQL Server Business Intelligence Development Studio命令，并在文件中新建项目，项目名称命名为MyData,并单击确定，进入下一步，如下图所示。 在进入的新页面上，新建一个数据源，并在出现的新窗口中单击下一步，并选择新建按钮，就会出 现连接管理器窗口，如右图所示。在打开的界面中，在“提供程序”下拉列表框中选择Microsoft OLE DB Provider for SQL Server选项，选择完成后，单击确定，进入下一界面，至此，完成了数据连接的工作。在建立完数据连接之后，需要建立数据源视图，右键单击数据源视图，并选中“新建数据源视图”命令，在数据库YxqDatabase下的数据表Table_1中，选中这个数据表，然后单击下一步，并更改数据源视图的名称为YxqView,单击完成，这样就建好了数据源视图。如下图所示。
clear all clc pp1=xlsread('inputBP1.xls'); %将名为testdata1的excel表格中的数据导入 tt1=xlsread('outputBP1.xls'); %将名为testdata2的excel表格中的数据导入 pp2=xlsread('inputBP2.xls'); %将名为testdata1的excel表格中的数据导入 tt2=xlsread('outputBP2.xls'); %将名为testdata2的excel表格中的数据导入 %其中p1 t1 分别为输入样本和与之一一对应的输出样本 p1=[pp1,pp2]; t1=[tt1,tt2]; clc p=p1;t=t1; [pn,minp,maxp,tn,mint,maxt]=premnmx(p,t) %对样本进行归一化 %设置网络隐单元的神经元数 n=5;%隐层节点数 %建立相应的BP网络 net=newff(minmax(pn),[n,3],{'tansig','tansig'},'trainrp');%红色字体为输出层节点数%和训练函数，其中训练函数可以根据训练效果的不同而更换，备选的函数见下页 inputWeights=net.IW{1,1}; inputbias=net.b{1}; layerWeights=net.IW{1,1}; layerbias=net.b{2}; pause clc % 训练网络 net.trainParam.show=50;%每50步显示一次误差 net.trainParam.lr=0.05;%训练步长 net.trainParam.mc=0.9; net.trainParam.epochs=50000;%最大训练次数 net.trainParam.goal=1e-3;%设定的期望误差，一般为0.001，可以修改 pause clc %调用TRAINSCG算法训练BP网络 net=train(net,pn,tn);%训练函数 %对BP网络进行仿真 A=sim(net,pn); E=A-tn M=sse(E) N=mse(E) echo off save mynet net%保存训练好的网络以备以后循环使用
SPSS神经网络是对SPSS&nbs sp;Statistics Base以及附加模块中传统统计方法的一个补充。您可以使用SPSS神经网络发现数据中间的新关系，然后用传 统的统计技术检验其显著性。 SPSS神经网络可以仅仅作为客户端软件安装，但是为了得到更好的性能和扩展性，它也可以与SPSS Statistics Base Sever一起作为Client/Server安装。 为什么要使用神经网络？ 神经网络是一个非线性的数据建模工具集合，它包括输入层和输出层、一个或者多个隐藏层。神经元之间的连接赋予相关的权重，训练算法在迭代过程中不断调整这些权重，从而使得预测误差最小化并给出预测精度。您可以设置网络的训练条件，从而控制训练的停止条件以及网络结构，或者让算法自动选择最优的网络结构。在许多领域，您都可以将SPSS神经网络和其他的统计分析过程结合起来，获得更深入、清晰的洞察力。例如，在市场研究领域，你可以建立客户档案发现客户的偏好；在数据库营销领域，您可以进行客户细分，优化市场活动的响应。 在金融分析方面，您可以使用SPSS神经网络分析申请人的信用状况，探测可 能的欺诈。在运营分析方面，您也可以使用这个新工具管理现金流、优化供应链。此外，在科学和医疗方面的应用包括预测医疗费用、医疗结果分析、预测住院时间等。 从始至终控制整个过程 SPSS神经网络，包括多层感知器（MLP）或者径向基函数（RBF）两种方法。这两种方法都是有监督的学习技术－也就是说，他们根据输入的数据映射出关系。这两种方法都采用前馈结构，意思是数据从一个方向进入，通过输入节点、隐藏层最后进入输出节点。你对过程的选择受到输入数据的类型和网络的复杂程度的影响。此外，多层感知器可以发现更复杂的关系，径向基函数的速度更快。MLP 可以发现更复杂的关系，而通常来说RBF更快。 使用这两种方法的任何一种，您可以将数据拆分成训练集、测试集、验证集。训练集用来估计网络参数。测试集用来防止过度训练。验证样本用来单独评估最终的网络，它将应用于整个数据集和新数据。 您设置的因变量可以是连续型、分类型或者两者的组合。如果因变量是连续型，神经网络预测的连续值是近似于输入数据的某个连续函数的“真实”值。如果因变量是分类型，神经网络会根据输入数据，将记录划分为最适合的类别。 您可以通过选择分析中拆分数据集，网络结构的排序，计算方法等调整神经网络程序。最后，您可以通过图形或者表格，在当前活动的数据集中保存可选的临时变量，并且将模型导出成XML格式对新的数据进行打分。 特性: 多层感知器(MLP) MLP通过多层感知器来拟和神经网络。多层感知器是一个前馈式有监督的结构。
作业8 编程题实验报告 （一）实验内容： 实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试，观察层数增加和隐层数增加是否会造成过拟合。 （二）实验原理： 1）前向传播： 以单隐层神经网络为例（三层神经网络），则对于第k 个输出节点，输出结果为： 在实验中采用的激励函数为logistic sigmoid function 。 考虑每一层节点中的偏差项，所以，在上式中： )() (00,1l l j b w x == 在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。 2）BP 算法： a) 根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数； b) 给每层加权系数，随机赋值； c) 由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均 方误差； d) 更新每层加权系数： 其中，????????-=∑+j i ji l i l i i i l i a h w a h d y 其它层，最后一层)('(),(')()1()()(δδ e) 重复c)，d ）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束， 得到神经网络的各层加权系数。 （三）实验数据及程序： 1）实验数据处理： a) 训练样本输入节点数据：在实验中，所用数据中自变量x 的取值，为0—1的25个随机值，为了后续实 验结果的分析，将其从小到大排序，并加上偏差项，神经网络的输出节点最终训练结果，即为训练得到的回归结果； b) 训练样本标签值：在实验中，采用的激励函数为logistic sigmoid function ，其值域为[0,1],所以，在 神经网络训练前，需要对训练样本标签值进行归一化处理；