ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００８，４４（２７）
１引言
模式分类和回归分析是知识发现中的重要内容，也是处理其它问题的核心。虽然分类和回归具有许多不同的研究内容，但它们之间却具有许多相同之处，简单地说，它们都是研究输入输出变量之间的关系问题，分类的输出是离散的类别值，而回归的输出是连续的数值。用于分类和回归的方法很多，如传统的统计学和神经网络方法和最近刚刚兴起的支持向量机等［１］。
现有机器学习方法的重要理论基础之一是统计学。当人们面对数据而又缺乏理论模型时，统计分析方法是最先采用的方法。然而传统的统计方法只有在样本数量趋于无穷大时才能有理论上的保证，现有学习方法也多是基于此假设。而在实际应用中样本数目通常都是有限的，甚至是小样本，对此基于大数定律的传统统计方法难以取得理想的效果［２］。
ＡＮＮ（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，人工神经网络）［３］等经验非线性方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。同时设计者在设计过程中利用了自己的经验和先验知识，取得了许多成功的应用。但是在实际工程应用中，有很多数据建模问题属于数学中的小样本、不适定问题，而人工神经网络等方法忽略了这一特点，将其作为无穷样本、适定问题来求解。所以神经网络具有局部极小点、过学习以及结构和类型的选择过分依赖于经验等固有的缺陷，降低了其应用和发展的效果。
作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以通过一个线性超平面实现线性划分（或回归），而与特征空间的线性划分（或回归）相对应的却是样本空间的非线性分类（或回归）。但是采用升维的方法，即向高维空间做映射，一般只会增加计算的复杂性，甚至会引起“维数灾难”。
ＳＶＭ通过核函数实现到高维空间的非线性映射，所以适合于解决本质上非线性的分类、回归等问题。同时，ＳＶＭ方法巧妙地解决了如何求得非线性映射和解决算法的复杂性这两个难题：由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式；由于是在高维特征空间中应用线性学习机的方法，所以与线性模型相比几乎不增加计算的复杂性，这在某种程度上避免了“维数灾难”［２］。
近年来ＳＶＭ在许多领域的分类和回归方面起了越来越重要的作用，显示了它的优势，成为继模式识别和神经网络研究之后机器学习领域的一个新颖而有发展前途的研究方向。随着研究的进一步深入，ＳＶＭ的应用将更加广泛。
国际上对ＳＶＭ算法及其应用的研究日益广泛和深入，而我国在此领域的研究才刚起步不久［４］。因此，加强这一方面的研究工作，使我国在这一领域的研究和应用能够尽快赶上国际先
◎数据库、信号与信息处理◎
支持向量机在分类和回归中的应用研究
冼广铭１，曾碧卿１，冼广淋２
ＸＩＡＮＧｕａｎｇ－ｍｉｎｇ１，ＺＥＮＧＢｉ－ｑｉｎｇ１，ＸＩＡＮＧｕａｎｇ－ｌｉｎ２
１．华南师范大学南海校区计算机工程系，广东佛山５２８２２５
２．广东轻工职业技术学院计算机系，广州５１０３００
１．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｈａＣａｍｐｕｓ，ＳｏｕｔｈＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｏｓｈａｎ，Ｇｕａｎｇｄｏｎｇ５２８２２５，Ｃｈｉｎａ
２．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＧｕａｎｇｄｏｎｇＩｎｄｕｓｔｒｙＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅ，Ｇｕａｎｇｚｈｏｕ５１０３００，Ｃｈｉｎａ
Ｅ－ｍａｉｌ：Ｘｇｍ２００１１＠１６３．ｃｏｍ
ＸＩＡＮＧｕａｎｇ－ｍｉｎｇ，ＺＥＮＧＢｉ－ｑｉｎｇ，ＸＩＡＮＧｕａｎｇ－ｌｉｎ．ＡｐｐｌｉｃａｔｉｏｎｒｅｓｅａｒｃｈｏｆＳＶＭｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００８，４４（２７）：１３４－１３６．
Ａｂｓｔｒａｃｔ：ＳＶＭｐｌａｙａｍｏｒｅａｎｄｍｏｒｅｉｍｐｏｒｔａｎｔｒｏｌｅｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎ．Ｂｅｃａｕｓｅｏｆｅｘｃｅｌｌｅｎｔｐｅｒｆｏｒｍａｎｃｅｉｎａｐｐｌｉ－ｃａｔｉｏｎ，ａｌｏｔｏｆＳＶＭｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｉｎｒｅｃｅｎｔｙｅａｒｓ．ＩｎｔｈｉｓｐａｐｅｒａｓｅｒｉｅｓｏｆｉｓｓｕｅａｂｏｕｔＳＶＭｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓ－ｓｉｏｎｉｓｐｒｏｐｏｓｅｄ．Ｉｔｉｓｍａｇｎｉｆｉｃａｎｔｆｏｒｕｓｔｏｃａｔｃｈｕｐｗｉｔｈｉｎｔｅｒｎａｔｉｏｎａｌａｄｖａｎｃｅｌｅｖｅｌ．
Ｋｅｙｗｏｒｄｓ：ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）；ｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｒｅｇｒｅｓｓｉｏｎ
摘要：ＳＶＭ在许多领域的分类和回归方面起了越来越重要的作用，显示了它的优势。由于ＳＶＭ方法较好的理论基础和它在一些领域的应用中表现出来的与众不同的优秀的泛化性能，近年来，许多关于ＳＶＭ方法的应用研究陆续提了出来。围绕支持向量机在分类和回归中的问题进行了阐述，使我国在这一领域的研究和应用能够尽快赶上国际先进水平具有十分重要的意义。
关键词：支持向量机；分类；回归
ＤＯＩ：１０．３７７８／ｊ．ｉｓｓｎ．１００２－８３３１．２００８．２７．０４３文章编号：１００２－８３３１（２００８）２７－０１３４－０３文献标识码：Ａ中图分类号：ＴＰ３１１
作者简介：冼广铭，男，博士，讲师，研究方向为数据挖掘和软件工程等。
收稿日期：２００８－０１－０８修回日期：２００８－０７－１４
１３４
２００８，４４（２７）
进水平具有十分重要的意义［５］。
２ＳＶＭ应用的研究现状
目前ＳＶＭ学习方法已经获得了广泛的应用，涉及到经济分析、生物识别技术，信号识别和预测、图像识别等多个领域。从最初ＳＶＭ方法的简单应用研究，到多种方法的联合应用，互相取长补短，不断改进，获得了大量有价值的研究成果。下面将介绍ＳＶＭ在分类和回归方面的一些典型应用。
（１）分类方面的研究现状
在分类（模式识别）方面ＳＶＭ取得的应用成果是较多的，如在网络入侵检测、人脸别识、图像分类和故障诊断等方面。
李昆仑等［６］针对支持向量机理论中现存的问题：多类分类问题和对于噪音数据的敏感性，把一种新的模糊多类支持向量机算法应用于计算机网络入侵检测问题，取得了较好的实验结果。文献［７］介绍了入侵检测研究的发展概况和支持向量机的分类算法，接着提出了基于支持向量机的入侵检测模型，然后以系统调用执行这类常用的入侵检测数据为例，详细讨论了该模型的工作过程。通过实验和比较发现，基于支持向量机的入侵检测系统不但所需要的先验知识远远小于其他方法，而且当检测性能相同时，该系统的训练时间将会缩短。文献［８］对ＳＶＭ、ＡＮＮ和ＭＡＲＳ（ＭｕｌｔｉｖａｒｉａｔｅＡｄａｐｔｉｖｅＲｅｇｒｅｓｓｉｏｎＳｐｌｉｎｅｓ）等三种入侵检测技术进行了比较，得出如下结论，ＳＶＭ在准确率、训练时间和测试时间方面都比其它两种方法要好。而把这几种方法结合起来运用，效果更好［９］。ＣｈａｎＡｋｉＰＦ和ＮｇＷｉｎｇＷＹ等［１０］把基于规则的技术和ＳＶＭ方法结合起来，提出了一种混合入侵检测系统。
在人脸识别的实际应用中，处理的人脸图像，每类往往只有很少的样本，以至于不能充分表达样本的实际分布，需要对训练样本的数据进行有效的扩充。为此崔国勤等提出了基于生成视图和支持向量机的人脸识别方法，在ＩＣＴ－ＹＣＮＣ和Ｕ－ＭＩＳＴ人脸库中应用多分类支持向量机对得到的数据进行实验，结果表明，在样本不足的条件下利用支持向量识别人脸，生成虚拟视图是一种有效的方法。由ＳｈｉｈＰｅｉｃｈｕｎｇ和ＬｉｕＣｈｅｎｇｊｕｎ［１１］提出的ＤＦＡ－ＳＶＭ［１２］人脸识别模型，识别率更是高达９８．２％。ＰａｒｋＳｕｎｇ－Ｗｏｏｋ等［１３］在人脸识别过程中，运用最邻近原则改善了多分类ＳＶＭ的性能。
在传统的基于内容图像检索的方法中，由于图像的领域较宽，图像的低级视觉特征和高级概念之间存在着较大的语义间隔，导致检索效果不佳。文献［１４］缩窄图像的领域以减小低级特征和高级概念间的语义间隔，并利用机器学习方法自动建立图像类的模型，从而提供用户概念化的图像查询方式。该文以自然图像领域为例，使用支持向量机学习自然图像的类别，学习到的模型用于自然图像分类和检索。ＳＶＭ在图像分类中有着相当大的应用潜力，ＦｏｏｄｙＧｉｌｅｓＭ和ＭａｔｈｕｒＡｊａｙ［１５］的研究结果表明，ＳＶＭ的分类准确率要高于判别分析和决策树。Ｆｕｋｕ－ｄａＳ和ＫａｔａｇｉｒｉＲ等［１６］提出了一种基于ＳＶＭ的无监督的ＳＡＲ图像分类方法。
文献［１７］根据ＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ，隐马尔可夫模型）适合于处理连续动态信号与支持向量机适合于模式分类的长处，提出了基于ＨＭＭ－ＳＶＭ串联结构的故障诊断模型，利用ＨＭＭ形成特征向量提供给ＳＶＭ最后判别。该方法优于单纯的诊断方法，能够利用少量训练样本有效地完成故障诊断。ＴｈｕｋａｒａｍＤ和ＫｈｉｎｃｈａＨＰ等［１８］提出了一种基于ＡＮＮ和ＳＶＭ的故障诊断系统，可以对电力系统的故障进行定位。ＲｉｂｅｉｒｏＢｅｒｎａｒｄｅｔｅ［１９］把ＳＶＭ应用于质量监控过程，能够及时地诊断出生产过程中出现的故障。
（２）回归方面的研究现状
在回归方面，主要实验尚属于原理性研究，包括函数逼近、时间序列预测及电力负荷预测、信号或图像滤波等方面。
支持向量机在高维空间中表示复杂函数是一种有效的通用方法，也是一种新的、很有发展前景的机器学习算法。曲线重建问题其实质就是函数拟合逼近问题。文献［２０］简要介绍了基于支持向量机的理论，并在此基础上提出了一种基于ＳＶＭ的曲线重建算法，实验结果证明了该方法的有效性。为消除分形插值曲线的断裂和周期现象，文献［２１］把ＳＶＭ用于函数逼近，克服了外推法的缺点，充分发挥了ＳＶＭ的优点。文献［２２］使用了一种具有鲁棒性的支持向量回归机进行函数逼近，大大改善了系统的学习性能，即使训练持续很长一段时间，也不会造成错误率的上升，很好地克服了过学习现象。ＤｅＫｒｕｉｆＢａｓＪ和ＤｅＶｒｉｅｓＴｈｅｏＪＡ等［２３］对四种基于支持向量的函数逼近方法进行了系统的研究。ＬａｚａｒｏＭａｒｃｅｌｉｎｏ和ＳａｎｔａｍａｒｉａＩｇｎａｃｉｏ等［２４］提出了一种基于支持向量回归机的逼近方法，能够同时逼近函数本身及其导数。
文献［２５］针对运用标准支持向量机预测海量金融时间序列数据会出现训练速度慢、内存开销大的问题，提出一种分解合作加权的支持向量回归机，将大样本集分解成若干工作子集，分段提炼出支持向量机，同时根据支持向量的重要性给出不同的错误惩罚度，并将其应用于证券指数预测。与标准算法相比较，该方法在保证泛化精度一致的前提下，极大地加快了训练速度。ＫｉｍＫｙｏｕｎｇ－Ｊａｅ［２６］的研究结果表明ＳＶＭ在金融时间序预测中大有作为。ＬｅｎｄａｓｓｅＡｍａｕｒｙ和ＷｅｒｔｚＶｉｎｃｅｎｔ等［２７］把ＬＳ－ＳＶＭ运用于长期的时间序列预测，效果甚佳。ＫａｒｒａｓＤＡ和ＭｅｒｔｚｉｏｓＢＧ［２８］的研究也显示了在长期的、动态的时序预测中，ＳＶＭ比ＭＬＰ（ＭｕｌｔｉｌａｙｅｒＰｅｒｃｅｐｔｒｏｎ，多层感知机）要好。
文献［２９］将ＳＶＭ方法应用于电力系统峰负荷预测，它具有精度高、全局最优等显著特点。为了确定ＳＶＭ中直接影响其推广能力的超参数，提出了利用交叉有效性验证方法确定这些参数。实际算例表明，该方法的预测精度比神经网络方法提高了０１４％￣０１８％。文献［３０］把ＳＯＭ网络和ＳＶＭ方法结合起来，ＳＯＭ网络首先对ＳＶＭ的输入数据进行预处理，从而更有效地对电力负荷进行系统预测。文献［３１］提出了一种使用ＬＳ－ＳＶＭ的多尺度短时预测模型，比传统的神经网络方法更有效。
陈春雨［３２］等通过对基于ＳＶＭ的函数回归形式的变换，得出了一种能描述滤波原理的表达式。基于ＳＶＭ的滤波方法有效地抑制了随机加性噪声，为信号滤波提供了一种以结构风险最小化为理论框架的新手段。ＨｉｌｌＳｉｍｏｎＩ和ＷｏｌｆｅＰａｔｒｉｃｋＪ等［３３］采用ＳＶＭ对非线性音频信号进行滤波，该方法证明了ＳＶＭ对声音滤波的有效性。文献［３４］采用ＬＳ－ＳＶＭ对图像进行滤波，提高了信噪比，并且保护了图像的边缘信息。
３结论
模式分类和回归分析是知识发现中的重要内容，本文介绍了ＳＶＭ在分类和回归方面的一些典型应用。在分类方面ＳＶＭ取得的应用成果是较多的，如在网络入侵检测、人脸别识、图像分类和故障诊断等方面。在回归方面，主要实验尚属于原理性
冼广铭，曾碧卿，冼广淋：支持向量机在分类和回归中的应用研究１３５
ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００８，４４（２７）
研究，包括函数逼近、时间序列预测及电力负荷预测、信号或图像滤波等方面。随着研究的进一步深入，ＳＶＭ的应用将更加广泛。
参考文献：
［１］孙德山．支持向量机分类和回归方法研究［Ｄ］．长沙：中南大学，２００４．［２］陈永义，俞小鼎，高学浩，等．处理非线性分类和回归问题的一种新方法（Ｉ）——
—支持向量机方法简介［Ｊ］．应用气象学报，２００４，１５（３）：３４５－３５４．
［３］ＲｏｓｌｉｎａＲ，ＨｉｓｈａｍｕｄｄｉｎＪ，ＡｉｓｈａｈＳＡＮ．Ｅｍｐｉｒｉｃａｌａｎｄｆｅｅｄｆｏｒ－ｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋｓｍｏｄｅｌｓｏｆｔａｐｉｏｃａｓｔａｒｃｈｈｙｄｒｏｌｙｓｉｓ［Ｊ］．Ａｐ－ｐｌｉｅｄＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２００６，２０（１）：７９－９７．
［４］萧嵘，王继成，张福炎．支持向量机理论综述［Ｊ］．计算机科学，２０００，２６（３）：１－３．
［５］安金龙．支持向量机若干问题的研究［Ｄ］．天津：天津大学，２００４．［６］李昆仑，黄厚宽，田盛丰，等．模糊多类支持向量机及其在入侵检测中的应用［Ｊ］．计算机学报，２００５，２８（２）：２７４－２８０．
［７］饶鲜，董春曦，杨绍全．基于支持向量机的入侵检测系统［Ｊ］．软件学报，２００３，１４（４）：７９８－８０３．
［８］ＭｕｋｋａｍａｌａＳ，ＳｕｎｇＡＨ．Ａｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙｏｆｔｅｃｈｎｉｑｕｅｓｆｏｒｉｎｔｒｕｓｉｏｎｄｅｔｅｃｔｉｏｎ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＴｏｏｌｓｗｉｔｈＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ，２００３：５７０－５７７．
［９］ＭｕｋｋａｍａｌａＳ，ＳｕｎｇＡＨ，ＡｂｒａｈａｍＡ．Ｉｎｔｒｕｓｉｏｎｄｅｔｅｃｔｉｏｎｕｓｉｎｇａｎｅｎｓｅｍｂｌｅｏｆｉｎｔｅｌｌｉｇｅｎｔｐａｒａｄｉｇｍｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＮｅｔｗｏｒｋａｎｄＣｏｍ－ｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ，ＣｏｍｐｕｔａｔｉｏｎａｌＩｎｔｅｌｌｉｇｅｎｃｅｏｎｔｈｅＩｎｔｅｒｎｅｔ，２００５，２８（２）：１６７－１８２．
［１０］ＣｈａｎＡＰＦ，ＮｇＷｉｎｇＷＹ，ＹｅｕｎｇＤＳ，ｅｔａｌ．Ｒｅｆｉｎｅｍｅｎｔｏｆｒｕｌｅ－ｂａｓｅｄｉｎｔｒｕｓｉｏｎｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｆｏｒｄｅｎｉａｌｏｆｓｅｒｖｉｃｅａｔ－ｔａｃｋｓｂｙｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ２００４Ｉｎｔｅｒｎａ－ｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＣｙｂｅｒｎｅｔｉｃｓ，２００４，７：４２５２－４２５６．
［１１］崔国勤，高文．基于层虚拟视图和支持向量的人脸识别方法［Ｊ］．计算机学报，２００５，２８（３）：３６８－３７５．
［１２］ＳｈｉｈＰｅｉ－ｃｈｕｎｇ，ＬｉｕＣｈｅｎｇ－ｊｕｎ．Ｆａｃｅｄｅｔｅｃｔｉｏｎｕｓｉｎｇｄｉｓｃｒｉｍｉｎａｔ－ｉｎｇｆｅａｔｕｒｅａｎａｌｙｓｉｓａｎｄｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ［Ｊ］．ＰａｔｔｅｒｎＲｅｃｏｇ－ｎｉｔｉｏｎ，ＣｏｍｐｌｅｘｉｔｙＲｅｄｕｃｔｉｏｎ，２００６，３９（２）：２６０－２７６．
［１３］ＰａｒｋＳＷ，ＰａｒｋＪＷ．Ｕｓｉｎｇｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｒｕｌｅｔｏｉｍｐｒｏｖｅｐｅｒ－ｆｏｒｍａｎｃｅｏｆｍｕｌｔｉ－ｃｌａｓｓＳＶＭｓｆｏｒｆａｃｅｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＩＥＩＣＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２００４，８７（４）：１０５３－１０５７．
［１４］付岩，王耀威，王伟强，等．ＳＶＭ用于基于内容的自然图像分类和检索［Ｊ］．计算机学报，２００３，２６（１０）：１２６１－１２６５．
［１５］ＦｏｏｄｙＧＭ，ＭａｔｈｕｒＡ．Ａｒｅｌａｔｉｖｅｅｖａｌｕａｔｉｏｎｏｆｍｕｌｔｉｃｌａｓｓｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｂｙｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＧｅｏｓｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇ，２００４，４２（６）：１３３５－１３４３．
［１６］ＦｕｋｕｄａＳ，ＫａｔａｇｉｒｉＲ，ＨｉｒｏｓａｗａＨ．Ｕｎｓｕｐｅｒｖｉｓｅｄａｐｐｒｏａｃｈｆｏｒｐｏ－ｌａｒｉｍｅｔｒｉｃＳＡＲｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｕｓｉｎｇｓｕｐｐｏｒｔｖｅｃｔｏｒｍａ－ｃｈｉｎｅｓ［Ｃ］／／ＩｎｔｅｒｎａｔｉｏｎａｌＧｅｏｓｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＳｙｍｐｏ－ｓｉｕｍ（ＩＧＡＲＳＳ），２００２，５：２５９９－２６０１．
［１７］柳新民，刘冠军，邱静．基于ＨＭＭ－ＳＶＭ的故障诊断模型及应用［Ｊ］．仪器仪表学报，２００６，２７（１）：４５－４８．
［１８］ＴｈｕｋａｒａｍＤ，ＫｈｉｎｃｈａＨＰ，ＶｉｊａｙｎａｒａｓｉｍｈａＨＰ．Ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌ
ｎｅｔｗｏｒｋａｎｄｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅａｐｐｒｏａｃｈｆｏｒｌｏｃａｔｉｎｇｆａｕｌｔｓｉｎｒａｄｉａｌｄｉｓｔｒｉｂｕｔｉｏｎｓｙｓｔｅｍｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰｏｗｅｒＤｅ－ｌｉｖｅｒｙ，２００５，２０（２Ｉ）：７１０－７２１．
［１９］ＢｅｒｎａｒｄｅｔｅＲ．Ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓｆｏｒｑｕａｌｉｔｙｍｏｎｉｔｏｒｉｎｇｉｎａｐｌａｓｔｉｃｉｎｊｅｃｔｉｏｎｍｏｌｄｉｎｇｐｒｏｃｅｓｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓＰａｒｔＣ：ＡｐｐｌｉｃａｔｉｏｎｓａｎｄＲｅｖｉｅｗｓ，２００５，３５（３）：４０１－４１０．
［２０］王国锋，刘岩，李言俊．基于支持向量机的曲线重建方法［Ｊ］．西北工业大学学报．２００４，２２（１）：３３－３６．
［２１］ＡｎＪｉｎ－ｌｏｎｇ，ＷａｎｇＺｈｅｎｇ－ｏｕ，ＹａｎｇＱｉｎｇ－ｘｉｎ，ｅｔａｌ．ＡＳＶＭｆｕｎｃ－ｔｉｏｎａｐｐｒｏｘｉｍａｔｉｏｎａｐｐｒｏａｃｈｗｉｔｈｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｓｉｎｉｎｔｅｒｐｏｌａ－ｔｉｏｎａｎｄｅｘｔｒａｐｏｌａｔｉｏｎ［Ｃ］／／ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇａｎｄＣｙｂｅｒｎｅｔｉｃｓ（ＩＣＭＬＣ），２００５：１６４８－１６５３．
［２２］ＣｈｕａｎｇＣｈｅｎ－ｃｈｉａ，Ｓｕ，Ｓｈｕｎ－ｆｅｎｇ；ＪｅｎｇＪｉｎ－ｔｓｏｎｇ，ｅｔａｌ．Ｒｏｂｕｓｔｓｕｐ－ｐｏｒｔｖｅｃｔｏｒｒｅｇｒｅｓｓｉｏｎｎｅｔｗｏｒｋｓｆｏｒｆｕｎｃｔｉｏｎａｐｐｒｏｘｉｍａｔｉｏｎｗｉｔｈｏｕｔｌｉｅｒｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２００２，１３（６）：１３２２－１３３０．
［２３］ｄｅＫｒｕｉｆＢＪ，ｄｅＶｒｉｅｓＴＪＡ．Ｃｏｍｐａｒｉｓｏｎｏｆｆｏｕｒｓｕｐｐｏｒｔ－ｖｅｃｔｏｒｂａｓｅｄｆｕｎｃｔｉｏｎａｐｐｒｏｘｉｍａｔｏｒｓ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２００４，１：５４９－５５４．
［２４］ＭａｒｃｅｌｉｎｏＬ，ＩｇｎａｃｉｏＳ，Ｐｅｒｅｚ－ＣｒｕｚＦ，ｅｔａｌ．Ｓｕｐｐｏｒｔｖｅｃｔｏｒｒｅｇｒｅｓ－ｓｉｏｎｆｏｒｔｈｅｓｉｍｕｌｔａｎｅｏｕｓｌｅａｒｎｉｎｇｏｆａｍｕｌｔｉｖａｒｉａｔｅｆｕｎｃｔｉｏｎａｎｄｉｔｓｄｅｒｉｖａｔｉｖｅｓ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００５，６９（１／３）：４２－６１．
［２５］奉国和，朱思铭．改进及其在时间序列数据预测中的应用［Ｊ］．华南理工大学学报：自然科学版，２００５，３３（５）：１９－２２．
［２６］ＫｉｍＫＪ．Ｆｉｎａｎｃｉａｌｔｉｍｅｓｅｒｉｅｓｆｏｒｅｃａｓｔｉｎｇｕｓｉｎｇｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００３，５５（１／２）：３０７－３１９．
［２７］ＡｍａｕｒｙＬ，ＶｉｎｃｅｎｔＷ，ＧｅｏｆｆｒｏｙＳ，ｅｔａｌ．ＦａｓｔｂｏｏｔｓｔｒａｐａｐｐｌｉｅｄｔｏＬＳ－ＳＶＭｆｏｒｌｏｎｇｔｅｒｍｐｒｅｄｉｃｔｉｏｎｏｆｔｉｍｅｓｅｒｉｅｓ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎａ－ｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２００４，１：７０５－７１０．
［２８］ＫａｒｒａｓＤＡ，ＭｅｒｔｚｉｏｓＢＧ．Ｔｉｍｅｓｅｒｉｅｓｍｏｄｅｌｉｎｇｏｆｅｎｄｏｃａｒｄｉａｌｂｏｒｄｅｒｍｏｔｉｏｎｉｎｕｌｔｒａｓｏｎｉｃｉｍａｇｅｓｃｏｍｐａｒｉｎｇｓｕｐｐｏｒｔｖｅｃｔｏｒｍａ－ｃｈｉｎｅｓ，ｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎｓａｎｄｌｉｎｅａｒｅｓｔｉｍａｔｉｏｎｔｅｃｈｎｉｑｕｅｓ［Ｊ］．Ｍｅａｓｕｒｅｍｅｎｔ：ＪｏｕｒｎａｌｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＭｅａｓｕｒｅｍｅｎｔＣｏｎｆｅｄｅｒａ－ｔｉｏｎ，ＩｍａｇｉｎｇＭｅａｓｕｒｅｍｅｎｔＳｙｓｔｅｍｓ，２００４，３６（３／４）：３３１－３４５．
［２９］张平康，王蒙，赵登福，等．基于支撑向量机的电力系统峰负荷预测［Ｊ］．西安交通大学学报，２００５，３９（４）：３９８－４０１．
［３０］ＦａｎＳｈｕ，ＣｈｅｎＬｕｏ－ｎａｎ．Ｓｈｏｒｔ－ｔｅｒｍｌｏａｄｆｏｒｅｃａｓｔｉｎｇｂａｓｅｄｏｎａｎａｄａｐｔｉｖｅｈｙｂｒｉｄｍｅｔｈｏｄ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰｏｗｅｒＳｙｓｔｅｍｓ，２００６，２１（１）：３９２－４０１．
［３１］ＬｉｕＺｕｎ－ｘｉｏｎｇ，ＺｈｏｎｇＨｕａ－ｌａｎ，ＺｈａｎｇＤｅ－ｙｕｎ．Ｍｕｌｔｉ－ｓｃａｌｅｓｈｏｒｔｔｅｒｍｌｏａｄｐｒｅｄｉｃｔｉｏｎｍｏｄｅｌｕｓｉｎｇｌｅａｓｔｓｑｕａｒｅｓｕｐｐｏｒｔｖｅｃｔｏｒｍａ－ｃｈｉｎｅ［Ｊ］．ＪｏｕｒｎａｌｏｆＸｉ’ａｎＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，２００５，３９（６）：６２０－６２３．［３２］陈春雨，林茂六，张喆．基于支持向量机的信号滤波研究［Ｊ］．西安交通大学学报，２００６，４０（４）：４２９－４３１．
［３３］ＨｉｌｌＳＩ，ＷｏｌｆｅＰＪ，ＲａｙｎｅｒＰＪＷ．Ｎｏｎｌｉｎｅａｒｐｅｒｃｅｐｔｕａｌａｕｄｉｏｆｉｌｔｅｒｉｎｇｕｓｉｎｇｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ［Ｊ］．ＩＥＥＥＷｏｒｋｓｈｏｐｏｎＳｔａ－ｔｉｓｔｉｃａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＰｒｏｃｅｅｄｉｎｇｓ，２００１：４８８－４９１．
［３４］ＣｈｅｎｇＨｕｉ，ＹｕＱｉｕ－ｚｅ，ＴｉａｎＪｉｎ－ｗｅｎ，ｅｔａｌ．Ｉｍａｇｅｄｅｎｏｉｓｉｎｇｕｓｉｎｇｗａｖｅｌｅｔａｎｄｓｕｐｐｏｒｔｖｅｃｔｏｒｒｅｇｒｅｓｓｉｏｎ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓＴｈｉｒｄＩｎｔｅｒ－ｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅａｎｄＧｒａｐｈｉｃｓ，２００４：４３－４６．
１３６
支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
3．支持向量机（回归） 3.1.1 支持向量机 支持向量机（SVM ）是美国Vapnik 教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVM 方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM 从理论上解释了多层感知器的隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。 所谓核技巧，就是找一个核函数(,)K x y 使其满足(,)((),())K x y x y φφ=，代 替在特征空间中内积(),())x y φφ（的计算。因为对于非线性分类，一般是先找一个非线性映射φ将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。 特别， 对特征空间H 为Hilbert 空间的情形，设(,)K x y 是定义在输入空间 n R 上的二元函数，设H 中的规范正交基为12(),(),...,(), ...n x x x φφφ。如果 2 2 1 (,)((),()), {}k k k k k K x y a x y a l φφ∞ == ∈∑ ， 那么取1 ()() k k k x a x φφ∞ ==∑ 即为所求的非线性嵌入映射。由于核函数(,)K x y 的定义 域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内 积 (),())x y φφ（所需付出的计算代价。实际计算中，我们只要选定一个(,)K x y ，
支持向量机分类器 1 支持向量机的提出与发展 支持向量机( SVM, support vector machine )是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由V.Vapnik 等人在1995年首先提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。 根据Vapnik & Chervonenkis的统计学习理论 ,如果数据服从某个(固定但未知的)分布,要使机器的实际输出与理想输出之间的偏差尽可能小,则机器应当遵循结构风险最小化 ( SRM,structural risk minimization)原则,而不是经验风险最小化原则,通俗地说就是应当使错误概率的上界最小化。SVM正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单,而且泛化( generalization)能力明显提高。 2 问题描述 2.1问题引入 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面，因此右图所找出的是比较好的超平面。 可以将问题简述如下： 设训练的样本输入为xi，i=1，…，l，对应的期望输出为yi∈{+1，-1}，其中+1和-1分别代表两类的类别标识，假定分类面方程为ω﹒x+b=0。为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足以下约束条件： 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 2.2 问题的数学抽象 将上述问题抽象为： 根据给定的训练集
支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale';
文章编号:100228743(2004)0320075204 用于分类的支持向量机 黄发良,钟 智Ξ (1.广西师范大学计算机系,广西桂林541000; 2.广西师范学院数学与计算机科学系,广西南宁530001) 摘 要:支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索. 关键词:支持向量机;机器学习;分类 中图分类号:TP181 文献标识码:A 支持向量机S VM (Support Vector Machine )是AT&T Bell 实验室的V.Vapnik 提出的针对分类和回归问题的统计学习理论.由于S VM 方法具有许多引人注目的优点和有前途的实验性能,越来越受重视,该技术已成为机器学习研究领域中的热点,并取得很理想的效果,如人脸识别、手写体数字识别和网页分类等. S VM 的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界. 1 基本原理 支持向量机理论最初来源于数据分类问题的处理,S VM 就是要寻找一个满足要求的分割平面,使训练集中的点距离该平面尽可能地远,即寻求一个分割平面使其两侧的margin 尽可能最大. 设输入模式集合{x i }∈R n 由两类点组成,如果x i 属于第1类,则y i =1,如果x i 属于第2类,则y i =-1,那么有训练样本集合{x i ,y i },i =1,2,3,…,n ,支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,(1)线性可分,(2)线性不可分. 1.1 线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ?x +b =0(1) 其中,“?”是点积,w 是n 维向量,b 为偏移量. 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得: min <(w )= 12‖w ‖2(2) Ξ收稿日期:2004202206作者简介:黄发良(1975-),男,湖南永州人,硕士研究生;研究方向:数据挖掘、web 信息检索. 2004年9月 广西师范学院学报(自然科学版)Sep.2004 第21卷第3期 Journal of G u angxi T eachers Education U niversity(N atural Science Edition) V ol.21N o.3
随机森林与支持向量机分类性能比较 黄衍，查伟雄 （华东交通大学交通运输与经济研究所，南昌 330013） 摘要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词：随机森林；支持向量机；分类 中图分类号：O235 文献标识码： A Comparison on Classification Performance between Random Forests and Support Vector Machine HUANG Yan, ZHA Weixiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China)【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use. 【Key words】Random Forests; Support Vector Machine; classification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART 决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取n tree个训练集，每个训练集的大小约为原始数据集的三分之二。 2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CART），共产生n tree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在作者简介：黄衍（1986-），男，硕士研究生，主要研究方向：数据挖掘与统计分析。 通信联系人：查伟雄，男，博士，教授，主要研究方向：交通运输与经济统计分析。 E-mail: huangyan189@https://www.doczj.com/doc/e92446808.html,.
ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量
支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛
支持向量机非线性回归通用MA TLAB源码 支持向量机和BP神经网络都可以用来做非线性回归拟合，但它们的原理是不相同的，支持向量机基于结构风险最小化理论，普遍认为其泛化能力要比神经网络的强。大量仿真证实，支持向量机的泛化能力强于BP网络，而且能避免神经网络的固有缺陷——训练结果不稳定。本源码可以用于线性回归、非线性回归、非线性函数拟合、数据建模、预测、分类等多种应用场合，GreenSim团队推荐您使用。 function [Alpha1,Alpha2,Alpha,Flag,B]=SVMNR(X,Y,Epsilon,C,TKF,Para1,Para2) %% % SVMNR.m % Support Vector Machine for Nonlinear Regression % All rights reserved %% % 支持向量机非线性回归通用程序 % GreenSim团队原创作品，转载请注明 % GreenSim团队长期从事算法设计、代写程序等业务 % 欢迎访问GreenSim——算法仿真团队→ % 程序功能： % 使用支持向量机进行非线性回归，得到非线性函数y=f(x1,x2,…,xn)的支持向量解析式，% 求解二次规划时调用了优化工具箱的quadprog函数。本函数在程序入口处对数据进行了% [-1,1]的归一化处理，所以计算得到的回归解析式的系数是针对归一化数据的，仿真测 % 试需使用与本函数配套的Regression函数。 % 主要参考文献: % 朱国强,刘士荣等.支持向量机及其在函数逼近中的应用.华东理工大学学报 % 输入参数列表 % X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数 % Y 输出样本原始数据，1×l的矩阵，l为样本个数 % Epsilon ε不敏感损失函数的参数，Epsilon越大，支持向量越少 % C 惩罚系数，C过大或过小，泛化能力变差 % TKF Type of Kernel Function 核函数类型 % TKF=1 线性核函数，注意：使用线性核函数，将进行支持向量机的线性回归 % TKF=2 多项式核函数 % TKF=3 径向基核函数 % TKF=4 指数核函数 % TKF=5 Sigmoid核函数 % TKF=任意其它值，自定义核函数 % Para1 核函数中的第一个参数 % Para2 核函数中的第二个参数 % 注：关于核函数参数的定义请见Regression.m和SVMNR.m内部的定义 % 输出参数列表 % Alpha1 α系数 % Alpha2 α*系数 % Alpha 支持向量的加权系数（α－α*）向量
支持向量机SMO算法 1 简介 支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，然后引出SVM什么的，还有些资料上来就讲分类超平面什么的。这份材料从前几节讲的logistic回归出发，引出了SVM，既揭示了模型间的联系，也让人觉得过渡更自然。 2 重新审视logistic回归 Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid 函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。 形式化表示就是 假设函数 其中x是n维特征向量，函数g就是logistic函数。 的图像是 可以看到，将无穷映射到了(0,1)。
而假设函数就是特征属于y=1的概率。 当我们要判别一个新来的特征属于哪个类时，只需求，若大于0.5就是y=1的类，反之属于y=0类。 再审视一下，发现只和有关，>0，那么，g(z)只不过是用来映 射，真实的类别决定权还在。还有当时，=1，反之=0。如果我们只从 出发，希望模型达到的目标无非就是让训练数据中y=1的特征，而是y=0的特征 。Logistic回归就是要学习得到，使得正例的特征远大于0，负例的特征远小于0， 强调在全部训练实例上达到这个目标。 图形化表示如下： 中间那条线是，logistic回顾强调所有点尽可能地远离中间那条线。学习出的结果也就 中间那条线。考虑上面3个点A、B和C。从图中我们可以确定A是×类别的，然而C我们是不太确定的，B还算能够确定。这样我们可以得出结论，我们更应该关心靠近中间分割线的点，让他们尽可能地远离中间线，而不是在所有点上达到最优。因为那样的话，要使得一部分点靠近中间线来换取另外一部分点更加远离中间线。我想这就是支持向量机的思路和logistic回归的不同点，一个考虑局部（不关心已经确定远离的点），一个考虑全局（已经远离的点可能通过调整中间线使其能够更加远离）。这是我的个人直观理解。
ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用２００８，４４（２７） １引言 模式分类和回归分析是知识发现中的重要内容，也是处理其它问题的核心。虽然分类和回归具有许多不同的研究内容，但它们之间却具有许多相同之处，简单地说，它们都是研究输入输出变量之间的关系问题，分类的输出是离散的类别值，而回归的输出是连续的数值。用于分类和回归的方法很多，如传统的统计学和神经网络方法和最近刚刚兴起的支持向量机等［１］。 现有机器学习方法的重要理论基础之一是统计学。当人们面对数据而又缺乏理论模型时，统计分析方法是最先采用的方法。然而传统的统计方法只有在样本数量趋于无穷大时才能有理论上的保证，现有学习方法也多是基于此假设。而在实际应用中样本数目通常都是有限的，甚至是小样本，对此基于大数定律的传统统计方法难以取得理想的效果［２］。 ＡＮＮ（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，人工神经网络）［３］等经验非线性方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难。同时设计者在设计过程中利用了自己的经验和先验知识，取得了许多成功的应用。但是在实际工程应用中，有很多数据建模问题属于数学中的小样本、不适定问题，而人工神经网络等方法忽略了这一特点，将其作为无穷样本、适定问题来求解。所以神经网络具有局部极小点、过学习以及结构和类型的选择过分依赖于经验等固有的缺陷，降低了其应用和发展的效果。 作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间却可以通过一个线性超平面实现线性划分（或回归），而与特征空间的线性划分（或回归）相对应的却是样本空间的非线性分类（或回归）。但是采用升维的方法，即向高维空间做映射，一般只会增加计算的复杂性，甚至会引起“维数灾难”。 ＳＶＭ通过核函数实现到高维空间的非线性映射，所以适合于解决本质上非线性的分类、回归等问题。同时，ＳＶＭ方法巧妙地解决了如何求得非线性映射和解决算法的复杂性这两个难题：由于应用了核函数的展开定理，所以根本不需要知道非线性映射的显式表达式；由于是在高维特征空间中应用线性学习机的方法，所以与线性模型相比几乎不增加计算的复杂性，这在某种程度上避免了“维数灾难”［２］。 近年来ＳＶＭ在许多领域的分类和回归方面起了越来越重要的作用，显示了它的优势，成为继模式识别和神经网络研究之后机器学习领域的一个新颖而有发展前途的研究方向。随着研究的进一步深入，ＳＶＭ的应用将更加广泛。 国际上对ＳＶＭ算法及其应用的研究日益广泛和深入，而我国在此领域的研究才刚起步不久［４］。因此，加强这一方面的研究工作，使我国在这一领域的研究和应用能够尽快赶上国际先 ◎数据库、信号与信息处理◎ 支持向量机在分类和回归中的应用研究 冼广铭１，曾碧卿１，冼广淋２ ＸＩＡＮＧｕａｎｇ－ｍｉｎｇ１，ＺＥＮＧＢｉ－ｑｉｎｇ１，ＸＩＡＮＧｕａｎｇ－ｌｉｎ２ １．华南师范大学南海校区计算机工程系，广东佛山５２８２２５ ２．广东轻工职业技术学院计算机系，广州５１０３００ １．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｈａＣａｍｐｕｓ，ＳｏｕｔｈＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｏｓｈａｎ，Ｇｕａｎｇｄｏｎｇ５２８２２５，Ｃｈｉｎａ ２．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＧｕａｎｇｄｏｎｇＩｎｄｕｓｔｒｙＴｅｃｈｎｉｃａｌＣｏｌｌｅｇｅ，Ｇｕａｎｇｚｈｏｕ５１０３００，Ｃｈｉｎａ Ｅ－ｍａｉｌ：Ｘｇｍ２００１１＠１６３．ｃｏｍ ＸＩＡＮＧｕａｎｇ－ｍｉｎｇ，ＺＥＮＧＢｉ－ｑｉｎｇ，ＸＩＡＮＧｕａｎｇ－ｌｉｎ．ＡｐｐｌｉｃａｔｉｏｎｒｅｓｅａｒｃｈｏｆＳＶＭｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００８，４４（２７）：１３４－１３６． Ａｂｓｔｒａｃｔ：ＳＶＭｐｌａｙａｍｏｒｅａｎｄｍｏｒｅｉｍｐｏｒｔａｎｔｒｏｌｅｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓｓｉｏｎ．Ｂｅｃａｕｓｅｏｆｅｘｃｅｌｌｅｎｔｐｅｒｆｏｒｍａｎｃｅｉｎａｐｐｌｉ－ｃａｔｉｏｎ，ａｌｏｔｏｆＳＶＭｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｉｎｒｅｃｅｎｔｙｅａｒｓ．ＩｎｔｈｉｓｐａｐｅｒａｓｅｒｉｅｓｏｆｉｓｓｕｅａｂｏｕｔＳＶＭｉｎｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｒｅｇｒｅｓ－ｓｉｏｎｉｓｐｒｏｐｏｓｅｄ．Ｉｔｉｓｍａｇｎｉｆｉｃａｎｔｆｏｒｕｓｔｏｃａｔｃｈｕｐｗｉｔｈｉｎｔｅｒｎａｔｉｏｎａｌａｄｖａｎｃｅｌｅｖｅｌ． Ｋｅｙｗｏｒｄｓ：ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）；ｃｌａｓｓｉｆｉｃａｔｉｏｎ；ｒｅｇｒｅｓｓｉｏｎ 摘要：ＳＶＭ在许多领域的分类和回归方面起了越来越重要的作用，显示了它的优势。由于ＳＶＭ方法较好的理论基础和它在一些领域的应用中表现出来的与众不同的优秀的泛化性能，近年来，许多关于ＳＶＭ方法的应用研究陆续提了出来。围绕支持向量机在分类和回归中的问题进行了阐述，使我国在这一领域的研究和应用能够尽快赶上国际先进水平具有十分重要的意义。 关键词：支持向量机；分类；回归 ＤＯＩ：１０．３７７８／ｊ．ｉｓｓｎ．１００２－８３３１．２００８．２７．０４３文章编号：１００２－８３３１（２００８）２７－０１３４－０３文献标识码：Ａ中图分类号：ＴＰ３１１ 作者简介：冼广铭，男，博士，讲师，研究方向为数据挖掘和软件工程等。 收稿日期：２００８－０１－０８修回日期：２００８－０７－１４ １３４
3.支持向量机(回归) 3.1.1 支持向量机 支持向量机(SVM是美国Vapnik教授于1990年代提出的，2000年代后成为了很受欢迎的机器学习方法。它将输入样本集合变换到高维空间使得其分离性状况得到改善。它的结构酷似三层感知器，是构造分类规则的通用方法。SVh方法的贡献在于，它使得人们可以在非常高维的空间中构造出好的分类规则，为分类算法提供了统一的理论框架。作为副产品，SVM从理论上解释了多层感知器的 隐蔽层数目和隐节点数目的作用，因此，将神经网络的学习算法纳入了核技巧范畴。 所谓核技巧，就是找一个核函数K(x, y)使其满足K(x,y) ( (x), (y))，代 替在特征空间中内积((x), (y))的计算。因为对于非线性分类，一般是先找一个非线性映射将输入数据映射到高维特征空间，使之分离性状况得到很大改观，此时在该特征空间中进行分类，然后再返会原空间，就得到了原输入空间的非线性分类。由于内积运算量相当大，核技巧就是为了降低计算量而生的。 特别，对特征空间H为Hilbert空间的情形，设K(x, y)是定义在输入空间 R n上的二元函数，设H中的规范正交基为1(x), 2(x),..., n(x), ...。如果 2 K(x, y) a k ( k(x), k(y)), k 1 那么取(x) 3k k(x)即为所求的非线性嵌入映射。由于核函数K(x,y)的定义k 1 域是原来的输入空间，而不是高维的特征空间。因此，巧妙地避开了计算高维内积((x), (y))所需付出的计算代价。实际计算中，我们只要选定一个K(x,y)， 并不去重构嵌入映射(x) a k k(x)。所以寻找核函数K(x,y)(对称且非负) k 1