至于抑制单颗决策树的复杂度的方法有很多
比如限制树的最大深度
限制叶子节点的最少样本数量
限制节点分裂时的最少样本数量
吸收bagging的思想对训练样本采样（subsample）
在学习单颗决策树时只使用一部分训练样本
借鉴随机森林的思路在学习单颗决策树时只采样一部分特征
在目标函数中添加正则项惩罚复杂的树结构等。现在主流的GBDT算法实现中这些方法基
本上都有实现，因此GBDT算法的超参数还是比较多的，应用过程中需要精心调参，并用
交叉验证的方法选择最佳参数。
2、机器学习的关键元素
先复习下监督学习的关键概念：模型（model）、参数（parameters）、目标函数（objective function）模型就是所要学习的条件概率分布或者决策函数，它决定了在给定特征向量x时如何预测出目标y。
定义任意x（属于R）为训练集中的第i个训练样本，则线性模型（linear mode）可以表示为：
模型预测的分数y^i在不同的任务中有不同的解释。例如在逻辑回归任务中，表
示模型预测为正例的概率；而在排序学习任务中，表示排序分。
参数就是我们要从数据中学习得到的内容。模型通常是由一个参数向量决定的函数。
例如：线性模型的参数可以表示为：
目标函数通常定义为如下形式：
其中，是损失函数，用来衡量模型拟合训练数据的好坏程度；称之为正则项，用来衡量
学习到的模型的复杂度。训练集上的损失（Loss）定义为：
常用的损失函数有平方损失（square loss）：
logistic 损失：
常用的正则项有L1范数：
常用的正则项有L2范数：
Ridge regression就是指使用平方损失和L2范数正则项的线性回归模型；
Lasso regression就是指使用平方损失和L1范数正则项的线性回归模型；
逻辑回归（Logistic regression）指使用logistic损失和L2范数或L1范数正则项的线性模型目标函数之所以定义为损失函数()和正则项()两部分，是为了尽可能平衡模型的偏差和方差
（Bias Variance Trade-o?）
最小化目标函数意味着同时最小化损失函数和正则项，损失函数最小化表明模型能够较好的拟合训
练数据，一般也预示着模型能够较好地拟合真实数据（groud true）
另一方面，对正则项的优化鼓励算法学习到较简单的模型，简单模型一般在测试样本上的预测结果
比较稳定、方差较小（奥坎姆剃刀原则）。也就是说，优化损失函数尽量使模型走出欠拟合的状
态，优化正则项尽量使模型避免过拟合。
从概念上区分模型、参数和目标函数给学习算法的工程实现带来了益处，使得机器学习的各个组成部分之间耦合尽量松散。
3、加法模型（additive model）
GBDT算法可以看成是由K棵树组成的加法模型：
其中为所有树组成的函数空间，以回归任务为例，回归树可以看作为一个把特征向量映射为某个score的函数。该模型的参数为：。与一般的机器学习算法不同的是，加
法模型不是学习d维空间中的权重，而是直接学习函数（决策树）集合。
上述加法模型的目标函数定义为：
其中表示决策树的复杂度，那么该如何定义树的复杂度呢？比如，可以考虑树的节点数量、树的深度
或者叶子节点所对应的分数的L2范数等等。
如何来学习加法模型呢？
解这一优化问题，可以用前向分布算法（forward stagewise algorithm）。因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数（结构），逐步逼近优化目标函数，那么就可以简化复杂度。这一学习过程称之为Boosting。具体地，我们从一个常量预测开始，每次学习一个新的函
数，过程如下：
那么，在每一步如何决定哪一个函数被加入呢？---指导原则还是最小化目标函数。
在第步，模型对的预测为：，其中为这一轮我们要学习的函数（决策
树）。这个时候目标函数可以写为：
举例说明，假设损失函数为平方损失（square loss），则目标函数为：
其中，称之为残差（residual）。因此，使用平方损失函数时，GBDT算法的每一步在生成决
策树时只需要拟合前面的模型的残差
泰勒公式：设是一个正整数，如果定义在一个包含的区间上的函数在点处次可导，那么对于
这个区间上的任意都有：，其中的多项式称为函数在处的泰
勒展开式，是泰勒公式的余项且是的高阶无穷小。
根据泰勒公式把函数在点处二阶展开，可得到如下等式：
由等式(1)可知，目标函数是关于变量的函数，若把变量看成是等式(3)中的，把变量
看成是等式(3)中的，则等式(1)可转化为：
其中，定义为损失函数的一阶导数，即；定义为损失函数的二阶导数
，即。假设损失函数为平方损失函数，则
,，把和代入等式(4)即得等式
(2)。
由于函数中的常量在函数最小化的过程中不起作用，因此我们可以从等式(4)中移除掉常量项，得：
由于要学习的函数仅仅依赖于目标函数，从等式(5)可以看出只需为学习任务定义好损失函数，并为每个训练样本计算出损失函数的一阶导数和二阶导数，通过在训练样本集上最小化等式(5)即可求得每步要学习的函数，从而根据加法模型等式(0)可得最终要学习的模型。
4、GBDT算法
一颗生成好的决策树，假设其叶子节点个数为，该决策树是由所有叶子节点对应的值组成的向量，
以及一个把特征向量映射到叶子节点索引（Index）的函数组成的。因此，决策树可
以定义为：
决策树的复杂度可以由正则项来定义，即决策树模型的复杂度由生成的树的叶子
节点数量和叶子节点对应的值向量的L2范数决定。
定义集合为所有被划分到叶子节点的训练样本的集合。等式(5)可以根据树的叶子节点重
新组织为T个独立的二次函数的和：
定义，，则等式(6)可写为：
假设树的结构是固定的，即函数确定，令函数的一阶导数等于0，即可求得叶子节点对应的值为：
此时，目标函数的值为:
综上，为了便于理解，单颗决策树的学习过程可以大致描述为：
1.枚举所有可能的树结构
2.用等式(8)为每个计算其对应的分数，分数越小说明对应的树结构越好
3.根据上一步的结果，找到最佳的树结构，用等式(7)为树的每个叶子节点计算预测值
然而，可能的树结构数量是无穷的，所以实际上我们不可能枚举所有可能的树结构。通常情况下，我们采用贪心策略来生成决策树的每个节点.
1.从深度为0的树开始，对每个叶节点枚举所有的可用特征
2.针对每个特征，把属于该节点的训练样本根据该特征值升序排列，通过线性扫描的方式来决定该特征
的最佳分裂点，并记录该特征的最大增益（采用最佳分裂点时的增益）
3.选择收益最大的特征作为分裂特征，用该特征的最佳分裂点作为分裂位置，把该节点生长出左右两个
新的叶节点，并为每个新节点关联对应的样本集
4.回到第1步，递归执行到满足特定条件为止
第17卷第2期 湖南城市学院学报（自然科学版）V ol.17 No.2 2008年6月 Journal of Hunan City University （Natural Science） Jun. 2008 公交最优路径选择的数学模型及算法 雷一鸣 （广东工业大学华立学院，广州 511325） 摘要：在公交出行查询系统中，最关键的部分是寻找两站点间乘车的出行最优路径问题．建立了以最小换乘次数为第一目标，最小途经站点为第二目标的公交出行最优路径模型．同时，设计了一种算法以确定最优公交线路序列，分析了线路相交的几种情况，给出了换乘点选择方法． 关键词：最优路径；换乘次数；公交网络 中图分类号：O232文献标识码：A文章编号：1672–7304(2008)02–0050–03 公交最优路径问题一直是应用数学、运筹学、计算机科学等学科的一个研究热点．对公交最优路径问题的理论研究主要包括公交网络的数学描述和设计最优路径算法．在公交网络描述方面，Anez等用对偶图描述能够涵盖公交线路的交通网络，Choi等讨论了利用GIS技术从街道的地理数据产生公交线路和站点的问题；在设计最优算法方面，常用的算法[1]有Dijkstra算法、Floyd 算法、Moore-pape算法等．Moore-pape算法计算速度较快，适用于大型网络，但它无法进行“一对一”的计算．Floyd算法虽然可以快速地进行“多对多”的计算，但它不能应用于大型网络，而Dijkstra算法是目前公认的最好的算法，但它数据结构复杂、算法时间长，不适合公交线路的查询．本文首先对公交网络进行了数学描述，考虑到公交乘客出行时所面临的各种重要因素，包括换乘次数、途径站点、出行耗时和出行费用等，选择以换乘次数最少作为最优路径算法的第一约束目标，而出行耗时虽难以准确测算但它与途径站点数相关，所以选择易于量化的途经站点数最少作为第二约束目标，建立公交乘车数学模型，设计相应的算法，并利用有关实验数据验证了它的有效性和可行性． 1 模型的建立及其算法 1.1 模型假设及符号规定 为了更好地建立数学模型，首先对公交网络及出行者作出以下假设[2]： 1)不考虑高峰期、道路交通堵塞等外界因素对乘车耗时的影响． 2)假设出行者熟悉公交站点及附近地理位置，并且知道可乘的各种公汽和地铁以及到达目的地有哪几种不同选择的机会．在公交线路网中， 不同的公交线路在行程上一定会有重叠，也就是说不同的线路上一定会有同名站点．在进行网络分析时，把空间上相近的异线同名站点合理抽象成一个节点． 3)假设出行者对公汽和地铁的偏好程度不一样．在不换乘的情况下，宁愿乘地铁，以求舒适；在路途较近的情况下，宁愿坐公汽而放弃乘地铁．出行者可根据自己的偏好结合自己的出行需求（换乘次数、最短路程、费用等），可在各种出行方案中选出满足自己出行需求的乘车方案．设() L I为经过点A或其附近的公交线路集，其中1,2,..., I m =；() S J为经过点B或其附近的公交线路集，其中,,..., J12n =；(,) E I U为线路 ) (I L上的站点，其中,,..., U12p =；(,) F J V为线路) (J S上的站点，其中,,..., V12q =；() X K为经过站点) ,(U I E的线路，其中,,..., K12w =；() Y O 为经过站点) , (V J F的线路，其中,,..., O12v =；(,) d E F M ≤表示从站点E步行到站点F之间的距离不超过乘客换车时步行的最大心理承受值M，其中M表示乘客在换车时步行的最大心理承受值．通常，M与公交站点间的平均距离呈线性正相关． Ai Z表示站点A的下行第i个站点； Bj Z表示站点B的上行第j个站点；另外，公交的可行线 路的集合可表示为：{| i i TR TR TR == 0112,1 ,,,,,, i i i i d a p a p a ? < ,} id d p a>，其中，{} 01,1 ,,,, i i d d a a a a ? 为站点集合，{} 12,1 ,,,, i i i d d p p p p ? 为公交车次的集合， i TR 收稿日期：2008-03-10 作者简介：雷一鸣(1972-)，男，湖南临武人，助教，硕士，主要从事数学模型及经济信息管理研究．
时空数据分析算法及其应用研究 空间和时间是现实世界最基本、最重要的属性，许多空间应用系统都需要表 达地学对象的时空属性，例如在地理位置变更、环境监测、城市演化等领域都需 是 术 对象的技 要管理历史变化数据，以便重建历史、跟踪变化、预测未来。面向 实体 用在软件设计中的一种方法，它用在时空数据[1]表达中主要是为了克服给定 题[2] 。下面从 的空间或非空间属性在不同时间不同频率变化而出现的复杂问 KNN、RNN、SkyLine三种时空数据分析算法出发，论述时空数据分析算法的应用。 1、KNN分析算法的基本概述及应用分析 KNN算法是非参数回归模型的基本算法之一，通过在状态空间中搜索与待测 点X相近的k个样本(X i ，Y i ) 估计g n(x) ，因此又称为k最近邻非参数回归，其预测函数[3]可表示为 k k Y=g(X)= W i （X；X k1，?，X k k）Y i = k i Y i （1） i 1 i 1 其中X k1．表示与x距离最近的点，并赋予权值k1；X k2则被赋予权值k2；以此 k个权函数k1，k2，?，k k，满足 类推，得到 k k1≥k2≥?≥k k≥0，k =1 （2） i i 1 KNN算法通过计算样本个体之间的距离或者相似度来寻找与每个样本个体最 相近的K个个体，在这个过程中需要完成一次样本个体的两两比较，所以算法的 。 时间复杂度，跟样本的个数直接相关 K最近邻算法通常情况下是用于分类的，这只是对K近邻算法用途的本质说明[4]。从实际来看，K近邻算法可以应用的地方还有很多，比如系统推荐等等。简 单的讲 ，就是挖掘出客户喜欢的相同商品，来进行相似物品的推荐。另外区分客 户群体，从而使我们更好的为客户服务。 下面是KNN分类器构建实例。KNN的实现分训练和识别两步。训练时，把每类样本降维后的结果作 为KNN的输入。如图1所示，圆圈表示待识别数据所处的位置， 表的类；选择 K 圆中的3个数据，识别结果为三角形代 为3时，选中实线 选择 K值 圆中的5个数据，识别结果为正方形代表的类。 值 为5时，选中虚线 - 1 -
摘要 在智能领域，大部分问题都可以归结为优化问题。常用的经典优化算法都对问题有一定的约束条件，如要求优化函数可微等，仿生算法是一种模拟生物智能行为的优化算法，由于其几乎不存在对问题的约束，因此，粒子群优化算法在各种优化问题中得到广泛应用。 本文首先描述了基本粒子群优化算法及其改进算法的基本原理,对比分析粒子群优化算法与其他优化算法的优缺点，并对基本粒子群优化算法参数进行了简要分析。根据分析结果,研究了一种基于量子的粒子群优化算法。在标准测试函数的优化上粒子群优化算法与改进算法进行了比较,实验结果表明改进的算法在优化性能明显要优于其它算法。本文算法应用于支持向量机参数选择的优化问题上也获得了较好的性能。最后,对本文进行了简单的总结和展望。 关键词：粒子群优化算法最小二乘支持向量机参数优化适应度
目录 摘要...................................................................... I 目录....................................................................... II 1.概述. (1) 1.1引言 (1) 1.2研究背景 (1) 1.2.1人工生命计算 (1) 1.2.2 群集智能理论 (2) 1.3算法比较 (2) 1.3.1粒子群算法与遗传算法(GA)比较 (2) 1.3.2粒子群算法与蚁群算法(ACO)比较 (3) 1.4粒子群优化算法的研究现状 (4) 1.4.1理论研究现状 (4) 1.4.2应用研究现状 (5) 1.5粒子群优化算法的应用 (5) 1.5.1神经网络训练 (6) 1.5.2函数优化 (6) 1.5.3其他应用 (6) 1.5.4粒子群优化算法的工程应用概述 (6) 2.粒子群优化算法 (8) 2.1基本粒子群优化算法 (8) 2.1.1基本理论 (8) 2.1.2算法流程 (9) 2.2标准粒子群优化算法 (10) 2.2.1惯性权重 (10) 2.2.2压缩因子 (11) 2.3算法分析 (12) 2.3.1参数分析 (12) 2.3.2粒子群优化算法的特点 (14) 3.粒子群优化算法的改进 (15) 3.1粒子群优化算法存在的问题 (15) 3.2粒子群优化算法的改进分析 (15) 3.3基于量子粒子群优化(QPSO)算法 (17) 3.3.1 QPSO算法的优点 (17) 3.3.2 基于MATLAB的仿真 (18) 3.4 PSO仿真 (19) 3.4.1 标准测试函数 (19) 3.4.2 试验参数设置 (20) 3.5试验结果与分析 (21) 4.粒子群优化算法在支持向量机的参数优化中的应用 (22) 4.1支持向量机 (22) 4.2最小二乘支持向量机原理 (22)
龙源期刊网 https://www.doczj.com/doc/4f15630637.html, 哈夫曼算法及其应用研究 作者：张荣梅 来源：《电脑知识与技术》2013年第13期 摘要：该文首先分析了赫夫曼算法，给出了一种赫夫曼算法的实现方法，然后研究了赫 夫曼算法在压缩编码，判定树，在外部文件排序中的最佳归并树等中的应用。 关键词：赫夫曼树；算法；编码；判定树；归并树 中图分类号： TP301 文献标识码：A 文章编号：1009-3044（2013）13-3062-04 赫夫曼树是一类带权路径长度最短的树，称为最优树，有着广泛的应用。联系到不同的计算机算法，可以赋予带权外部路径长度不同的含义。例如，在解某些判定问题时，利用Huffman树可以得到最佳判定算法[1-2]；在进行快速远距离通信时，利用Huffman树，可以得到Huffman编码，它是一种无损的压缩编码；在外部排序中，对多个不等长的有序记录的二路归并时，利用Huffman树可以得到最佳合并顺序，即最佳归并树。该文主要讨论赫夫曼算法的一种实现方法及其不同的应用。 1 赫夫曼算法 3.2 判定树 在解某些判定问题时，如果将不同情况出现的频度作为权重的话，利用Huffman算法可以构建最佳判定树。在编制一个将百分制转换成优、良、中、及格、不及格五级分制的程序时，一般学生的成绩呈正态分布，各级别的比例分别为：优秀10%，良好30%，中等40%，及格15%，不及格占5%左右。利用上述Huffman算法构建的判定树如图3所示。按最佳判定树编写程序，可提高比较的效率，显著降低操作时间。 3.3 最佳归并树 4 结论 Huffman树与Huffman编码有着广泛的应用，例如对Huffman编码进行改进可用于软件测试数据进化生成 [3]、SVM 多分类器构造[4]、超光谱图像分层无损压缩[5]、基于稀疏分解的 交通图像压缩中[6]等等。因此，正确理解Huffman算法的实质，对有关的研究工作提供有益 的启示。 参考文献： [1] 严蔚敏，吴伟民.数据结构（C语言版）[M]. 北京：清华大学出版社，2010：144-148.
信息通信网络时序指标动态阈值选取方法研究 整篇文章分为三部分，第一部分是点预测，第二部分是阈值d 的选取，第三部分是结合两者进行区间预测。其中第一部分是重点，分为两个小部分，分别为前期预处理检验和模型建立，模型建立部分又分别由6个小部分组成。 一、建立模型进行中心点预测 思路：根据给出的数据序列，利用自相关系数，偏相关系数的性质，选择合适的模型进行模拟，如AR 模型（AR(p)），MA 模型（MA(q)），ARMA 模型（ARMA(p ，q)），并确定它们的阶数。然后估计模型中未知参数的值，并利用AIC 准则来进行模型优化，从而可以对未来数据进行预测。 注：）（p AR 定义：????????=≠===≠+++++=---t s x E t s E Var E x x x x t s s t t t p t p t p t t t ,0(,0)(,)(,0)(02 22110） εεεσεεφεφφφφε )(q MA 定义：?? ? ??≠===≠----+=---t s E Var E x s t t t q q t q t t t t ,0)(,)(,0)(022211εεσεεθεθεθεθεμε ),(q p A R M A 定义：????????=≠===≠≠---+++++=-----t s x E t s E Var E x x x x t s s t t t q p q t q t t p t p t t t ,0)(,0)(,)(,0)(0,02 1122110εεεσεεθφεθεθεφφφφε 建模： 1. 前提准备 得到数据之后（比如移动公司一个月的通话时长记录），我们要对数据进行一个预处理，判定给出的数据满足为平稳非白噪声序列，
1 问题 模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以用多项式回归。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？ 还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w公式里的参数？ 形式化定义：假设可选的模型集合是，比如我们想分类，那么SVM、logistic 回归、神经网络等模型都包含在M中。 2 交叉验证（Cross validation） 我们的第一个任务就是要从M中选择最好的模型。 假设训练集使用S来表示 1、使用S来训练每一个，训练出参数后，也就可以得到假设函数。（比如，线性模型 中得到后，也就得到了假设函数） 2、选择错误率最小的假设函数。 遗憾的是这个算法不可行，比如我们需要拟合一些样本点，使用高阶的多项式回归肯定比线性回归错误率要小，偏差小，但是方差却很大，会过度拟合。因此，我们改进算法如下： 1、从全部的训练数据S中随机选择70%的样例作为训练集，剩余的30%作为测试 集。 2、在上训练每一个，得到假设函数。 3、在上测试每一个，得到相应的经验错误。 4、选择具有最小经验错误的作为最佳模型。 这种方法称为hold-out cross validation或者称为简单交叉验证。 由于测试集是和训练集中是两个世界的，因此我们可以认为这里的经验错误接近于泛化错误（generalization error）。这里测试集的比例一般占全部数据的1/4-1/3。30%是典型值。
还可以对模型作改进，当选出最佳的模型后，再在全部数据S上做一次训练，显然训练数据越多，模型参数越准确。 简单交叉验证方法的弱点在于得到的最佳模型是在70%的训练数据上选出来的，不代表在全部训练数据上是最佳的。还有当训练数据本来就很少时，再分出测试集后，训练数据就太少了。 我们对简单交叉验证方法再做一次改进，如下： 子集有m/k个训练样例，相应的子集称作{}。 2、每次从模型集合M中拿出来一个，然后在训练子集中选择出k-1个 {}（也就是每次只留下一个），使用这k-1个子集训练后，得到假设函数。最后使用剩下的一份作测试，得到经验错误。 3、由于我们每次留下一个（j从1到k），因此会得到k个经验错误，那么对于一个， 4、选出平均经验错误率最小的，然后使用全部的S再做一次训练，得到最后的。 这个方法称为k-fold cross validation（k-折叠交叉验证）。说白了，这个方法就是将简单交叉验证的测试集改为1/k，每个模型训练k次，测试k次，错误率为k次的平均。一般讲k 取值为10。这样数据稀疏时基本上也能进行。显然，缺点就是训练和测试次数过多。 极端情况下，k可以取值为m，意味着每次留一个样例做测试，这个称为leave-one-out cross validation。 如果我们发明了一种新的学习模型或者算法，那么可以使用交叉验证来对模型进行评价。比如在NLP中，我们将训练集中分出一部分训练，一部分做测试。 3 特征选择（Feature selection） 特征选择严格来说也是模型选择中的一种。这里不去辨析他们的关系，重点说明问题。假设我们想对维度为n的样本点进行回归，然而，n可能大多以至于远远大于训练样例数m。但是 我们感觉很多特征对于结果是无用的，想剔除n中的无用特征。n个特征就有种去除情况（每个特征去或者保留），如果我们枚举这些情况，然后利用交叉验证逐一考察在该情况下模型的错误率，太不现实。因此需要一些启发式搜索方法。 第一种，前向搜索：
Spiking神经网络学习算法及其应用研究近年来,随着人工智能技术的高速发展,越来越多的智能化设备和服务使人们的生活方式更为便捷。类脑计算作为人工智能的重要领域之一,试图通过研究和模拟人脑的认知原理,如神经网络的组织结构、运行机制等,使机器具有高度的智能化水平。神经科学家研究发现,生物神经系统的信息是以脉冲为载体来处理和传递的。为了模拟这一信息处理机制,Spiking神经网络应运而生,并具有比传统神经网络更好的仿生性和更强的计算能力。当前,基于Spiking神经网络的研究在理论和应用方面都已经取得诸多成果,对其学习算法以及应用的研究,不仅可以促进人工智能的发展,还可作为仿脑芯片实现的理论基础,从而促进非冯·诺依曼体系计算机的发展。监督学习是神经网络的重要学习机制之一,其通过目标驱动等策略进行网络训练,是认知计算的知识积累的重要过程,也是模式识别的重要方法。本文主要研究基于Spiking神经网络的监督学习算法及模式识别的应用问题,主要包括以下内容:(1)研究并提出一种高效的单层Spiking神经网络学习算法,并将其应用在分类问题中。算法使用生物视觉系统中的选择性注意机制,对Spiking神经网络监督学习训练中的冗余信息进行筛选,从而有效降低了脉冲时间信息的处理量;同时,算法采用基于电压的误差函数进行训练,相比采用时间误差函数的传统方法,获得了更高的网络训练效率。使用这些策略,所提算法在单层Spiking 神经网络上的训练效率比传统算法提升了至少4倍。(2)研究并提出一种高效的多层Spiking神经网络学习算法,并对分类问题进行了验
证。针对传统学习算法中电压函数不连续导致的误差反传效率低下问题,算法创新使用前突触脉冲的时间移动策略对训练误差进行反传;同时,算法采用归一化的误差参数以及选择性注意机制对传统训练过程中的冗余信息进行有效筛选;这些策略大幅度提升了Spiking神经网络的多层训练效率。此外,本文对算法的前馈计算和反馈训练的原理、收敛性与复杂性等进行了理论分析。(3)研究并提出一种高效的基于Spiking神经网络的用户身份认证方法。使用动态参数调整、训练时间样本筛选等策略,改进传统的基于感知机Spiking神经元的学习算法,使其具有更高的训练效率,而且对参数变化更具有鲁棒性。同时,结合智能设备中用户行为数据的特点,研究了该算法在具体应用中数据特征表示及分类器设计方法,实现了基于智能设备的用户身份合法性认证。(4)研究并提出一种高效的基于Spiking神经网络的人体行为识别方法。使用粒子群优化算法改进传统的基于Spiking神经网络的远程监督学习算法,使算法的学习参数可以根据不同的应用数据自动调优。同时,根据视频数据流的特点,研究了此算法在人体行为识别应用中的特征表示及分类器设计方法,实现了基于视频数据的人体行为识别。
时空数据分析算法及其应用研究 空间和时间是现实世界最基本、最重要的属性，许多空间应用系统都需要表达地学对象的时空属性，例如在地理位置变更、环境监测、城市演化等领域都需要管理历史变化数据，以便重建历史、跟踪变化、预测未来。面向对象的技术是用在软件设计中的一种方法，它用在时空数据[1]表达中主要是为了克服给定实体的空间或非空间属性在不同时间不同频率变化而出现的复杂问题[2]。下面从KNN 、RNN 、SkyLine 三种时空数据分析算法出发，论述时空数据分析算法的应用。 1、KNN 分析算法的基本概述及应用分析 KNN 算法是非参数回归模型的基本算法之一，通过在状态空间中搜索与待测点X 相近的k 个样本(X i ，Y i )估计g n (x)，因此又称为k 最近邻非参数回归，其预测 函数[3]可表示为 Y=g(X)=∑=k 1i W i （X ；X k 1，…，X k k ）Y i =∑=k 1i k i Y i （1） 其中X k 1．表示与x 距离最近的点，并赋予权值k 1；X k 2则被赋予权值k 2；以此 类推，得到k 个权函数k 1，k 2，?，k k ，满足 k 1≥k 2≥…≥k k ≥0，∑=k 1i i k =1 （2） KNN 算法通过计算样本个体之间的距离或者相似度来寻找与每个样本个体最相近的K 个个体，在这个过程中需要完成一次样本个体的两两比较，所以算法的时间复杂度，跟样本的个数直接相关。 K 最近邻算法通常情况下是用于分类的，这只是对K 近邻算法用途的本质说明 [4]。从实际来看，K 近邻算法可以应用的地方还有很多，比如系统推荐等等。简单的讲，就是挖掘出客户喜欢的相同商品，来进行相似物品的推荐。另外区分客户群体，从而使我们更好的为客户服务。 下面是KNN 分类器构建实例。KNN 的实现分训练和识别两步。训练时，把每类样本降维后的结果作为KNN 的输入。如图1所示，圆圈表示待识别数据所处的位置，选择K 值为3时，选中实线圆中的3个数据，识别结果为三角形代表的类；选择K 值为5时，选中虚线圆中的5个数据，识别结果为正方形代表的类。
摘要 萤火虫算法(Firefly Algorithm,FA)是受自然界中的萤火虫通过荧光进行信息交流这种群体行为的启发演变而来。它是由剑桥大学的Xin-She Yang教授在2009年提出的，它作为一种新颖的仿生群智能优化算法，有较大的研究空间。近几十年来随着越来越多的仿生群智能算法的提出，人们对于这些算法的认识和研究也逐步加深。 本文先介绍群智能优化算法的理论概念，然后着重通过对萤火虫算法仿生原理的了解，从数学的角度对萤火虫算法进行合理的描述和过程的定义，最后编写该算法的matlab代码实现对3个峰值函数进行仿真测试，得出其测试结果。同时用遗传算法对同样的测试函数也进行仿真测试，得出其测试结果。最后通过测试结果比较萤火虫算法和遗传算法分别在对峰值函数寻优结果的精确度。在比较过程中，可以根据测试结果发现，萤火虫算法在对峰值函数的寻优结果的精确度优于遗传算法。这表明了萤火虫算法在连续空间优化的可行性和有效性，同时也表明了萤火虫算法具有良好的应用前景。 关键词：萤火虫算法，仿生群智能优化算法，优化分析，遗传算法
ABSTRACT The Firefly Algorithm (FA) is affected by the nature of the Firefly exchange of information through a fluorescence inspired this kind of crowd behavior has evolved. It is made by Xin - She Yang professor at the university of Cambridge in 2009, as a novel bionic swarm intelligent optimization algorithm, has a large research space. In recent decades as more bionic swarm intelligent algorithm is put forward, people also gradually deepen to the understanding and research of those algorithms. First，it is introduced in this paper theoretical concepts of swarm intelligence optimization algorithm, and then emphatically through the understanding of firefly algorithm bionic principle, from the perspective of mathematical descriptions of firefly algorithm is reasonable and the definition of the process, finally ,writes matlab code of the algorithm to realize the three peak function simulation test, to test results. At the same time with the genetic algorithm on the same test function, simulation test, to test results. Finally by comparing test results of firefly algorithm and genetic algorithm in the accuracy of the optimization results of peak function respectively. In the process of comparison, according to the result of test, it can shows that the firefly algorithm on the accuracy of the optimization results of peak function is superior to genetic algorithm. It shows that the feasibility and effectiveness of firefly algorithm in the continuous space optimization, but also shows that the firefly algorithm has a good application prospect. Keywords:firefly algorithm, The bionic swarm intelligent optimization algorithm, Optimization analysis, genetic algorithm