基于主成分分析和小波神经网络的近红外多组分建模研究
来源：中国论文下载中心 [ 11-04-22 16:18:00 ] 编辑：studa20
作者：汤守鹏姚鑫锋姚霞田永超曹卫星朱艳
【摘要】将小麦叶片原始光谱经过预处理后，采用主成分分析(PCA)对数据进行降维，取前3个主成分输入小波神经网络，建立了基于主成分分析和小波神经网络的近红外多组分
预测模型(WNN);进一步研究了小波基函数个数的选取(WNN隐层节点数)对小波神经网络模
型性能的影响，并将WNN模型与偏最小二乘法(PLS)和传统的反向传播神经网络(BPNN)模型进行了比较。结果表明，所建立的WNN模型能用于同时预测小麦叶片全氮和可溶性总糖两
种组分含量，其预测均方根误差(RMSEP)分别为0.101%和0.089%，预测相关系数(R)分别为0.980和0.967。另外，在收敛速度和预测精度上，WNN模型明显优于BPNN和PLS模型，
从而为将小波神经网络用于近红外光谱的多组分定量分析奠定了基础。
【关键词】小波神经网络, 主成分分析, 近红外光谱, 小麦叶片, 全氮, 可溶性总糖
(No.BK20081479)和江苏省自然科学基金(No.BK2008330)资助
1 引言
近红外光谱(NIR)分析技术以其快速、环保、可多组分同时检测等优点[1]，在各个领
域得到了广泛应用[2]。NIR属于弱信号，信息提取必须依靠化学计量学才能实现，传统的
定量校正方法，如偏最小二乘法(PLS)，仅适用于线性模型，而实际应用中却存在很多非线性关系[3]。人工神经网络可解决连续非线性函数的逼近，在多组分分析中优势明显，其中反向传播(BP)算法是采用最多也是最成熟的神经网络训练算法之一[4]，但是BP网络(BPNN)存在着易陷于局部最小和收敛速度慢等弱点[5,6]。
小波神经网络(Wavelet neural network, WNN)已经在化学领域得到了广泛应用[7,8]。小波神经网络综合了小波多尺度分析和神经网络自学习的优点，因而具有比传统神经网络
更快的收敛速度和更强的逼近性能。已有的多组分预测模型大都采用PLS方法[9]和传统
BP网络[10,11]，而将小波神经网络用于近红外光谱定量分析的报道较少。小波神经网络
用于函数优化时，其输入层的维数和小波基函数都不能太多，否则会大大增加模型参数[12]。主成分分析(Principal component analysis, PCA)是对光谱数据压缩和信息提取的有效方法[13]，通过提取少数几个主成分(即原始变量的线性组合)，并把它们作为小波神
经网络的输入，既可以保证输入数据的精度，又可以大大加快神经网络的收敛速度[14,15]。
本研究首先运用主成分分析方法(PCA)从预处理后的小麦叶片近红外光谱中提取主成分，以达到降维目的;然后将降维后得到的主成分作为小波神经网络的输入，建立基于主成分分析和小波神经网络的近红外多组分预测模型，以用于同时预测小麦叶片全氮和可溶性总糖
含量;最后通过与PLS方法和传统神经网络的比较分析，检验小波神经网络模型的收敛速度和预测精度。
2 理论部分
2.1 主成分分析
主成分分析(PCA)是一种数据压缩的常用方法，通过少数几个主成分(即原始变量的线
性组合)解释多变量的方差，即导出少数几个主成分，使它们尽可能完整地保留原始变量
的信息，且彼此间不相关，以达到简化数据的目的。将该方法结合神经网络用于近红外光
谱定量分析，既能保证输入数据的精度、减少训练时间，又能简化网络结构[13]。
2.2 小波神经网络理论
小波神经网络(WNN)是将小波理论与人工神经网络的思想相结合而形成的一种新的神经网络[7]。它将传统神经网络中的隐层节点激励函数(如Sigmoid函数)用小波函数Ψ来代替，图1 小波神经网络结构
Fig.1 Structure of wavelet neural network相应的输入层到隐层的权值及隐层阈
值分别由小波函数的伸缩参数a与平移参数b所代替，而输出层通常为线性神经元，它将
隐层的小波伸缩系进行线性叠加形成输出结果。对于一个单隐层的神经网络，假设有p个
输入节点，h个隐层节点，q个输出节点，则小波神经网络的结构如图1所示，其输出表达式见公式(1)：fk(x)=∑hj=1wjk[ψ(∑pi=1xi-bjaj)](1)其中，xi(i=1, 2, …, p)为输入层第i个输入变量，k =1, 2, …, q，h为隐层节点数，Ψ为隐层的小波基函数，wjk是隐层第j个节点到输出层第k个节点的连接权值，bj和aj分别是小波函数的平移参数(隐层
节点的阈值)和伸缩参数(输入层到隐层节点的权值)。由此可见，小波网络可调整的参数包括wjk、bj和aj，共有3×h个，它们通过最小均方误差函数得到优化。本研究选择常用
的Morlet小波函数[16]作为小波神经网络的隐层激励函数，该小波是余弦调制的高斯波，时频域分辩率较高。
3 实验部分
3.1 样品和仪器
3.1.1 样品来源样品采自以下2个小麦田间试验，于主要生育期获取小麦不同叶位的叶片共144份，杀青烘干后粉碎过40目筛，用自封带密封后置于干燥器中备用。实验1 2006～2007年在江苏南京市农林局试验站(南京市江宁区，118°59′E，31°56′N)进行。
土壤有机质含量1.01%、全氮含量0.11%、速效氮含量90.3 mg/kg、速效磷含量40.3
mg/kg、速效钾含量100.3 mg/kg，前茬水稻。供试品种为宁麦9号和豫麦34号，试验设4个施氮水平，分别为0, 90, 180和270 kg N/ha纯氮 (ha为公顷)，两因素随机区组排列，3次重复，每小区面积约为23 m2，基本苗1.5×106 株/ha，行距25 cm。氮肥基追比2∶1∶1，追肥时期为拔节期和孕穗期，各占25%。各处理配施105 kg/ha P2O5和80 kg/ha KCl，全部用作基肥。其它管理措施同高产小麦田。实验2 2007～2008年在南京农业大学
江浦试验站(南京市浦口区，118°37′E，32°02′N)进行。土壤有机质含量1.95%，全氮
含量0.08%，速效磷含量13.4 mg/kg，速效钾含量48.9 mg/kg，前茬玉米。供试品种为宁
麦9号，设4个施氮水平，分别为0, 90, 180和270 kg/ha 纯氮，两因素随机区组排列，3次重复，每小区面积约为16 m2，基本苗1.5×106株/ha，行距25 cm。氮肥基追比1∶1，追肥时期为拔节期，占50%。各处理配施150 kg/ha P2O5和 150 kg/ha K2O，全部用作基肥。其它管理措施同高产小麦田。
3.1.2 光谱采集和化学值测定光谱采集用Thermo Nicolet 5700 FT IR近红外光谱仪(自带OMNIC 7.2集成软件和内径2.5 cm、高5 cm的专用石英杯)。光谱采集前，先在
室温下开机预热约1 h，然后将过筛样品装入石英杯，容量约1/3，用专用砝码压紧，置于样品台上扫描，每次采集前均用镀金内壁作背景。扫描范围10000～4000 cm-1，分辨率4 cm-1，每次光谱采集扫描64次，每份样品重复采集光谱9次，取平均值代表该样品的光谱，以吸光度的格式存储于计算机中。图2 叶片样品近红外吸光度谱图
Fig.2 Near infrared absorbance spectra of leaf samples所有光谱数据都转化为
波长形式，范围为1000～2500 nm，数据点间隔取为1 nm，因而所有的样品光谱就组成了
一个144行1501列的矩阵。图2为144份样品的近红外原始光谱图。
样品全氮含量(TNC)采用凯氏微量定氮法测定，可溶性总糖含量(TSSC)采用蒽酮比色法测定[17]。每份样品每个指标重复测定3次，取平均值作为该样品化学值(各组分含量单位均为%)，样品集的全氮和可溶性总糖含量变化范围分别为0.60%～4.32%和0.50%～4.78%。
3.2 数据处理与分析
运用马氏距离法[18]剔除奇异样品后，对NIR光谱进行多元散射校正和Norris一阶导数滤波处理，然后采用PCA方法将光谱压缩成若干主成分，最后将降维后的主成分分别作
为小波神经网络和BP网络的输入节点，全氮和可溶性总糖两个化学组分作为输出节点，进行网络训练后得到模型，同时利用预处理后的光谱进行PLS建模。本研究中涉及到光谱预
处理方法、PCA和神经网络算法均在Matlab 7.0下编程实现。
3.2.1 样品集的划分为了减少偶然误差、提高模型精度，首先运用马氏距离法[18]从采集到的144份样品中剔除5份奇异样品，剩下139份样品，再从中随机选择出100份作
为校正集，其余39份作为检验集。
3.2.2 光谱预处理光谱预处理方法的选择关系着模型的预测性能。为了消除光谱散射、平移和偏转，减少环境噪声对光谱的干扰，通过对样品光谱预处理方法的多次选择，发现
采用多元散射校正(MSC)[19]和Norris一阶导数[20]处理后的光谱建模效果最好，处理结
果见图3。因此，在用1000～2500 nm全谱区进行建模前，采用上述方法对光谱进行预处理。
3.2.3 光谱主成分的提取光谱经过预处理后，用PCA方法提取其主成分，结果如表1
所示，前3个主成分累计贡献达99.69%，可代表样品光谱，因而可将前3个主成分(原变
量的线性组合)经标准化处理后作为网络的输入节点。由此可以确定，小波神经网络的输入层节点数应为3，依次对应于3个主成分;而输出层节点数是2，对应于全氮和可溶性总糖
两个化学组分。为了与PLS方法和传统神经网络进行比较，图3 经预处理后的叶片NIR
光谱
Fig.3 Near infrared spectra after pre processing利用光谱仪自带的TQ化学
计量学软件建立PLS模型，同时将PCA提取的3个主成分作为三层BP神经网络的输入。表
1 光谱数据前3个主成分的贡献率
3.3 模型性能的优化与评价
为保证模型的整体性能，本研究通过“剔一法”(Leave one out)得到的交互检验均方根误差RMSECV(Root mean square error of cross validation)来优化建模参数;
而模型的预测性能，则通过预测均方根误差RMSEP(Root mean square error of prediction)和相关系数R(Correlation coefficient)来评价，计算公式如下：RMSECV=∑
Mi=1(Oi-Pi)2M-1(2)
RMSEP=∑Ni=1(Oi-Pi)2N(3)式中M，N分别表示用于建模和检验的样品数， Oi, Pi分
别为样品i化学组分的观测值(Observed value)和预测值(Predicted value)。
4 结果与讨论
4.1 隐层节点数的选取
隐层节点数(h)对神经网络的整体性能影响巨大，但是目前还无明确理论来指导h的选值[21]。 h过多可能造成训练时间过长和过拟合; h过少又可能导致训练达不到要求[22]。对于小波神经网络， h就是小波基函数的个数。可以依据小波分析方法，事先确定小波基
函数的个数，但是一般不宜超过10，因为h的增加会大大增加小波神经网络模型的参数[14]。本研究为了找到最佳h，在实际操作中，比较了基于不同h(h≤10)所建模型的RMSECV，见图4a;而对于传统的BP网络，则尝试了取不同的h(h≤15)进行建模，见图4b。进一步将RMSECV最小时的h确定为最佳h，由此获得小波神经网络和BP网络的最佳h分
别为5和7(图4)。
4.2 神经网络参数的确定
神经网络参数关系着模型的预测性能，关于小波神经网络参数的选取方法，已有众多
报道[23,24]。本研究中，两种神经网络都采用三层结构，其中，小波神经网络的隐层小波基函数采用时频域分辩率较高的Morlet函数[16,24];BP网络隐层传递函数分别采用常用
的Tansig函数，输出层采用Purelin函数。为了便于比较两种网络模型的性能，经过反复尝试，并综合考虑网络稳定性和训练时间，将学习速率均设为0.01，网络优化算法选择Levevberg Marquardt算法，最大训练次数都为1000，期望误差为0.001。
4.3 模型性能的检验与评价
用WNN模型对39个测试样品的全氮(TNC)和可溶性总糖含量(TSSC)进行了预测，结果
如图5。从预测均方根误差(RMSEP)和相关系数(R)可以看出，小波神经网络模型的拟合精
度较。
a. 全氮(Total nitrogen content);
b. 可溶性总糖(Total soluble sugar content)。综合比较了WNN模型和BPNN模型的收敛时间(Time)、达到期望误差时的训练次数(Iteration, Iter)以及PLS模型对39份测试样品的预测性能(RMSEP和R) (表2)。可见，两种神经网络模型的预表2 WNN模型、PLS模型和BPNN模型的表现比较测精度都高于PLS
模型，因为PLS是线性回归方法，而在近红外光谱上，尽管官能团特征吸收频率的位置是
基本固定的，但是样品各组分化合物之间的关系复杂，会发生不同程度的缔合作用，如诱
导效应、空间位阻效应和氢键效应等[25]，这些因素决定了叶片样品近红外光谱与各组分
之间的非线性关系，人工神经网络可以有效克服这种非线性干扰[3];从综合收敛速度和预
测精度来看，WNN模型均优于传统的BPNN模型[26]。即，在保证不发生过拟合的前提下，
要达到同样的期望误差，小波神经网络所用的训练时间和训练次数均少于传统的BP网络;
而经过同样的训练次数，小波神经网络达到的预测精度也会比BP网络高。因为传统BP网
络的隐层基函数一般为Sigmoid函数(本研究为Tansig函数)，这类函数相互不正交，权重的学习容易出现峡谷型误差曲面，导致收敛速度变慢，也很难保证非线性系统的唯一解。
而小波神经网络的基函数是小波函数，它具有快速衰减性，局部逼近能力也就更强;另一方面，小波基函数是正交或者近似正交的，权重之间相关冗余度很小，且小波神经网络的误
差函数是关于权值的凸函数，不存在局部极小点，因而收敛速度更快。
4.4 小结
本研究将小波神经网络引入到近红外光谱的多组分分析模型中，建立了能同时预测小
麦叶片全氮和可溶性总糖含量的小波神经网络(WNN)模型，并对WNN模型的整体性能与表现进行了检验和比较。结果表明，WNN模型预测结果可靠，可用于小麦近红外光谱的多组分
预测;与偏最小二乘法(PLS)和传统神经网络模型(BPNN)相比，小波神经网络模型具有更好
的全局收敛性和预测精度，从而为近红外光谱的多组分定量分析提供了新的建模方法。
【参考文献】
1 Yan Yan Lu(严衍禄). Near Infrared Spectroscopy and its application(近红外光谱分析基础与应用). Beijing(北京): China Light Industry Press(中国轻工业出版社), 2005: 1～115
2 Zhu Xiao Li(褚小立), Tian Gao You(田高友), Yuan Hong Fu(袁洪福), Lu Wan Zhen(陆婉珍). Chinese J. Anal. Chem.(分析化学), 2006, 34(9): S175～S178
3 Pérez Marín D, Garrido Varo A, Guerrero J E. Talanta, 2007, 72(1): 28～42
4 Marengo E, Bobba M, Robotti E, Lenti M. Anal. Chim. Acta, 2004, 511(2): 313～322
5 Xu Lu(许禄), Shao Xue Guang(邵学广). Methods of Chemometrics(化学计量学方法). Beijing(北京): Science Press(科学出版社), 2004: 279～298
6 Phua P K H, Ming Daohua. IEEE Transactions on Neural Networks, 2003,
14(6): 1460～1467
7 Tabaraki R, Khayamian T, Ensafi A A. Dyes and Pigments, 2007, 73 (2): 230～238
8 Balabin R M, Safieva R Z, Lomakina E I. Chemometrics and Intelligent Laboratory Systems, 2008, 93(1): 58～62
9 Wang Jia Jun(王家俊), Liang Yi Zeng(梁逸曾), Wang Fan(汪帆). Chinese J. Anal. Chem.(分析化学), 2005, 33(6): 793～797
10 Liu Bo Ping(刘波平), Qin Hua Jun(秦华俊), Luo Xiang(罗香), Cao Shu Wen(曹树稳), Wang Jun De(王俊德). Chinese J. Anal. Chem.(分析化学), 2007, 35(4): 525～528
11 Dou Y, Sun Y, Ren Y, Ren Y. Anal. Chim. Acta, 2005, 528(1): 55～61
12 Zhang Q. IEEE Transactions on Neural Networks, 1997, 8(2): 227～236
13 He Y, Li X, Deng X. Journal of Food Engineering, 2007, 79(4): 1238～1242
14 Wang W, Paliwal J. Biosystems Engineering, 2006, 94(1): 7～18
15 Dou Y, Mi H, Zhao L, Ren Y, Ren Y. Anal. Biochem., 2006, 351(2): 174～
180
16 Subasi A, Alkan A, Koklukaya E, Kiymik M K. Neural Networks, 2005, 18(7): 985～997
17 Li He Sheng(李合生). The Principle and Technology of Physiological and Biochemical Experiment of Plant(植物生理生化实验原理和技术). Beijing(北京): Higher Education Press(高等教育出版社), 2000: 186～197
18 Smith B M, Gemperline P J. Anal. Chim. Acta, 2000, 423(2): 167～177
19 Fernandez J E, Badiali M, Guidetti A, Scot V. Nuclear Instruments and Methods in Physics Research, 2007, 580(1): 77～80
20 Norris K H, Williams P C. Cereal Chemistry, 1984, 61(2): 158～165
21 Janik L J, Cozzolino D, Dambergs R, Cynkar W, Gishen M. Anal. Chim. Acta, 2007, 594(1): 107～118
22 Wen Xin(闻新), Zhou Lu(周露), Wang Dan Li(王丹力), Xiong Xiao
Ying(熊晓英). MATLAB Design for Neural Networks application(MATLAB神经网络应用
设计). Beijing(北京): Science Press (科学出版社), 2001: 225～232
23 Xu J, Daniel W C H. Neurocomputing, 2002, 48: 681～689
24 Tabaraki R, Khayamian T, Ensafi A A. Journal of Molecular Graphics and Modelling, 2006, 25(1): 46～54
25 Weng Shi Fu(翁诗甫). Fourier Transform Infrared Spectrometer(傅里叶变
换红外光谱仪). Beijing(北京): Chemical Industry Press(化学工业出版社), 2005:
1～33
26 Cao J, Lin X. Engineering Applications of Artificial Intelligence, 2008, 21(8): 1255～1263
1.%% 清空环境变量
2.clear all
3.clc
4.
5.%% 训练集/测试集产生
6.
7.% 导入数据
8.load water_data.mat
9.% 数据归一化
10.attributes = mapminmax(attributes);
11.% 训练集——35个样本
12.P_train = attributes(:,1:35);
13.T_train = classes(:,1:35);
14.% 测试集——4个样本
15.P_test = attributes(:,36:end);
16.T_test = classes(:,36:end);
17.
18.%% 竞争神经网络创建、训练及仿真测试
19.
20.% 创建网络
https://www.doczj.com/doc/bb599610.html, = newc(minmax(P_train),4,0.01,0.01);
22.% 设置训练参数
https://www.doczj.com/doc/bb599610.html,.trainParam.epochs = 500;
24.% 训练网络
https://www.doczj.com/doc/bb599610.html, = train(net,P_train);
26.% 仿真测试
27.% 训练集
28.t_sim_compet_1 = sim(net,P_train);
29.T_sim_compet_1 = vec2ind(t_sim_compet_1);
30.% 测试集
31.t_sim_compet_2 = sim(net,P_test);
32.T_sim_compet_2 = vec2ind(t_sim_compet_2);
33.
34.%% SOFM神经网络创建、训练及仿真测试
35.
36.% 创建网络
https://www.doczj.com/doc/bb599610.html, = newsom(P_train,[4 4]);
38.% 设置训练参数
https://www.doczj.com/doc/bb599610.html,.trainParam.epochs = 200;
40.% 训练网络
https://www.doczj.com/doc/bb599610.html, = train(net,P_train);
42.% 仿真测试
43.% 训练集
44.t_sim_sofm_1 = sim(net,P_train);
45.T_sim_sofm_1 = vec2ind(t_sim_sofm_1);
46.% 测试集
47.t_sim_sofm_2 = sim(net,P_test);
48.T_sim_sofm_2 = vec2ind(t_sim_sofm_2);
49.
50.%% 结果对比
51.
52.% 竞争神经网络
53.result_compet_1 = [T_train' T_sim_compet_1']
54.result_compet_2 = [T_test' T_sim_compet_2']
55.% SOFM神经网络
56.result_sofm_1 = [T_train' T_sim_sofm_1']
57.result_sofm_2 = [T_test' T_sim_sofm_2']
如第25章及第26章所述，对于有导师学习神经网络，事先需要知道与输入相对应的期望输出，根据期望输出与网络输出间的偏差来调整网络的权值和阈值。然而，在大多数情况下，由于人们认知能力以及环境的限制，往往无法或者很难获得期望的输出，在这种情况下，基于有导师学习的神经网络往往是无能为力的。
与有导师学习神经网络不同，无导师学习神经网络在学习过程中无需知道期望的输出。其与真实人脑中的神经网络类似，可以通过不断地观察、分析与比较，自动揭示样本中的内在规律和本质，从而可以对具有近似特征（属性）的样本进行准确地分类和识别。本章将详细介绍竞争神经网络与自组织特征映射（SOFM）神经网络的结构及原理，并以实例说明其具体的应用范围及效果。
近年来，国内煤矿事故时有发生，严重危害了人们的生命和财产安全。其中，由于煤矿突
水造成的事故不容忽视。因此，不少专家和学者致力于研究矿井突水事故的预防，突水水
源的判别对预测矿井突水事故的发生有着重要的意义。
相关研究表明，可以利用水化学法判别矿井的突水水源，其基本依据是：由于受到含水层
的沉积期、地层岩性、建造和地化环境等诸多因素的影响，使储存在不同含水层中的地下
水主要化学成分有所不同。为了准确地判别突水水源，需要综合多种因素，用的比较多的
是“7大离子”溶解氧、硝酸根离子等。
目前，有很多种判别突水水源的方法，如模糊综合评判、模糊聚类分析、灰色关联度法等，然而这些方法都要事先假定模式或主观规定一些参数，致使评价的结果主观性较强。
现采集到某矿的39个水源样本，分别来自于4个主要含水层：二灰和奥陶纪含水层、八
灰含水层、顶板砂岩含水层和第四系含水层（砂砾石成分以石灰岩为主）。以每个水源样
本中的等7种离子的含量作为判别因素，试利用竞争神经网络和SOFM神经网络分别建立判别模型，并对模型的性能进行综合评价。
principal component analysis(PCA)主成分分析
1.function main()
2.%*************主成份分析************
3.%
4.%see also https://www.doczj.com/doc/bb599610.html,
5.%
6.%读入文件数据
7.X=load('data.txt');
8.%==========方法1:求标准化后的协差矩阵,再求特征根和特征向量===
==============
9.%标准化处理
10.[p,n]=size(X);
11.f or j=1:n
12. mju(j)=mean(X(:,j));
13. sigma(j)=sqrt(cov(X(:,j)));
14.e nd
15.f or i=1:p
16. for j=1:n
17. Y(i,j)=(X(i,j)-mju(j))/sigma(j);
18. end
19.e nd
20.s igmaY=cov(Y);
21.%求X标准化的协差矩阵的特征根和特征向量
22.[T,lambda]=eig(sigmaY);
23.d isp('特征根(由小到大):');
24.d isp(lambda);
25.d isp('特征向量:');
26.d isp(T);
27.%方差贡献率;累计方差贡献率
28.X sum=sum(sum(lambda,2),1);
29.f or i=1:n
30. fai(i)=lambda(i,i)/Xsum;
31.e nd
32.f or i=1:n
33. psai(i)= sum(sum(lambda(1:i,1:i),2),1)/Xsum;
34.e nd
35.d isp('方差贡献率:');
36.d isp(fai);
37.d isp('累计方差贡献率:');
38.d isp(psai);
39.%综合评价....略
SVM神经网络的数据分类预测----意大利葡萄酒种类识别
该案例作者申明：
1：本人长期驻扎在此板块里，对该案例提问，做到有问必答。本套书籍官方网站为：
https://www.doczj.com/doc/bb599610.html,
2：点此从当当预定本书：《Matlab神经网络30个案例分析》。
3：此案例有配套的教学视频，视频下载方式https://www.doczj.com/doc/bb599610.html,/vbuy.html。
4：此案例为原创案例，转载请注明出处（《Matlab神经网络30个案例分析》）。
5：若此案例碰巧与您的研究有关联，我们欢迎您提意见，要求等，我们考虑后可以加在案例里。
by liyang[faruto] @ faruto's Studio~ Email:faruto@https://www.doczj.com/doc/bb599610.html,
QQ:516667408 https://www.doczj.com/doc/bb599610.html,/faruto https://www.doczj.com/doc/bb599610.html, https://www.doczj.com/doc/bb599610.html, https://www.doczj.com/doc/bb599610.html,
Contents
?清空环境变量
?数据的提取和预处理
?SVM网络训练
?SVM网络预测
?结果分析
清空环境变量
close all;
clear;
clc;
format compact;
数据的提取和预处理
% 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量
load chapter12_wine.mat;
% 画出测试数据的可视化图
figure
subplot(3,5,1);
hold on
for run = 1:178
plot(run,wine_labels(run));
end
title('class','FontSize',10);
for run = 2:14
subplot(3,5,run);
hold on;
str = ['attrib ',num2str(run-1)];
for i = 1:178
plot(i,wine(i,run-1));
end
title(str,'FontSize',10);
end
% 选定训练集和测试集
% 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集
train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)];
% 相应的训练集的标签也要分离出来
train_wine_labels =
[wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)];
% 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集
test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)];
% 相应的测试集的标签也要分离出来
test_wine_labels =
[wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)];
% 数据预处理,将训练集和测试集归一化到[0,1]区间
% mapminmax为matlab自带的映射函数
[train_wine,pstrain] = mapminmax(train_wine');
% 将映射函数的范围参数分别置为0和1
pstrain.ymin = 0;
pstrain.ymax = 1;
% 对训练集进行[0,1]归一化
[train_wine,pstrain] = mapminmax(train_wine,pstrain);
% mapminmax为matlab较新版本自带的映射函数
[test_wine,pstest] = mapminmax(test_wine');
% 将映射函数的范围参数分别置为0和1
pstest.ymin = 0;
pstest.ymax = 1;
% 对测试集进行[0,1]归一化
[test_wine,pstest] = mapminmax(test_wine,pstest);
% 对训练集和测试集进行转置,以符合libsvm工具箱的数据格式要求train_wine = train_wine';
test_wine = test_wine';
SVM网络训练
model = svmtrain(train_wine_labels, train_wine, '-c 2 -g 0.02'); SVM网络预测
[predict_label, accuracy] = svmpredict(test_wine_labels, test_wine, model);
Accuracy = 96.6292% (86/89) (classification)
结果分析
% 测试集的实际分类和预测分类图
% 通过图可以看出只有三个测试样本是被错分的
figure;
hold on;
plot(test_wine_labels,'o');
plot(predict_label,'r*');
legend('实际测试集分类','预测测试集分类');
title('测试集的实际分类和预测分类图','FontSize',10);
% web https://www.doczj.com/doc/bb599610.html,/forum-31-1.html
web https://www.doczj.com/doc/bb599610.html,/forum-31-1.html-new;
例1 采用动量梯度下降算法训练 BP 网络。
训练样本定义如下：
输入矢量为
p =[-1 -2 3 1
-1 1 5 -3]
目标矢量为 t = [-1 -1 1 1]
解：本例的 MATLAB 程序如下：
close all
clear
echo on
clc
% NEWFF——生成一个新的前向神经网络
% TRAIN——对 BP 神经网络进行训练
% SIM——对 BP 神经网络进行仿真
pause
% 敲任意键开始
clc
% 定义训练样本
% P 为输入矢量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 为目标矢量
T=[-1, -1, 1, 1];
pause;
clc
% 创建一个新的前向神经网络
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm') % 当前输入层权值和阈值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 当前网络层权值和阈值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 设置训练参数
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 调用 TRAINGDM 算法训练 BP 网络
[net,tr]=train(net,P,T);
pause
clc
% 对 BP 网络进行仿真
A = sim(net,P)
% 计算仿真误差
E = T - A
MSE=mse(E)
pause
clc
echo off
例 2 采用贝叶斯正则化算法提高 BP 网络的推广能力。在本例中，我们采用两种训练方法，即 L-M 优化算法（trainlm）和贝叶斯正则化算法（trainbr），用以训练 BP 网络，使其能
够拟合某一附加有白噪声的正弦样本数据。其中，样本数据可以采用如下MATLAB 语句生成：
输入矢量：P = [-1:0.05:1]；
目标矢量：randn(’seed’,78341223)；
T = sin(2*pi*P)+0.1*randn(size(P))；
解：本例的 MATLAB 程序如下：
close all
clear
echo on
clc
% NEWFF——生成一个新的前向神经网络
% TRAIN——对 BP 神经网络进行训练
% SIM——对 BP 神经网络进行仿真
pause
% 敲任意键开始
clc
% 定义训练样本矢量
% P 为输入矢量
P = [-1:0.05:1];
% T 为目标矢量
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));
% 绘制样本数据点
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':');
% 绘制不含噪声的正弦曲线
echo on
clc
pause
clc
% 创建一个新的前向神经网络
net=newff(minmax(P),[20,1],{'tansig','purelin'});
pause
clc
echo off
clc
disp('1. L-M 优化算法 TRAINLM'); disp('2. 贝叶斯正则化算法 TRAINBR'); choice=input('请选择训练算法(1,2):');
figure(gcf);
if(choice==1)
echo on
clc
% 采用 L-M 优化算法 TRAINLM
net.trainFcn='trainlm';
pause
clc
% 设置训练参数
net.trainParam.epochs = 500;
net.trainParam.goal = 1e-6;
net=init(net);
% 重新初始化
pause
clc
elseif(choice==2)
echo on
clc
% 采用贝叶斯正则化算法 TRAINBR net.trainFcn='trainbr';
pause
clc
% 设置训练参数
net.trainParam.epochs = 500;
randn('seed',192736547);
net = init(net);
% 重新初始化
pause
clc
end
% 调用相应算法训练 BP 网络
[net,tr]=train(net,P,T);
pause
clc
% 对 BP 网络进行仿真
A = sim(net,P);
% 计算仿真误差
浅谈主成分分析与因子分析 1、主成分分析 主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。这种将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析，也是数学上处理降维的一种方法。主成分分析的一般目的是：(1)变量的降维；(2)主成分的解释。 1.1基本思想 主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1,F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。这些主成分不仅不相关，而且他们的方差依次递减。 1.2计算步骤 设有n个样品，每个样品观测P个指标，将原始数据写成矩阵。 （1）将原始数据标准化，即将每个指标的原始数据减去这个指标的均值后，再除以这个指标的标准差。 （2）建立变量的相关系数阵：。 （3）求R的特征根及相应的单位特征向量。 在解决实际问题时，一般不是取p个主成分，而是根据累计贡献率的大小取前k个，称第一主成分的贡献率为，这个值越大，表明第一主成分综合
科技文献检索作业 卷 试 料 小波分析及其应用 测控技术1103 雷创新
小波分析及其应用 1.小波分析的概念和特点 1.1小波理论的发展概况 20世纪80年代逐渐发展和兴起的小波分析(wavelctanalysis)是20世纪 数学领域中研究的重要杰出成果之一。小波分析理论作为数学界中一种比较成熟的理论基础，应用到了各种领域的研究当中，推动了小波分析在各工程应用中的发展。它作为一种新的现代数字信号处理算法，汲取了现代分析学中诸如样条分析、傅立叶分析、数值分析和泛函分析等众数学多分支的精华部分，替代了工程界中一直应用的傅立叶变换，它是一种纯频域分析方法，不能在时频同时具有局部化特性。而小波分析中的多尺度分析思想，犹如一台变焦照相机，可以由粗及精逐步观察信号，在局部时频分析中具有很强的灵活性，因此有“数学显微镜”的美称。它能自动随着频率增加而调节成窄的“时窗”和宽的“频窗”，又随着频率降低而调节成宽的“时窗”和窄的“频窗”以适应实际分析需要。另外，小波变换在经过适当离散后可以够成标准正交基或正交系，这些在理论和应用上都具有十分重要的意义，因此，小波分析在各个领域得到了高度的重视并取得了许多重要的成果。 小波变换作为一种数学理论和现代数字信号处埋方法在科学技术界引起了越来越多专家学者的关注和重视。在数学家看来，基于小波变换的小波分析技术是当今数值分析、泛函分析、调和分析等半个多世纪以来发展最完美的结晶，是正在发展中的新的数学分支。在工程领域，特别是在信号处理、图像处理、机器视觉、模糊识别、语音识别、流体力学、量子物理、地震勘测、电磁学、CT成像、机械故障诊断与监控等领域，它被认为是近年来在工具及方法上的重大突破。然而，小波分析虽然在众多领域中已经取得了一定的成果，但是，有专家预言小波分析理论的真正高潮并没有到来。首先，小波分析尚需进一步完善，除一维小波分析理论比较成熟以外，向量小波和多维小波则需要进行更加深入的研究与讨论;其次，针对不同情况选择不同的小波基函数，实现的效果是有差别性的这一问题，对最优小波基函数的选取方法有待进一步研究。在今后数年中，小波理论将成为科技工作者经常使用的又一锐利数学工具，极大地促进科技进步及各个领域工程应用的新发展。 小波分析的概念最早是在1974年由法国地质物理学家 J.Morlet提出的，并通过物理直观和信号处理的实际经验建立了反
主 成分分析方法 地理环境是多要素的复杂系统，在我们进行地理系统分析时，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，我们就会很自然地想到，能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息事实上，这种想法是可以实现的，这里介绍的主成分分析方法就是综合处理这种问题的一种强有力的方法。 一、主成分分析的基本原理 主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。假定有n个地理样本，每个样本共有p个变量描述，这样就构成了一个n×p阶的地理数据矩阵：
111212122212p p n n np x x x x x x X x x x ???=????L L L L L L L （1） 如何从这么多变量的数据中抓住地理事物的内在规律性呢要解决这一问题，自然要在p 维空间中加以考察，这是比较麻烦的。为了克服这一困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。那么，这些综合指标（即新变量)应如何选取呢显然，其最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。 如果记原来的变量指标为x 1，x 2，…，x p ，它们的综合指标——新变量指标为z 1，z 2，…，zm （m≤p)。则 11111221221122221122,,......................................... ,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++??=+++????=+++?L L L （2）
https://www.doczj.com/doc/bb599610.html,/ysuncn/archive/2007/12/08/1924502.aspx 一、问题的提出 在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。而影响事物的特征及其发展规律的因素（指标）是多方面的，因此，在对该事物进行研究时，为了能更全面、准确地反映出它的特征及其发展规律，就不应仅从单个指标或单方面去评价它，而应考虑到与其有关的多方面的因素，即研究中需要引入更多的与该事物有关系的变量，来对其进行综合分析和评价。多变量大样本资料无疑能给研究人员或决策者提供很多有价值的信息，但在分析处理多变量问题时，由于众变量之间往往存在一定的相关性，使得观测数据所反映的信息存在重叠现象。因此为了尽量避免信息重叠和减轻工作量，人们就往往希望能找出少数几个互不相关的综合变量来尽可能地反映原来数据所含有的绝大部分信息。而主成分分析和因子分析正是为解决此类问题而产生的多元统计分析方法。 近年来，这两种方法在社会经济问题研究中的应用越来越多，其应用范围也愈加广泛。因子分析是主成分分析的推广和发展，二者之间就势必有着许多共同之处，而SPSS软件不能直接进行主成分分析，致使一些应用者在使用SPSS进行这两种方法的分析时，常常会出现一些混淆性的错误，这难免会使人们对分析结果产生质疑。因此，有必要在运用SPSS分析时，将这两种方法加以严格区分，并针对实际问题选择正确的方法。 二、主成分分析与因子分析的联系与区别 两种方法的出发点都是变量的相关系数矩阵，在损失较少信息的前提下，把多个变量（这些变量之间要求存在较强的相关性，以保证能从原始变量中提取主成分）综合成少数几个综合变量来研究总体各方面信息的多元统计方法，且这少数几个综合变量所代表的信息不能重叠，即变量间不相关。 主要区别： 1. 主成分分析是通过变量变换把注意力集中在具有较大变差的那些主成分上，而舍弃那些变差小的主成分；因子分析是因子模型把注意力集中在少数不可观测的潜在变量（即公共因子）上，而舍弃特殊因子。 2. 主成分分析是将主成分表示为原观测变量的线性组合， （1） 主成分的个数i=原变量的个数p，其中j=1,2,…,p，是相关矩阵的特征值所对应的特征向量矩阵中的元素，是原始变量的标准化数据，均值为0，方差为1。其实质是p维空间的坐标变换，不改变原始数据的结构。 而因子分析则是对原观测变量分解成公共因子和特殊因子两部分。因子模型如式（2），
现代数字信号处理作业 小波分析及其应用 电研111 梁帅
小波分析及其应用 1.小波分析的概念和特点 1.1小波理论的发展概况 20世纪80年代逐渐发展和兴起的小波分析(wavelctanalysis)是20世纪数学领域中研究的重要杰出成果之一。小波分析理论作为数学界中一种比较成熟的理论基础，应用到了各种领域的研究当中，推动了小波分析在各工程应用中的发展。它作为一种新的现代数字信号处理算法，汲取了现代分析学中诸如样条分析、傅立叶分析、数值分析和泛函分析等众数学多分支的精华部分，替代了工程界中一直应用的傅立叶变换，它是一种纯频域分析方法，不能在时频同时具有局部化特性。而小波分析中的多尺度分析思想，犹如一台变焦照相机，可以由粗及精逐步观察信号，在局部时频分析中具有很强的灵活性，因此有“数学显微镜”的美称。它能自动随着频率增加而调节成窄的“时窗”和宽的“频窗”，又随着频率降低而调节成宽的“时窗”和窄的“频窗”以适应实际分析需要。另外，小波变换在经过适当离散后可以够成标准正交基或正交系，这些在理论和应用上都具有十分重要的意义，因此，小波分析在各个领域得到了高度的重视并取得了许多重要的成果。 小波变换作为一种数学理论和现代数字信号处埋方法在科学技术界引起了越来越多专家学者的关注和重视。在数学家看来，基于小波变换的小波分析技术是当今数值分析、泛函分析、调和分析等半个多世纪以来发展最完美的结晶，是正在发展中的新的数学分支。在工程领域，特别是在信号处理、图像处理、机器视觉、模糊识别、语音识别、流体力学、量子物理、地震勘测、电磁学、CT成像、机械故障诊断与监控等领域，它被认为是近年来在工具及方法上的重大突破。然而，小波分析虽然在众多领域中已经取得了一定的成果，但是，有专家预言小波分析理论的真正高潮并没有到来。首先，小波分析尚需进一步完善，除一维小波分析理论比较成熟以外，向量小波和多维小波则需要进行更加深入的研究与讨论;其次，针对不同情况选择不同的小波基函数，实现的效果是有差别性的这一问题，对最优小波基函数的选取方法有待进一步研究。在今后数年中，小波理论将成为科技工作者经常使用的又一锐利数学工具，极大地促进科技进步及各个领域工程应用的新发展。 小波分析的概念最早是在1974年由法国地质物理学家J.Morlet提出的，并通过物理直观和信号处理的实际经验建立了反演公示，但当时该理论未能得到数学家的认可。1986年法国数学家YMcyer偶尔构造出一个真正的小波基，并与
根据主成分分析的方法，分析……的数据。步骤如下： Step 1：为了消除不同变量的量纲的影响，首先需要对变量进行标准化，设检测数据样本共有n 个，指标共有p 个，分别设1X ,2X ,p X ，令ij X (i=1,2,…,n;j=1,2,…,p)为第i 个样本第j 个指标的值。作变换 ) Var(X )E(X X Y j j j j -= (j=1,2,…,p) 得到标准化数据矩阵j j ij ij s x x y -= ，其中∑==i 1i ij j x n 1x ,∑=-=n 1 i 2j ij 2 j )x x (n 1s Step 2：在标准化数据矩阵p n ij )y (Y ?=的基础上计算p 个原始指标相关系数矩阵 ??? ??? ????? ???==?pp 2 p 1p p 22221p 112 11p p ij r r r r r r r r r )r (R ΛM M M M Λ Λ 其中，∑∑∑===----= n 1 k n 1 k 2 j k j 2i k i n 1 k j k j i k i ij )x x ()x x () x x )(x x (r (i,j=1,2,…,p) Step 3：求相关系数矩阵R 的特征值并排序0p 21≥λ≥≥λ≥λΛ,再求出R 的特征值相应的正则化特征向量)e ,,e ,e (e ip i21i i K =，则第i 个主成分表示为各指标k X 的组合∑=?=p 1i k ik i X e Z 。 Step 4：计算累积贡献率确定主成分的数目。主成分i Z 的贡献率为 )p ,,2,1i (w p 1 k k i i Λ=λ λ= ∑= 累计贡献率为 ) p ,,2,1i (p i 1 k k Λ=λ∑=
主成分分析和因子分析的区别 通过主成分分析所得来的新变量是原始变量的线性组合，每个主成分都是由原有P个变量线组合得到，在诸多主成分z中，Z1在总方差中占的比重最大，说明它综合原有变量的能力最强，其余主成分在总方差中占的比重依次递减，说明越往后的主成分综合原信息的能力越弱。以后的分析可以用前面几个方差最大的主成分来进行，一般情况下，要求前几个z 所包含的信息不少于原始信息的85％，这样既减少了变量的数目，又能够用较少的主成分反映原有变量的绝大部分信息。如利用主成分来消除多元回归方程的多重共线性，利用主成分来筛选多元线性回归方程中的变量等。 通过因子分析得来的新变量是对每一个原始变量进行内部剖析。打比喻来说，原始变量就如成千上万的糕点，每一种糕点的原料都有面粉、油、糖及相应的不同原料，这其中，面粉、油、糖是所有糕点的共同材料，这正好象是因子分析中的新变量即因子变量。正确选择因子变量后，如果想考虑成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公共因子的物价变动即可。所以因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。即因子分析就是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它把原始变量分解为两部分因素，一部分是由所有变量共同具有的少数几个公共因子构成的，另一部分是每个原始变量独自具有的因素，即特殊因子。 1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成各个变量的线性组合。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1，x2，. . . ，x3 ，经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到。在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱。 2、主成分分析的重点在于解释各变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。 3、主成分分析中不需要有假设(assumptions)，因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。 4、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不到的因子。 5、在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。 和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这种区分不是绝对的。
主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差-协方差结构.综合指标即为主成分.所得出的少数几个主成分,要尽可能多地保留原始变量的信息,且彼此不相关.因子分析是研究如何以最少的信息丢失,将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计分析方法. 聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构,并且对每一个数据集进行描述的过程.其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不同组的样本应该足够不相似. 三种分析方法既有区别也有联系,本文力图将三者的异同进行比较,并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益. 二、基本思想的异同 (一) 共同点 主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息,变量虽然较原始变量少,但所包含的信息量却占原始信息的85 %以上,所以即使用少数的几个新变量,可信度也很高,也可以有效地解释问题.并且新的变量彼此间互不相关,消除了多重共线性.这两种分析法得出的新变量,并不是原始变量筛选后剩余的变量.在主成分分析中,最终确定的新变量是原始变量的线性组合,如原始变量为x1 ,x2 ,. . . ,x3 ,经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到.在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱.因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系,它不是对原始变量的重新组合,而是对原始变量进行分解,分解为公共因子与特殊因子两部分.公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子.对新产生的主成分变量及因子变量计算其得分,就可以将主成分得分或因子得分代替原始变量进行进一步的分析,因为主成分变量及因子变量比原始变量少了许多,所以起到了降维的作用,为我们处理数据降低了难度. 聚类分析的基本思想是: 采用多变量的统计值,定量地确定相互之间的亲疏关系,考虑对象多因素的联系和主导作用,按它们亲疏差异程度,归入不同的分类中一元,使分类更具客观实际并能反映事物的
《水文小波分析原理及其应用》考试试题 课程编号：7.637 学分：3.0 任课教师：刘东考试形式：开卷 一、写出下列专业术语的英文表达（每小题1分，共10分） （1）小波分析: wavelet analysis； （2）小波变换：wavelet transformation； （3）小波函数：wavelet function； （4）小波消噪：Wavelet denoising； （5）小波方差：Wavelet variance ； （6）连续小波变换：Continuous wavelet transform； （7）离散小波变换：Discrete wavelet transform ； （8）小波人工神经网络模型：Wavelet artificial neural network model； （9）小波随机耦合模型：Wavelet stochastic coupling model； （10）快速小波变换算法：Fast wavelet transform algorithm。 二、论述学习“水文小波分析原理及其应用”课程的目的与意义。（10分）答：水文学是研究地球上水分分布、循环、运动等变化规律及水－环境相互作用的一门科学，属于地球科学的一个分支。水文时间序列在各种因素影响下具有确定性成分、随机成分）。水文学的一个重要研究途径就是利用现有分析技术对水文时间序列进行描述，探讨水文系统的演变规律。 小波变换克服了Fourier变换的不足，能够反映出水文时间序列在时频域上的总体特征以及时频局部化信息，被誉为“数学显微镜”。利用小波分析的多分辨率功能，可以充分挖掘水文时间序列所包含的信息，展现水文时间序列的精细结构，从而使我们更好地掌握水文时间序列的多时间尺度变化特征及突变特征。
姓名：学号： 课程名称：小波理论及应用 实验名称：上机实践作业 实验序号：第一次实验日期：2014.05.12 学院及专业名称： 同组人：独立完成 实验成绩：总成绩： 教师评语： 指导教师签字： 年月日
实验报告一 一、 实验目的 1、 运用傅里叶变换知识对常用的基本函数做基本变换。 2、 加深对因果滤波器的理解，并会判断因果滤波器的类型。 3、 运用卷积公式对基本信号做滤波处理并作出分析，以加深理解 4、 熟悉Matlab 中相关函数的用法 二、 实验原理 1 ．运用傅里叶正、反变换的基本公式： ( )?()() ()(),1 1?()(),22ωωωωωωωωπ π ∞∞---∞ -∞ ∞ --∞ ==== =?? ? i x i t i t i t i t f f x e dx f t e dt f t e f t f e d f t e （2-1） 及其性质，对所要处理信号做相应的傅里叶变换和逆变换。 2．运用卷积的定义式：1212()()()()+∞ -∞ *=-?f t f t f f t d τττ （2-2） 对所求信号做滤波处理。 三、 实验步骤与内容 实验题目： Butterworth 滤波器，其冲击响应函数为 ,0 ()0, 0若若α-?≥=?
更多精彩统计学相关文章，请访问“统计之都”Capital of Statistics——https://www.doczj.com/doc/bb599610.html,
主成分分析和因子分析的区别
一、二者在 SPSS 中的实现
（一） 、因子分析在 进行因子分析主要步骤如下： 1. 2. 3. 4. 5. 指标数据标准化（SPSS 软件自动执行） ； 指标之间的相关性判定； 确定因子个数； 综合得分表达式； 各因子 Fi 命名； 例子：对沿海 10 个省市经济综合指标进行因子分析 （一）指标选取原则 本文所选取的数据来自 《中国统计年鉴 2003》 2002 年的统计数据,在沿海 10 省市经济状况主要指标 中 体系中选取了 10 个指标： X1——GDP X3——农业增加值 X5——第三产业增加值 X7——基本建设投资 X9——海关出口总额 X2——人均 GDP X4——工业增加值 X6——固定资产投资 X8——国内生产总值占全国比重（%） X10——地方财政收入
SPSS 中的实现
图表 1 沿海 10 个省市经济数据 社会消 农业增加 工业增加 第三产业 固定资产 基本建设 费品零 值 值 增加值 投资 投资 售总额 14883.3 1390 950.2 83.9 1122.6 86.2 680 663 1023.9 591.4 1376.2 3502.5 1406.7 822.8 3536.3 2196.2 2356.5 1047.1 4224.6 367 2258.4 3851 2092.6 960 3967.2 2755.8 3065 1859 4793.6 995.7 1315.9 2288.7 1161.6 703.7 2320 1970.2 2296.6 964.5 3022.9 542.2 529 1070.7 597.1 361.9 1141.3 779.3 1180.6 397.9 1275.5 352.7 2258.4 3181.9 1968.3 941.4 3215.8 2035.2 2877.5 1663.3 5013.6 1025.5
地区
GDP
人均 GDP 13000 11643 9047 22068 14397 40627 16570 13510 15030 5062
海关出 地方财 口总额 政收入 123.7 211.1 45.9 115.7 384.7 320.5 294.2 173.7 1843.7 15.1 399.7 610.2 302.3 171.8 643.7 709 566.9 272.9 1202 186.7
辽宁 5458.2 山东 10550 河北 6076.6 天津 2022.6 江苏 浙江 福建 广东 10636 7670 4682 11770 上海 5408.8
广西 2437.2
（二）因子分析在 SPSS 中的具体操作步骤
1
主成分分析、因子分析步骤 不同点主成分分析因子分析 概念具有相关关系的p个变量，经过线性组合后成为k个不相关的新 变量将原数据中多个可能相关的变量综合成少数几个不相关的可反映原始变量的绝大多数信息的综合变量 主要目标减少变量个数，以较少的主成分 来解释原有变量间的大部分变 异，适合于数据简化 找寻变量间的部相关性及潜在的共同因素，适 合做数据结构检测 强调重点强调的是解释数据变异的能力， 以方差为导向，使方差达到最大 强调的是变量之间的相关性，以协方差为导向， 关心每个变量与其他变量共同享有部分的大小 最终结 果应用 形成一个或数个总指标变量反映变量间潜在或观察不到的因素 变异解释程度它将所有的变量的变异都考虑 在，因而没有误差项 只考虑每一题与其他题目共同享有的变异，因 而有误差项，叫独特因素 是否需要旋转主成分分析作综合指标用， 不需要旋转 因子分析需要经过旋转才能对因子作命名与解 释 是否有假设只是对数据作变换，故不需要假 设 因子分析对资料要求需符合许多假设，如果假 设条件不符，则因子分析的结果将受到质疑 因子分析 1 【分析】→【降维】→【因子分析】 （1）描述性统计量（Descriptives）对话框设置 KMO和Bartlett的球形度检验（检验多变量正态性和原始变量是否适合作因子分析）。
（2）因子抽取（Extraction）对话框设置 方法：默认主成分法。主成分分析一定要选主成分法 分析：主成分分析：相关性矩阵。 输出：为旋转的因子图 抽取：默认选1. 最大收敛性迭代次数：默认25. （3）因子旋转（Rotation）对话框设置 因子旋转的方法，常选择“最大方差法”。“输出”框中的“旋转解”。
现代统计学 1.因子分析(Factor Analysis) 因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子（之所以称其为因子，是因为它是不可观测的，即不是具体的变量），以较少的几个因子反映原资料的大部分信息。 运用这种研究技术，我们可以方便地找出影响消费者购买、消费以及满意度的主要因素是哪些，以及它们的影响力（权重）运用这种研究技术，我们还可以为市场细分做前期分析。 2.主成分分析 主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。(screening the data),b,和cluster analysis一起使用，c，和判别分析一起使用，比如当变量很多，个案数不多，直接使用判别分析可能无解，这时候可以使用主成份发对变量简化。（reduce dimensionality）d,在多元回归中，主成分分析可以帮助判断是否存在共线性（条件指数），还可以用来处理共线性。 主成分分析和因子分析的区别 1、因子分析中是把变量表示成各因子的线性组合，而主成分分析中则是把主成分表示成个变量的线性组合。 2、主成分分析的重点在于解释个变量的总方差，而因子分析则把重点放在解释各变量之间的协方差。 3、主成分分析中不需要有假设(assumptions),因子分析则需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。 4、主成分分析中，当给定的协方差矩阵或者相关矩阵的特征值是唯一的时候，的主成分一般是独特的；而因子分析中因子不是独特的，可以旋转得到不同的因子。 5、在因子分析中，因子个数需要分析者指定（spss根据一定的条件自动设定，只要是特征值大于1的因子进入分析），而指定的因子数量不同而结果不同。在主成分分析中，成分的数量是一定的，一般有几个变量就有几个主成分。 和主成分分析相比，由于因子分析可以使用旋转技术帮助解释因子，在解释方面更加有优势。大致说来，当需要寻找潜在的因子，并对这些因子进行解释的时候，更加倾向于使用因子分析，并且借助旋转技术帮助更好解释。而如果想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析。当然，这中情况也可以使用因子得分做到。所以这中区分不是绝对的。 总得来说，主成分分析主要是作为一种探索性的技术，在分析者进行多元数据分析之前，用主成分分析来分析数据，让自己对数据有一个大致的了解是非常重要的。主成分分析一般很少单独使用：a，了解数据。(screening the data),b,
小波分析理论简介 （一） 傅立叶变换伟大的历史贡献及其局限性 1 Fourier 变换 1807年，由当年随拿破仑远征埃及的法国数学、物理学家傅立叶（Jean Baptistle Joseph Fourier ,1786-1830),提出任意一个周期为T (=π2)的函数 )(t f ，都可以用三角级数表示： )(t f = ∑∞ -∞=k ikt k e C = 20 a + ∑∞=1cos k k kt a + ∑∞ =1 sin k k kt b (1) k C = π 21 ? -π 20 )(dt e t f ikt = * ikt e f , (2) k k k C C a -+= )(k k k C C i b --= (3) 对于离散的时程 )(t f ，即 N 个离散的测点值 m f ，=m 0,1，2，……,N-1, T 为测量时间： )(t f =2 0a + )sin cos (12 1∑-=+N k k k k k t b t a ωω+t a N N 2 2cos 21 ω=∑-=1 0N k t i k k e C ω （4） 其中 ∑-== 1 02cos 2 N m m k N km x N a π ，=k 0，1，2，…,2N (5) ∑-== 1 2sin 2N m m k N km x N b π , =k 1,2,…, 2N -1 (6) ∑-=-= 1 )/2(1N m N km i m k e x N C π ，=k 0，1，2，…,N-1 (7) t N k k ?=π ω2 ，N T t =? (8) 当T ∞→ 时，化为傅立叶积分（即 Fourier 变换）： ? ∞ ∞ --= dt e t f f t i ωω)()( =t i e f ω, （9） ωωπ ωd e f t f t i )(21 )(? ∞ ∞ -= (10)
根据主成分分析的方法，分析 ……的数据。步骤如下： Step 1为了消除不同变量的量纲的影响，首先需要对变量进行标准化，设检测 数据样本 共有n 个，指标共有p 个，分别设X i ,X 2,X p ，令 X j (i=1,2,…,n;j=1,2,…,p)为第i 个样本第j 个指标的值。作变换 X 乂」已心“,…,p ) Var(X j ) Step 2：在标准化数据矩阵Y (y j )np 的基础上计算p 个原始指标相关系数矩阵 R (r j )pp r 11 *2 r 21 r 22 r 1p r 2p r p1 r p2 r pp n (X ki X i )(x kj X j ) 其中，r j k 1 (i j=1 2 -?? p) n n ( I,J=I ,2, ,p) (X ki X i ) (X X j )2 .k 1 k 1 Step 3:求相关系数矩阵 R 的特征值并排序1 2 p 0,再求出R 的特征 值相应的正则化特征向量 e i (e i1 , e i2 , ,e ip ) ， 则第i 个主成分表示为各指标X k p 的组合Z i e ik X k i 1 Step 4：计算累积贡献率确定主成分的数目。主成分 累计贡献率为 (i 1,2, ,p) 得到标准化数据矩阵y j X ij S j 仝，其中X j 2 X j ,S j n i i (X j X j )2 n i i w i i p k k 1 (i 1,2, ,p) 乙的贡献率为
般取累计贡献率达85%~95%的特征值 1, 2 , m 所对应的第1、第2,…, 2 / 5 第m (m W p )个主成分 Step 5:计算主成分载荷，确定综合得分。当主成分之间不相关时，主成分载荷 是主成分 和各指标的相关系数，相关系数越大，说明主成分对该指标变量的代 表性就越好，计算公式为 l j P ( Z i ,xj ... i e j (i,j 1,2, ,p) Step 6:各主成分的得分，确定综合评分函数。得到各主成分的载荷以后，可以 计算各主 成分的得分 m 则第i 个样本的综合得分f i W k Z ik (i=1,2,…,n); k 1 附件中共有28个月的数据，这里仅随机选择 2005年4月的数据来说明利 分析进行水质综合评价的过程(同理可进行其他月份的数据分析)。 调用MATLAB 统计工具箱princomp 函数，格式为： [pc,score,late nt,tsquare]=pri ncomp(i ngredie nts) 其中in gredie nts 指标准化后的样本指标矩阵，pc 是指各主成分关于指标的线性 组合的系数矩阵，score 为各主成分得分，late nt 是方差矩阵的特征值，tsquare 为 Hotelling T 2 统计量。 各种指标的相关系数矩阵: Z i 111 X i l 12 X 2 l 1p X Z 2 1 21 X 1 1 2 2 X 2 2p X p m1X 1 1 m 2X 2 m p X p Z (Z j )n Z 11 Z 12 Z 21 Z 22 Z 1 m Z 2m ，其中z ij 表示第i 个样本第j 个主成分得分, Z n1 Z n2 z nm
2011-2012 学年第一学期 2011级硕士研究生考试试卷 课程名称：小波变换理论及应用任课教师：考试时间：分钟 考核类型：A（）闭卷考试（80%）+平时成绩（20%）； B（）闭卷考试（50%）+ 课程论文（50%）； C（√）课程论文或课程设计（70%）+平时成绩（30%）。 一、以图示的方式详细说明连续小波变换（CWT）的运算过程，分析小波变换的内涵；并阐述如何从多分辨率（MRA）的角度构造正交小波基。（20分） 二、综述小波变换理论与工程应用方面的研究进展，不少于3000字。（25分） 三、运用MATLAB中的小波函数和小波工具箱，分别对taobao.wav语音信号在加噪之后的taobao_noise.wav信号进行降噪处理，要求列出程序、降噪结果及降噪的理论依据。（25分） 四、平时成绩。（30分）
（一）连续小波变换（CWT ）的运算过程及内涵 将平方可积空间中任意函数f （t ）在小波基下展开，称这种展开为函数f （t ）的连续小波变换（Continue Wavelet Transform ，简记CWT ）其表达式为 t a b t t f a b a f W d )(*)(||1),(? ∞+∞--=ψψ （ 1.1） 其中，a ∈R 且a ≠0。式（1.19）定义了连续小波变换，a 为尺度因子，表示与频率相关的伸 缩，b 为时间平移因子。其中)(| |1)(,a b t a t b a -=ψψ为窗口函数也是小波母函数。 从式（1.1）可以得出，连续小波变换计算分以下5个步骤进行。 ① 选定一个小波，并与处在分析时段部分的信号相比较。 ② 计算该时刻的连续小波变换系数C 。如图1.5所示，C 表示了该小波与处在分析时段内的信号波形相似程度。C 愈大，表示两者的波形相似程度愈高。小波变换系数依赖于所选择的小波。因此，为了检测某些特定波形的信号，应该选择波形相近的小波进行分析。 图1.5 计算小波变换系数示意图 ③ 如图1.6所示，调整参数b ，调整信号的分析时间段，向右平移小波，重复①～②步骤，直到分析时段已经覆盖了信号的整个支撑区间。 ④ 调整参数a ，尺度伸缩，重复①～③步骤。 ⑤ 重复①～④步骤，计算完所有的尺度的连续小波变换系数，如图1.7所示。 图1.6 不同分析时段下的信号小波变换系数计算 图1.7 不同尺度下的信号小波变换系数计算 C =0.2247
第一讲 主成分分析在数学建模中的应用 1．学习目的 1.理解主成分分析的基本思想； 2.会用SAS 软件编写相关程序，对相关数据进行主成分分析； 3.会用SAS 软件编程结合主成分分析方法解决实际问题。 2．学习要求 1.理解主成分分析的基本原理，掌握主成分分析的基本步骤； 2.会用SAS 软件编写相关程序，对相关数据进行分析处理和假设检验； 3.撰写不少于3000字的小论文； 4. 精读一篇优秀论文。 理论基础 1基本思想 在实际问题的研究中，往往会涉及众多的变量。但是，变量太多不但会增加计算的复杂性，而且也给合理地分析问题和解释问题带来困难。一般来说，虽然每个变量提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这些变量加以“改造”，用为数较少的互不相关的新变量来反映原来变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。主成分分析就是在这种降维的思想下产生的处理高维数据的方法。 基本原理 （1）.总体的主成分 定义1.设' 12(,,)X X X =p …,X 为P 维随机向量，称' i i Z a X =为X 的第i 主成分（i=1,2,…P ），如果： (1) ' 1(1,2,);i i a a i ==…,p (2) 当i>1时，' 0(1,2,);i j a a j ==∑…i-1 (3) ''' 1,0(1,) ()max ()j i a a a a j Var Z Var a X ====∑…i-1 定理 1.设' 12(,,)X X X =p …,X 是P 维随机向量，且()D X =∑， ∑的特征值为 120p λλλ≥≥≥≥…，12,,p a a a …,为相应的单位正交特征向量，则X 的第i 主成分为 'i i Z a X = (1,2,).i =…,p
主成分分析和因子分析十大不同点 主成分分析和因子分析无论从算法上还是应用上都有着比较相似之处，本文结合以往资料以及自己的理解总结了以下十大不同之处，适合初学者学习之用。 1.原理不同 主成分分析基本原理：利用降维（线性变换）的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分）,即每个主成分都是原始变量的线性组合,而且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。 因子分析基本原理：利用降维（线性变换）的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）。 2.线性表示方向不同 因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成分表示成各变量的线性组合。 3.假设条件不同 主成分分析：不需要有假设（assumptions）。 因子分析：需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specific factor）之间也不相关，共同因子和特殊因子之间也不相关。4.求解方法不同 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知），采用的方法只有主成分法。（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）。 注意事项：由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；一般当变量单位相同或者变量在同一数量等级的情况下，可以直接采用协方差阵进行计算；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；实际应用中应该尽可能的避免标准化，因为在标准化的过程中会抹杀一部分原本刻画变量之间离散程度差异的信息。此外，最理想的情况是主成分分析前的变量之间相关性高，且变量之间不存在多重共线性问题(会出现最小特征根接近0的情况)。 求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。
主成分分析和因子分析有十大区别： 1.原理不同 主成分分析基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分),即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。 因子分析基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系） 2.线性表示方向不同 因子分析是把变量表示成各公因子的线性组合；而主成分分析中则是把主成分表示成各变量的线性组合。 3.假设条件不同 主成分分析：不需要有假设(assumptions), 因子分析：需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不相关，共同因子和特殊因子之间也不相关。 4.求解方法不同 求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知），采用的方法只有主成分法。 （实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计） 注意事项：由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；一般当变量单位相同或者变量在同一数量等级的情况下，可以直接采用协方差阵进行计算；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；实际应用中应该尽可能的避免标准化，因为在标准化的过程中会抹杀一部分原本刻画变量之间离散程度差异的信息。此外，最理想的情况是主成分分析前的变量之间相关性高，且变量之间不存在多重共线性问题(会出现最小特征根接近0的情况)； 求解因子载荷的方法：主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。 5.主成分和因子的变化不同 主成分分析：当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的独特的； 因子分析：因子不是固定的，可以旋转得到不同的因子。 6.因子数量与主成分的数量 主成分分析：主成分的数量是一定的，一般有几个变量就有几个主成分（只是主成分所解释的信息量不等），实际应用时会根据碎石图提取前几个主要的主成分。 因子分析：因子个数需要分析者指定（SPSS和sas根据一定的条件自动设定，只要是特征值大于1的因子主可进入分析），指定的因子数量不同而结果也不同； 7.解释重点不同： 主成分分析：重点在于解释个变量的总方差， 因子分析：则把重点放在解释各变量之间的协方差。 8.算法上的不同： 主成分分析：协方差矩阵的对角元素是变量的方差； 因子分析：所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变