当前位置:文档之家› 数据标准化.归一化处理

数据标准化.归一化处理

数据标准化.归一化处理
数据标准化.归一化处理

数据的标准化

在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”

和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。

一、Min-max 标准化

min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为:

新数据=(原数据-极小值)/(极大值-极小值)

二、z-score 标准化

这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。

新数据=(原数据-均值)/标准差

spss默认的标准化方法就是z-score标准化。用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。步骤如下:

求出各变量(指标)的算术平均值(数学期望)xi和标准差si ;

.进行标准化处理:zij=(xij-xi)/si,其中:zij为标准化后的变量值;xij为实际变量值。

将逆指标前的正负号对调。标准化后的变量值围绕0上下波动,

大于0说明高于平均水平,小于0说明低于平均水平。

三、Decimal scaling小数定标标准化

这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x 使用decimal scaling标准化到x'的计算方法是:x'=x/(10*j)

其中,j是满足条件的最小整数。例如假定A的值由-986到917,A的最大绝对值为986,为使用小数定标标准化,我们用1000(即,j=3)除以每个值,这样,-986被规范化为-0.986。注意,标准化会对原始数据做出改变,因此需要保存所使用的标准化方法的参数,以便对后续的数据进行统一的标准化。除了上面提到的数据标准化外还有对数Logistic模式、模糊量化模式等等:对数Logistic模式:新数据=1/(1+e^(-原数据))模糊量化模式:新数据=1/2+1/2sin[派3.1415/(极大值-极小值)*(X-(极大值-极小值)/2)] ,X为原数据

数据归一化

归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。归一化是为了加快训练网络的收敛性,可以不进行归一化处理

归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一化是同一在0-1之间的统计概率分布;SVM是以降维后线性划分距离来分类和仿真的,因此时空降维归一化是统一在-1--+1之间的统计坐标分布。

当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。

归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用要好。

但是归一化处理并不总是合适的,根据输出值的分布情况,标准化等

其它统计变换方法有时可能更好。

主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速,应该归到数字信号处理范畴之内。

归一化方法(Normalization Method)

1。把数变为(0,1)之间的小数主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理,更加便捷快速,应该归到数字信号处理范畴之内。

2 。把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量。比如,复数阻抗可以归一化书写:Z = R + jωL = R(1 + jωL/R) ,复数部分变成了纯数量了,没有量纲。

标准化方法(Normalization Method)

数据的标准化是将数据按比例缩放,使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的,为了能够将指标参与评价计算,需要对指标进行规范化处理,通过函数变换将其数值映射到某个数值区间。

关于神经网络(matlab)归一化的整理

关于神经网络归一化方法的整理

由于采集的各数据单位不一致,因而须对数据进行[-1,1]归一化处理,归一化方法主要有如下几种,供大家参考:(by james)

1、线性函数转换,表达式如下:

y=(x-MinValue)/(MaxValue-MinValue)

说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。

2、对数函数转换,表达式如下:

y=log10(x)

说明:以10为底的对数函数转换。

3、反余切函数转换,表达式如下:

y=atan(x)*2/PI

归一化是为了加快训练网络的收敛性,可以不进行归一化处理

归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1~+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一化是统一在0-1之间的统计概率分布;

当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。

归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。

但是归一化处理并不总是合适的,根据输出值的分布情况,标准化等

其它统计变换方法有时可能更好。

关于用premnmx语句进行归一化:

Premnmx语句格式:

[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)

其中P,T分别为原始输入和输出数据,minp和maxp分别为P中的最小值和最大值(最大最小是针对矩阵的行来取,而min(p)是针对矩阵的列来取)。mint和maxt分别为T的最小值和最大值。

premnmx函数用于将网络的输入数据或输出数据进行归一化,归一化后的数据将分布在[-1,1]区间内。

我们在训练网络时如果所用的是经过归一化的样本数据,那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理,这就要用到tramnmx。

关于用tramnmx语句进行归一化:

Tramnmx语句格式:

[Pn]=tramnmx(P,minp,maxp)

其中P和Pn分别为变换前、后的输入数据,maxp和minp分别为premnmx函数找到的最大值和最小值。

(by terry2008)

matlab中的归一化处理有三种方法

1. premnmx、postmnmx、tramnmx

2. restd、poststd、trastd

3. 自己编程

具体用那种方法就和你的具体问题有关了

(by happy)

pm=max(abs(p(i,:))); p(i,:)=p(i,:)/pm;

for i=1:27

p(i,:)=(p(i,:)-min(p(i,:)))/(max(p(i,:))-min(p(i,:)));

end 可以归一到0 1 之间

0.1+(x-min)/(max-min)*(0.9-0.1)其中max和min分别表示样本最大值和最小值。

这个可以归一到0.1-0.9

矩阵归一化

归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。在matlab里面,用于:

归一化的方法共有三种

(1)premnmx、postmnmx、tramnmx

premnmx指的是归一到[-1 1]。

(2)prestd、poststd、trastd

prestd归一到单位方差和零均值。

(3)是用matlab语言自己编程。

关于自己编程一般是归一到[0.1 0.9]。

为什么要用归一化呢?首先先说一个概念,叫做奇异样本数据,所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。

下面举例:

m=[0.11 0.15 0.32 0.45 30;

0.13 0.24 0.27 0.25 45];

其中的第五列数据相对于其他4列数据就可以成为奇异样本数据(下面所说的网络均值bp)。奇异样本数据存在所引起的网络训练时间增加,并可能引起网络无法收敛,所以对于训练样本存在奇异样本数据的数据集在训练之前,最好先进形归一化,若不存在奇异样本数据,则不需要事先归一化。

一个小程序:

p=[1.3711 1.3802 1.3636 1.3598 1.3502 1.3404 1.3284 1.3160 1.3118 1.3032 1.2989 1.2945 1.2923 1.2923 1.2856 1.2788 1.2742 1.2672 1.2577 1.2279 1.1903 1.0864 0.9956 ]; t=[0 1.38 1.68 1.98 2.08 2.23 2.53 2.83 2.93 3.13 3.23 3.33 3.43 3.53 3.63 3.73 3.83 3.93 4.03 4.13 4.23 4.33 4.43];

u=p;

tt=t;

p=(p-min(p))/(max(p)-min(p));%g归一化

t=(t-min(t))/(max(t)-min(t));

net=newff(minmax(p),[23 1],{'tansig' 'purelin'},'traingdx'); net.trainParam.epochs=1000;

net.trainParam.goal=0.001;

net.trainParam.show=10;

net.trainParam.lr=0.05;

[net,tr,Y,E]=train(net,p,t);

a=sim(net,p);

out=a*(max(tt)-min(tt))+min(tt);%反归一化

x=u;

y=tt;

figure(1)

plot(x,y,'k*',x,y,'-k',u,out,'ko')

title('70°EPDM的压缩永久变形')

legend('*试验数据o预测结果')

xlabel('压缩变形保持率')

ylabel('时间的对数log10(t)')

grid on

matlab归一化处理数据

matlab 中归一化的几种方法及其各自的适用条件 关于神经网络(matlab)归一化的整理 关于神经网络归一化方法的整理 由于采集的各数据单位不一致,因而须对数据进行[-1,1]归一化处理,归一化方法主要有如下几种,供大家参考:(by james) 1、线性函数转换,表达式如下: y=(x-MinValue)/(MaxValue-MinValue) 说明:x、y分别为转换前、后的值,MaxValue、MinValue分别为样本的最大值和最小值。 2、对数函数转换,表达式如下: y=log10(x) 说明:以10为底的对数函数转换。 3、反余切函数转换,表达式如下: y=atan(x)*2/PI 归一化是为了加快训练网络的收敛性,可以不进行归一化处理 归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布,归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的,归一化是同一在0-1之间的统计概率分布; 当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢。为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小。 归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。所以这样做分类的问题时用[0.9 0.1 0.1]就要比用[1 0 0]要好。 但是归一化处理并不总是合适的,根据输出值的分布情况,标准化等其它统计变换方法有时可能更好。 关于用premnmx语句进行归一化: premnmx语句的语法格式是:[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T) 其中P,T分别为原始输入和输出数据,minp和maxp分别为P中的最小值和最大值。mint 和maxt分别为T的最小值和最大值。 premnmx函数用于将网络的输入数据或输出数据进行归一化,归一化后的数据将分布在[-1,1]区间内。 我们在训练网络时如果所用的是经过归一化的样本数据,那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理,这就要用到tramnmx。 下面介绍tramnmx函数: [Pn]=tramnmx(P,minp,maxp) 其中P和Pn分别为变换前、后的输入数据,maxp和minp分别为premnmx函数找到的最大值和最小值。 (by terry2008) matlab中的归一化处理有三种方法 1. premnmx、postmnmx、tramnmx

数据标准化处理方法

数据标准化处理方法 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。 一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA 分别为属性A的最小值和最大值,将A的一个原始值x通过min-max 标准化映射成在区间[0,1]中的值x',其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化

这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。 z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。 新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。 步骤如下: 1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; 2.进行标准化处理: zij=(xij-xi)/si 其中:zij为标准化后的变量值;xij为实际变量值。 3.将逆指标前的正负号对调。 标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。 三、Decimal scaling小数定标标准化

归一化方法

1.1 1.2 归一化方法 数据的归一化的目的是将不同量纲和不同数量级大小的数据转变成可以相互进行数学运算的具有相同量纲和相同数量级的具有可比性的数据。数据归一化的方法主要有线性函数法、对数函数法、反余切函数法等 线性函数法 对于样本数据x (n ),n =1,2,……,N ,归一化后的样本数据可以采用三种表示方法,分别是最大最小值法、均值法和中间值法。最大最小值法用于将样本数据归一化到[0,1]范围内;均值法用于将数据归一化到任意范围内,但最大值与最小值的符号不可同时改变;中间值法用于将样本数据归一化到[-1,1]范围内,三种方法的公式分别如式(0-1)、式(0-2)、式(0-3)所示。 ()(()min(()))(max(())min(())),1,2, ,y k x k x n x n x n k N =--= (0-1) 1 () 1(),1,2, ,,()N i x k y k A k N x x i N x ==== ∑ (0-2) ()(),1,2,,1 (max(()))2 min(())mid x n x k x y k k N x n -= =- (0-3) max(())min((),1,2, ,2 ) mid x n n n N x x += = (0-4) 其中min(x (n ))表示样本数据x (n )的最小值,max(x (n ))表示样本数据x (n )的最大值,x 表示样本数据x (n )的均值,mid x 为样本数据x (n )的中间值,A 为调节因子,是一个常数,用于根据工程实际需要来调节样本数据的范围。 对数函数法 对于样本数据x (n ),n =1,2,……,N,归一化后的样本数据y (n )用公式表示为: 10()log (()),1,2, ,y k x k k N == (0-5) 对数函数法主要用于数据的数量级非常大的场合。 反余切函数法 对于样本数据x (n ),n =1,2,……,N ,归一化后的样本数据y (n )用公式表示为:

数据标准化.归一化处理

数据的标准化 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”

和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。 一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。 新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。步骤如下: 求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; .进行标准化处理:zij=(xij-xi)/si,其中:zij为标准化后的变量值;xij为实际变量值。 将逆指标前的正负号对调。标准化后的变量值围绕0上下波动,

数据标准化处理

在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。 一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。 z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。 新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。 步骤如下: 1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; 2.进行标准化处理: zij=(xij-xi)/si 其中:zij为标准化后的变量值;xij为实际变量值。 3.将逆指标前的正负号对调。 标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。 三、Decimal scaling小数定标标准化 这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A

数据标准化的原因和方法

数据标准化的原因和方法 一、为何要将数据标准化? 由于不同变量常常具有不同的单位和不同的变异程度。不同的单位常使系数的实践解释发生困难。例如:第1个变量的单位是kg,第2个变量的单位是cm,那么在计算绝对距离时将出现将两个事例中第1个变量观察值之差的绝对值(单位是kg)与第2个变量观察值之差的绝对值(单位是cm )相加的情况。使用者会说5kg的差异怎么可以与3cm的差异相加?不同变量自身具有相差较大的变异时,会使在计算出的关系系数中,不同变量所占的比重大不相同。例如如果第1个变量(两水稻品种米粒中的脂肪含量)的数值在 2%到4%之间,而第2个变量(两水稻品种的亩产量)的数值范围都在1000与5000之间。为了消除量纲影响和变量自身变异大小和数值大小的影响,故将数据标准化。 二、数据标准化的方法: 1、对变量的离差标准化 离差标准化是将某变量中的观察值减去该变量的最小值,然后除以该变量的极差。即 x’ =[x ik-Min (x k)]/R k ik 经过离差标准化后,各种变量的观察值的数值范围都将在〔0,1〕之间,并且经标准化的数据都是没有单位的纯数量。离差标准化是消除量纲(单位)影响和变异大小因素的影响的最简单的方法。有一些关系系数(例如绝对值指数尺度)在定义时就已经要求对数据进行离差标准化,但有些关系系数的计算公式却没有这样要求,当选用这类关系系数前,不妨先对数据进行标准化,看看分析的结果是否为有意义的变化。 2,对变量的标准差标准化 标准差标准化是将某变量中的观察值减去该变量的平均数,然后除以该变量的标准差。即 x’ = (x ik- )/s k ik 经过标准差标准化后,各变量将有约一半观察值的数值小于0,另一半观察值的数值大于0,变量的平均数为0,标准差为1。经标准化的数据都是没有单位的纯数量。对变量进行的标准差标准化可以消除量纲(单位)影响和变量自身变异的影响。但有人认为经过这种标准化后,原来数值较大的的观察值对分类结果的影响仍然占明显的优势,应该进一步消除大小因子的影响。尽管如此,它还是当前用得最多的数据标准化方法。

数据归一化方法大全

数据归一化方法大全 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。 一、m ax Min标准化 - M i n标准化方法是对原始数据进行线性变换。设minA和maxA分别- m a x 为属性A的最小值和最大值,将A的一个原始值x通过m ax Min标准化映射 - 成在区间[0,1]中的值'x,其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。 z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。 新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。 步骤如下: 1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; 2.进行标准化处理: zij=(xij-xi)/si 其中:zij为标准化后的变量值;xij为实际变量值。 3.将逆指标前的正负号对调。 标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。

数据的标准化

数据的标准化 数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理,即将数据统一映射到[0,1]区间上,常见的数据归一化的方法有:min-max标准化(Min-max normalization)也叫离差标准化,是对原始数据的线性变换,使结果落到[0,1]区间,转换函数如下:其中max为样本数据的最大值,min为样本数据的最小值。这种方法有一个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。log函数转换通过以10为底的log函数转换的方法同样可以实现归一下,具体方法如下:看了下网上很多介绍都是x*=log10(x),其实是有问题的,这个结果并非一定落到[0,1]区间上,应该还要除以log10(max),max为样本数据最大值,并且所有的数据都要大于等于1。atan 函数转换用反正切函数也可以实现数据的归一化:使用这个方法需要注意的是如果想映射的区间为[0,1],则数据都应该大于等于0,小于0的数据将被映射到[-1,0]区间上。而并非所有数据标准化的结果都映射到[0,1]区间上,其中最常见的标准化方法就是Z标准化,也是SPSS中最为常用的标准化方法:z-score 标准化(zero-mean normalization)也叫标准差标准化,经过处理的数据符合标准正态分布,即均值为0,标准差为1,其转化函数为:其中μ为所有样本数据的均值,σ为所有样本数据的标准差。 z-score 标准化 用zscore,标准化的目的是:使得平均值为0,标准差为1,这样可以使不同量纲的数据放在一个矩阵. >> A=magic(4) A = 16 2 3 13 5 11 10 8 9 7 6 12 4 14 1 5 1 >> [Z,MU,SIGMA] = zscore(A) Z = 1.3770 -1.2509 -1.0585 0.8262 -0.6426 0.4811 0.2887 -0.0918

归一化方法

1.1 归一化方法 数据的归一化的目的是将不同量纲和不同数量级大小的数据转变成可以相互进行数学运算的具有相同量纲和相同数量级的具有可比性的数据。数据归一化的方法主要有线性函数法、对数函数法、反余切函数法等 线性函数法 对于样本数据x (n ),n =1,2,……,N ,归一化后的样本数据可以采用三种表示方法,分别是最大最小值法、均值法和中间值法。最大最小值法用于将样本数据归一化到[0,1]范围内;均值法用于将数据归一化到任意范围内,但最大值与最小值的符号不可同时改变;中间值法用于将样本数据归一化到[-1,1]范围内,三种方法的公式分别如式(2-1)、式(2-2)、式(2-3)所示。 ()(()min(()))(max(())min(())),1,2,,y k x k x n x n x n k N =--= (0-1) 1 () 1(),1,2,,,()N i x k y k A k N x x i N x ====∑ (0-2) ()(),1,2,,1 (max(()))2 min(())mid x n x k x y k k N x n -= =- (0-3) max(())min((),1,2,,2 ) mid x n n n N x x += = (0-4) 其中min(x (n ))表示样本数据x (n )的最小值,max(x (n ))表示样本数据x (n )的最大值,x 表示样本数据x (n )的均值,mid x 为样本数据x (n )的中间值,A 为调节因子,是一个常数,用于根据工程实际需要来调节样本数据的范围。 对数函数法 对于样本数据x (n ),n =1,2,……,N,归一化后的样本数据y (n )用公式表示为: 10()log (()),1,2,,y k x k k N == (0-5) 对数函数法主要用于数据的数量级非常大的场合。 反余切函数法 对于样本数据x (n ),n =1,2,……,N ,归一化后的样本数据y (n )用公式表示为: 2 ()arctan(()),1,2,,y k x k k N π = = (0-6) 反余切函数法主要用于将角频率等变量转换到[-1,1]范围。

数据标准化处理方法终审稿)

数据标准化处理方法文稿归稿存档编号:[KKUY-KKIO69-OTM243-OLUI129-G00I-FDQS58-

数据标准化处理方法 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。 一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x',其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。 z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。

新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。 步骤如下: 1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; 2.进行标准化处理: zij=(xij-xi)/si 其中:zij为标准化后的变量值;xij为实际变量值。 3.将逆指标前的正负号对调。 标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。 三、Decimal scaling小数定标标准化 这种方法通过移动数据的小数点位置来进行标准化。小数点移动多少位取决于属性A的取值中的最大绝对值。将属性A的原始值x使用decimal scaling标准化到x'的计算方法是: x'=x/(10*j)

数据标准化归一化处理

数据的标准化化准数据标常我们通需要先将,在分数据析之前 数据标准,利用标准化后的数据进行数据分析。normalization)(同趋化处化也就是统计数据的指数化数据标准化处理主要包括数据。 不同性质数据数据同趋化理和无量纲化处理处理主要解决两个方面。 问题,对不同性质指标直接加总不能正确反映不同作用力的综合结使所有指标对测评方案的作用力须先考虑改变逆指标数据性质,果,数据数据无量纲化处理主要解决再加总才能得出正确结果。同趋化,的可比性。去除数据的单

位限制,将其转化为无量纲的纯数值,便于有很不同单位或量级的指标能够进行比较和加权。数据标准化的方法标准化”和“按小Z-score“、多种,常用的有“最小—最大标准化” 数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲 可以进行综合指标值都处于同一个数量级别上,即各化指标测评值, 测评分析。 一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA 分别为属性A的最小值和最大值,将A的一个原始值x通过min-max 标准化映射成在区间[0,1]中的值x',其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。 新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。用Excel进行z-score 标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其

数据标准化的原因及方法

数据标准化的原因及方法 (2011-01-21 20:43:34) 转载▼ 标签: 杂谈 一、为何要将数据标准化? 由于不同变量常常具有不同的单位和不同的变异程度。不同的单位常使系数的实践解释发生困难。例如:第1个变量的单位是kg,第2个变量的单位是cm,那么在计算绝对距离时将出现将两个事例中第1个变量观察值之差的绝对值(单位是kg)与第2个变量观察值之差的绝对值(单位是cm )相加的情况。使用者会说5kg的差异怎么可以与3cm的差异相加?不同变量自身具有相差较大的变异时,会使在计算出的关系系数中,不同变量所占的比重大不相同。例如如果第1个变量(两水稻品种米粒中的脂肪含量)的数值在2%到4%之间,而第2个变量(两水稻品种的亩产量)的数值范围都在1000与5000之间。为了消除量纲影响和变量自身变异大小和数值大小的影响,故将数据标准化。 二、数据标准化的方法: 1、对变量的离差标准化 离差标准化是将某变量中的观察值减去该变量的最小值,然后除以该变量的极差。即x’ik=[x ik-Min (x k)]/R k 经过离差标准化后,各种变量的观察值的数值范围都将在〔0,1〕之间,并且经标准化的数据都是没有单位的纯数量。离差标准化是消除量纲(单位)影响和变异大小因素的影响的最简单的方法。有一些关系系数(例如绝对值指数尺度)在定义时就已经要求对数据进行离差标准化,但有些关系系数的计算公式却没有这样要求,当选用这类关系系数前,不妨先对数据进行标准化,看看分析的结果是否为有意义的变化。 2,对变量的标准差标准化 标准差标准化是将某变量中的观察值减去该变量的平均数,然后除以该变量的标准差。即 x’ik=(x ik-)/s k 经过标准差标准化后,各变量将有约一半观察值的数值小于0,另一半观察值的数值大于0,变量的平均数为0,标准差为1。经标准化的数据都是没有单位的纯数量。对变量进行的标准差标准化可以消除量纲(单位)影响和变量自身变异的影响。但有人认为经过这种标准化后,原来数值较大的的观察值对分类结果的影响仍然占明显的优势,应该进一步消除大小因子的影响。尽管如此,它还是当前用得最多的数据标准化方法。 3,先对事例进行标准差标准化,再对变量进行标准差标准化 第一步,先对事例进行标准差标准化,即将某事例中的观察值减去该事例的平均数,然后除以该事例的标准差。即 x’ik=(x ik-)/s i 第二步,再对变量进行标准差标准化,即将某变量中的观察值减去该变量的平均数,然后除以该变量的标准差。即

归一化与反归一化

为什么要归一化? 答:为了减少数据中存在的奇异样本数据存在所引起的网络训练时间增加,并可能引起网络无法收敛。其次保证程序运行时收敛加快。 ============外一篇有关mapminmax的用法详解by faruto================================== 几个要说明的函数接口: [Y,PS] = mapminmax(X) [Y,PS] = mapminmax(X,FP) Y = mapminmax('apply',X,PS) X = mapminmax('reverse',Y,PS) 用实例来讲解,测试数据x1 = [1 2 4], x2 = [5 2 3]; >> [y,ps] = mapminmax(x1) y = -1.0000 -0.3333 1.0000 ps = name: 'mapminmax' xrows: 1 xmax: 4 xmin: 1 xrange: 3 yrows: 1 ymax: 1 ymin: -1 yrange: 2 其中y是对进行某种规范化后得到的数据,这种规范化的映射记录在结构体ps中.让我们来看一下这个规范化的映射到底是怎样的? Algorithm

It is assumed that X has only finite real values, and that the elements of each row are not all equal. ?y = (ymax-ymin)*(x-xmin)/(xmax-xmin) + ymin; ?[关于此算法的一个问题.算法的假设是每一行的元素都不想相同,那如果都相同怎么办?实现的办法是,如果有一行的元素都相同比 如xt = [1 1 1],此时xmax = xmin = 1,把此时的变换变为y = ymin,matlab内部就是这么解决的.否则该除以0了,没有意义!] 也就是说对x1 = [1 2 4]采用这个映射f: 2*(x-xmin)/(xmax-xmin)+(-1),就可以得到y = [ -1.0000 -0.3333 1.0000] 我们来看一下是不是: 对于x1而言xmin = 1,xmax = 4; 则y(1) = 2*(1 - 1)/(4-1)+(-1) = -1; y(2) = 2*(2 - 1)/(4-1)+(-1) = -1/3 = -0.3333; y(3) = 2*(4-1)/(4-1)+(-1) = 1; 看来的确就是这个映射来实现的. 对于上面algorithm中的映射函数其中ymin,和ymax是参数,可以自己设定,默认为-1,1; 比如: >>[y,ps] = mapminmax(x1) >> ps.ymin = 0; >> [y,ps] = mapminmax(x1,ps) y = 0 0.3333 1.0000 ps = name: 'mapminmax' xrows: 1 xmax: 4 xmin: 1

归一化系数的计算

在区域生态环境状况评价时,用到生态环境状况指数,其中关于归一化系数的问题,我有几点看法: 1、归一化系数适用于什么范围? 归一化系数,应该是对数据的标准化的一种方法,或者叫做对数据的无量纲化。就是把反应生态环境质量的各个数据通过数据的无量纲化,统一到同一个层面上,便于比较。这个归一化系数起的就是这个作用(用到的标准化方法应该叫做最大值法标准化)。 对单个区域,如一个县,或者某个开发区、流域等没有办法用,只有针对几个县(区)、省、全国,一组数据,才可能有最大值、最小值。具有相对性,非绝对性。 2、全省、全国的数据,如何用? 在使用归一化系数时,不是必须用本省的归一化系数,归一化系数不是必须用全国或者全省的数据。如果能找到一系列的县域的数据,可以计算,几个县也可以弄出自己的系数。但一般情况下是运用本年度的全国的数据或者全省的数据,多年来生态环境状况指数是一个考核的指数,这方面的数据是有统计的。 3、归一化系数是定值吗? 归一化系数是动态变化的,不是定值,随着时间、生态质量而变化。即是透过同一个时间段内的一系列数据算出来的。(比如2008年,全河北省的138个县的归一化系数) 4、A最大值,如何计算? 如几个县的生物丰度,(0.35×林地面积+0.21×草地面积+0.28×水域湿地面积……)/全县面积,取最大的一个县的值。即比如县A、B、C、D、E、F的生物丰度分别是0.56、0.23、0.36、0.85、0.02、0.22,则最大值便是0.85,其归一化指数是100/0.85. 5、如果沿海发达地区,无论是评价一个县,还是多个县,应参考全国的数据? 这个问题的回答是,国家没有这方面的规定。

数据的标准化处理及实际应用

数据的标准化处理及实际应用 数据标准化处理是数据挖掘一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标即处于同一数量级,适合进行综合对比评价。 极差法 极差法是对原始数据的线性变换,首先计算指标值得最小值、 最大值,计算 极差,通过极差法将指标值映射到[0-1]之间。公式为: 新数据=(原数据-极小值)/ (极大值-极小值) t ;r ? min 需= ~ max — frun Z-score 标准化法 SPSS默认的数据标准化方法即是Z得分法,这种方法基于原始数据的均值 (mean和标准差(standard deviation )进行数据的标准化。经过处理的数 据符合标准正态分布,即均值为0,标准差为1。公式为: 其中卩为所有样本数据的均值,c为所有样本数据的标准差。 数据标准化的另外一个实用之处 在实际应用中,数据标准化不只是用于指标的可比性处理,还有一些非常实用的用处,利用标准化方法将指标归到最适于我们观测的范围,更加直观。且看案例:有一组数据,是学生参加某次社会公益活动的数据,其中有一指标为:在校综合评价指数,反映学生在校综合表现水平。

可以看出这个指标的范围为[0-140],但这个范围不太符合我们在学校里的习惯,在学校里经常用[0-100]的百分制,60分以上基本认可为及格,现在这个范围不能直观的反映学生在校表现水平。此时,极差法是一个非常好的选择,我 们可以将[0-140]数值,映射到[0-100],便于直观对比学生的表现。 公式为:(原数据-极小值)/ (极大值-极小值)*100 我们再来看看结果:

数据归一化和两种常用的归一化方法

数据归一化和两种常用的归一化方法 数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,如此的情况会阻碍到数据分析的结果,为了消除指标之间的量纲阻碍,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据通过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。以下是两种常用的归一化方法: 一、min-max标准化(Min-Max Normalization) 也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间。转换函数如下: 其中max为样本数据的最大值,min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。 二、Z-score标准化方法 这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。通过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为: 其中为所有样本数据的均值,为所有样本数据的标准差。

“[学校计划]下学期英语教研组计划”学校工作计划 别详一、指导思想: 在教务处的领导下,团结奋斗,协调好各备课组间的关系。仔细学习新的教学大纲,巩固进展爱校爱生、教书育人,富有进取精神、乐观积极向上的融洽的教研新风貌,在上届中招取得良好成绩的基础上,为把我组的教研水平提高到一具新的台阶而努力奋斗。 二、奋斗目标: 1、开展学习新大纲的活动,稳步扎实地抓好素养教育; 2、加强教研治理,为把我组全体教师的教学水平提高一具新层面而奋斗; 3、协调处理好学科关系,在各备课内积极加强集体备课活动,在教学过程中要求各备课组按照"五个一"要求,做好教研工作,即"统一集体备课,统一内容,统一进度,统一作业,统一测试"。 4、配合各备课组,搞好第二课堂活动,把创新教育理念灌输到教书育人的过程中。 三、具体措施: 1、期初及期中后召集全组教师会议,布置教研活动安排及进行新大纲学习; 2、降实各备课组教学进度表及教学打算; 3、有的放矢地开展第二课堂活动 初一年组织学生单词竞赛; 初二年组织学生进行能力比赛; 初三年组织学生进听力比赛; 其中初一年有条件的话多教唱英文歌曲,培养学生学习英语的兴趣,含介绍英美文化背景常识。 4、各备课组降实好课外辅导打算,给学有余力的部分学生制造条件,积极备战英语"奥赛"。 5、要求各科任教师,积极主动及时地反馈教情学情,并提出整改意见,指出努力方向; 6、针对别同年段学生的别同表现,注意做好学生的思想教育工作,寓思想教育于教学工作中; 7、降实本学期教研听评课工作安排。

数据标准化的几种方法

数据标准化的几种方法 在数据分析之前,我们通常需要先将数据标准化(normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。 一、Min-max 标准化 min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过 min-max标准化映射成在区间[0,1]中的值x',其公式为: 新数据=(原数据-极小值)/(极大值-极小值) 二、z-score 标准化

这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x'。 z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。 新数据=(原数据-均值)/标准差 spss默认的标准化方法就是z-score标准化。在SPSS中依次点击Analyze Descriptive Descriptive 点击Save standardized values as varianles即可。 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。 步骤如下: 1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; 2.进行标准化处理: zij=(xij-xi)/si 其中:zij为标准化后的变量值;xij为实际变量值。 3.将逆指标前的正负号对调。 标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。 三、Decimal scaling小数定标标准化

标准化的方法

数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。 数据标准化的方法: 1、对变量的离差标准化 离差标准化是将某变量中的观察值减去该变量的最小值,然后除以该变量的极差。即 x’ik=[x ik-Min (x k)]/R k 经过离差标准化后,各种变量的观察值的数值范围都将在〔0,1〕之间,并且经标准化的数据都是没有单位的纯数量。离差标准化是消除量纲(单位)影响和变异大小因素的影响的最简单的方法。有一些关系系数(例如绝对值指数尺度)在定义时就已经要求对数据进行离差标准化,但有些关系系数的计算公式却没有这样要求,当选用这类关系系数前,不妨先对数据进行标准化,看看分析的结果是否为有意义的变化。 2,对变量的标准差标准化(z-score标准化)

标准差标准化是将某变量中的观察值(原数据)减去该变量的平均数,然后除以该变量的标准差。 经过标准差标准化后,各变量将有约一半观察值的数值小于0,另一半观察值的数值大于0,变量的平均数为0,标准差为1。经标准化的数据都是没有单位的纯数量。对变量进行的标准差标准化可以消除量纲(单位)影响和变量自身变异的影响。但有人认为经过这种标准化后,原来数值较大的的观察值对分类结果的影响仍然占明显的优势,应该进一步消除大小因子的影响。尽管如此,它还是当前用得最多的数据标准化方法。 spss默认的标准化方法就是z-score标准化。在SPSS中依次点击Analyze Descriptive Descriptive 点击Save standardized values as varianles即可。 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。 步骤如下: 1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ; 2.进行标准化处理: zij=(xij-xi)/si 其中:zij为标准化后的变量值;xij为实际变量值。 3.将逆指标前的正负号对调。

数据归一化的Matlab实现

数据归一化汇总 ============外一篇有关mapminmax的用法详解by faruto================================== 几个要说明的函数接口: [Y,PS]=mapminmax(X) [Y,PS]=mapminmax(X,FP) Y=mapminmax('apply',X,PS) X=mapminmax('reverse',Y,PS) 用实例来讲解,测试数据x1=[124],x2=[523]; >>[y,ps]=mapminmax(x1) y= -1.0000-0.3333 1.0000 ps= name:'mapminmax' xrows:1 xmax:4 xmin:1 xrange:3 yrows:1 ymax:1 ymin:-1

yrange:2 其中y是对进行某种规范化后得到的数据,这种规范化的映射记录在结构体ps中.让我们来看一下这个规范化的映射到底是怎样的? Algorithm It is assumed that X has only finite real values,and that the elements of each row are not all equal. ?y=(ymax-ymin)*(x-xmin)/(xmax-xmin)+ymin; ?[关于此算法的一个问题.算法的假设是每一行的元素都不想相同,那如果都相同怎么办?实现的办法是,如果有一行的元素都相同比 如xt=[111],此时xmax=xmin=1,把此时的变换变为y= ymin,matlab内部就是这么解决的.否则该除以0了,没有意义!] 也就是说对x1=[124]采用这个映射f:2*(x-xmin)/(xmax-xmin)+(-1),就可以得到y=[-1.0000-0.3333 1.0000] 我们来看一下是不是:对于x1而言xmin=1,xmax=4; 则y(1)=2*(1-1)/(4-1)+(-1)=-1; y(2)=2*(2-1)/(4-1)+(-1)=-1/3=-0.3333; y(3)=2*(4-1)/(4-1)+(-1)=1; 看来的确就是这个映射来实现的. 对于上面algorithm中的映射函数其中ymin,和ymax是参数,可以自己设定,默认为-1,1;

归一化处理

数据归一化处理 1.我有一个问题不太明白,神经网络在训练时,先对数据进行归一化处理,按照常理训练完之后应该对数据再进行反归一化啊,可是再很多资料上根本就看不出有反归一化这个步骤,而且很多时候训练效果不是很好。请问,哪个大侠能帮帮我啊 2.看一下MATLAB里的premnmx函数和postmnmx函数.它们一个是归一一个是反归一 3.并不是归一化的数据训练效果就好 4.我也遇到过类似的问题,有篇论文就是用postmnmx函数.效果不好可能是样本数据不太准. 5.可以采用标准化PRESTD,效果很好。 6.样本数据和测试数据是否放在一起归一化? 7.应该将样本数据和测试数据放在一起归一化,不然如果测试数据中有的值比样本数据最大值还大,岂不是超过1了? 神经网络训练的时候,应该考虑极值情况,即归一化的时候要考虑你所需要识别参数的极值,以极值作分母,这样可能效果更好一点。 8.激发函数如果选用的是倒s型函数,应不存在归一化的问题吧 9.我想问大家一下:在神经网络中,只有一个函数即:purelin这个函数对训练的输出数据不用归一化,而象logsig 和tansig函数都要归一化(如果数据范围不在[-1,1]或[0,1]之间).那既然用purelin函数可以不用归一化,为何又是还用归一化呢? 用神经网络里的PRESTD, PREPCA, POSTMNMX, TRAMNMX等函数归一化和直接用purelin这个函数有什么区别啊? 我作负荷预测时,象不用归一化的效果很好呀! 10.purelin没有作归一化啊,你用logsig 和tansig作为神经元激励函数,输出范围自然限制在[-1,1]或[0,1]之间了 11. 我所知道的关于归一化: 归一化化定义:我是这样认为的,归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便,其次是保正程序运行时收敛加快。 在matlab里面,用于归一化的方法共有三中,(1)premnmx、postmnmx、tramnmx(2)prestd、poststd、trastd(3)是用matlab语言自己编程。premnmx指的是归一到[-1 1],prestd归一到单位方差和零均值。(3)关于自己编程一般是归一到[0.1 0.9] 。具体用法见下面实例。 为什么要用归一化? 为什么要用归一化呢?首先先说一个概念,叫做奇异样本数据,所谓奇异样本数据数据指的是相对于 其他输入样本特别大或特别小的样本矢量。 下面举例: m=[0.11 0.15 0.32 0.45 30; 0.13 0.24 0.27 0.25 45]; 其中的第五列数据相对于其他4列数据就可以成为奇异样本数据(下面所说的网络均值bp)。奇异样本数据存在所引起的网络训练时间增加,并可能引起网络无法收敛,所以对于训练样本存在奇异样本数据的数据集在训练之前,最好先进形归一化,若不存在奇异样本数据,则不需要事先归一化。 具体举例: close all clear echo on clc %BP建模 %原始数据归一化 m_data=[1047.92 1047.83 0.39 0.39 1.0 3500 5075; 1047.83 1047.68 0.39 0.40 1.0 3452 4912;

相关主题
文本预览
相关文档 最新文档