012. 数据预处理（1）——剔除异常值及平滑处理测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据（1）剔除异常值； 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行（2）平滑处理（去噪声干扰）； （一）剔除异常值。 注：若是有空缺值，或导入Matlab数据显示为“NaN”（非数），需要①忽略整条空缺值数据，或者②填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。
二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S -> 其中，11n i i x x n ==∑为样本均值，1 2 2 11()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+
数据中异常值的检测与处理方法 一、数据中的异常值 各种类型的异常值： 数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。例如：一个客户的年收入是$ 100,000。数据输入运算符偶然会在图中增加一个零。现在收入是100万美元，是现在的10倍。显然，与其他人口相比，这将是异常值。 测量误差：这是最常见的异常值来源。这是在使用的测量仪器出现故障时引起的。例如：有10台称重机。其中9个是正确的，1个是错误的。 有问题的机器上的人测量的重量将比组中其他人的更高/更低。在错误的机器上测量的重量可能导致异常值。 实验错误：异常值的另一个原因是实验错误。举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。 因此，这导致跑步者的跑步时间比其他跑步者多。他的总运行时间可能是一个离群值。 故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。例如：青少年通常会假报他们消耗的酒精量。只有一小部分会报告实际价值。 这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。 数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。某些操作或提取错误可能会导致数据集中的异常值。 抽样错误：例如，我们必须测量运动员的身高。错误地，我们在样本中包括一些篮球运动员。这个包含可能会导致数据集中的异常值。 自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。例如：保险公司的前50名理财顾问的表现远远高于其他人。令人惊讶的是，这不是由于任何错误。因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主 要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。(2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为1元等等；(3)自然异常值。房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根据实际请况进行判断，或在有需求时单独分析。 二、数据中异常值的检测 各种类型的异常值检测： 1、四分位数展布法 方法[1]：大于下四分位数加倍四分位距或小于上四分位数减倍。 把数据按照从小到大排序，其中25%为下四分位用FL 表示，75%处为上四分位用FU 表示。 计算展布为：L U F F F d -=，展布（间距）为上四分位数减去下四分位数。 最小估计值（下截断点）：F L d F 5.1- 最大估计值（上截断点）：F U d F 5.1+ 数据集中任意数用X 表示，F U F L d F X d F 5.15.1+<<-， 上面的参数不是绝对的，而是根据经验，但是效果很好。计算的是中度异常，参数等于3时，计算的是极度异常。我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
如何利用SPSS 19.0剔除数据中的异常值(Outliers) 一般数组应遵循正态分布，但一列数组中有可能会出现异常值，从而影响数据的方差和统计结果，因此挡在SPSS中输入数据后，首先要检查数据中是否存在异常值。方法如下： 1.选择想要观察的数据，此处我们选择normal 列中的数据进行查看 2.进入菜单栏中“分析”→“描述统计”→“探索” 3.将“normal”数组放入因变量列表中
4.点击“探索”窗口中的“统计量”，点掉“描述性”，选择“界外值”和“百分位数” 5.点击“探索”窗口中“绘制”，选择“直方图”，去掉“茎叶图” 6.选择结束后点击“探索”窗口“确定”查看结果： （1）百分位数图：
（2）以50%左右两个百分位数（即四分位数25和75下方的加权平均值）的加权平均值计算最高和最低临界值，使用计算公式如下： Upper=Q3+(2.2*(Q3-Q1)) Lower=Q1-(2.2*(Q3-Q1)) 此处Q3=26.0281, Q1=17.8396 计算后，Upper=44.0428，Lower=-0.1751 （3）查看“极值”表格： 极值 案例号值 normal 最高 1 20 29.30 2 22 29.30 3 2 4 29.30 4 46 29.30 5 47 29.30a 最低 1 81 16.82 2 78 16.82 3 75 16.82 4 57 16.82 5 54 16.82b a. 上限值表中仅显示一部分具有值 29.30 的案例。 b. 下限值表中仅显示一部分具有值 16.82 的案例。 如果有最高值查过Upper，或最低值小于Lower值，则被视为Outliers, 即异常值。由图中看，此列数组并无异常值
. 一、 一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生
ArithmeticException异常，使用throws子句抛出methodOne（）的异常，在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
一、线性方程的异常值剔除——肖维勒准则，适用于小样本和线性分析 1、用spss方法计算出残差和标准值，具体步骤如下： 步骤1：选择菜单“【分析】—>【回归】—>【线性】”，打开Linear Regression 对话框。将变量住房支出y移入Dependent列表框中，将年收入x移入Independents 列表框中。在Method 框中选择Enter 选项，表示所选自变量全部进入回归模型。 步骤2：单击Statistics 按钮，如图在Statistics 子对话框。该对话框中设置要输出的统计量。这里选中估计、模型拟合度复选框。 ?估计：输出有关回归系数的统计量，包括回归系数、回归系数的标准差、标准化的回归系数、t 统计量及其对应的p值等。 ?置信区间：输出每个回归系数的95％的置信度估计区间。 ?协方差矩阵：输出解释变量的相关系数矩阵和协差阵。 ?模型拟合度：输出可决系数、调整的可决系数、回归方程的标准误差 回归方程F检验的方差分析 步骤3：单击绘制按钮，在Plots子对话框中的标准化残差图选项栏中选中正态概率图复选框，以便对残差的正态性进行分析。 步骤4：单击保存按钮，在Save 子对话框中残差选项栏中选中未标准化复选框，这样可以在数据文件中生成一个变量名尾res_1 的残差变量，以便对残差进行进一步分析。 其余保持Spss 默认选项。在主对话框中单击ok按钮，执行线性回归命令。 结果输出与分析 散点图（判断随机扰动项是否存在异方差，根据散点图，若随着解释变量x的增大，被解释变量的波动幅度明显增大，说明随机扰动项可能存在比较严重的异方差问题，应该利用加权最小二乘法等方法对模型进行修正）、相关系数表Correlations（皮尔逊相关系数，双尾检验概率p值尾<0.05，则变量之间显著相关，在此前提下进一步进行回归分析，建立一元线性
一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生ArithmeticException异常，使用throws子句抛出methodOne（）的异常，
在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
计算VaR值的基本方法 ①方差-协方差法，又称德尔塔正态法。 方差-协方差法的优点是原理简单，计算快捷。确定表现在三个方面：一是不能预测突发事件的风险，原因是方差-协方差法是基于历史数据来估计未来，其成立的假设条件是未来和过去存在着分布的一致性，而突发事件打破了这种分布的一致性，其风险无法从历史序列模型中得到揭示。二是方差-协方差法的正态假设条件受到质疑，由于“肥尾”现象广泛存在，许多金融资产的收益率分布并不符合正态分布，这样，基于正态近似的模型往往会低估实际的风险值。三是方差-协方差法只反映了风险因子对整个组合的一阶线性影响，无法充分度量非线性金融工具(如期权)的风险。 ②历史模拟法 历史模拟法是运用当前资产组合中各证券的权重和各证券的历史数据重新构造资产组合的历史序列，从而得到重新构造资产组合收益率的时间序列。 历史模拟法克服了方差-协方差法的一些缺陷，如考虑了“肥尾”现象，能度量非线性金融工具的风险等，而且历史模拟法是通过历史数据构造收益率分布，不依赖特定的定价模型，这样，也不存在模型风险。 但历史模拟法仍存在不少缺陷：首先，风险包含着时间的变化，单纯依靠历史数据进行风险度量，将低估突发性的收益率波动;其次，风险度量的结果受制于历史周期的长度;再次，历史模拟法以大量的历史数据为基础，对数据的依赖性强;最后，历史模拟法在度量较为庞大且结构复杂的资产组合风险时，工作量十分繁重。 ③蒙特卡洛模型 蒙特卡洛法分两步进行：第一步，设定金融变量的随即过程及过程参数;第二步针对未来利率所有可能的路径情景，模拟资产组合中各证券的价格走势，从而编制出资产组合的收益率分布来度量VaR。 蒙特卡洛模拟法的优点包括：它是一种全值估计方法，可以处理非线性、大幅波动及“肥尾”问题;产生大量路径模拟情景，比历史模拟方法更精确和可靠;可以通过设置消减因子，使得模拟结果对近期市场的变化更快地做出反映。其缺点包括：对于基础风险因素仍然有一定的假设，存在一定的模型风险;计算量很大，且准确性的提高速度较慢，如果一个因素的准确性要提高10倍，就必须将模拟数增加100倍以上;如果产生的数据序列是伪随机数，可能导致错误结果。
目录 摘要......................................................................... I 关键词...................................................................... I 1引言 (1) 2异常值的判别方法 (1) 检验（3S）准则 (1) 狄克松（Dixon）准则 (2) 格拉布斯（Grubbs）准则 (2) 指数分布时异常值检验 (3) 莱茵达准则（PanTa） (3) 肖维勒准则（Chauvenet） (4) 3 实验异常数据的处理 (4) 4 结束语 (5) 参考文献 (6)
试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析. 关键词：异常值检验；异常值剔除；DPS；测量数据
1 引言 在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1] 报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文. 2 异常值的判别方法 判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍. 2.1 检验（3S ）准则 t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理. 基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值. 设样本数据为123,,n x x x x ，若认j x 为可疑值.计算余下1n -个数据平均值 1n x -及标准差1n s - ，即2 111,1,1n n i n i i j x x s n --=≠=-∑. 然后，按t 分布来判别被剔除的值j x 是否为异常值. 若1(,)n j x x kn a -->，则j x 为异常值，应予剔除，否则为正常值，应予以保留.其中：a 为显著水平；n 数据个数；(,)k n a 为检验系数，可通过查表得到.
data下拉菜单里有define variable properties,把变量选到右边的框里，点continue，在新窗口中有变量在样本中的所有取值，要定义某个值是异常值，就把相应的missing框勾上就ok 啦~~~然后再处理数据时这些值就已经被剔除，不参与分析了~~~ 使用箱型图Boxplot...发现异常值，然后把大于等于最小异常值或小于等于最大异常值的值 用Data主菜单里的Cases Select子菜单里的条件设置按钮，就可以自动剔除异常值。 spss里有个功能，好像是绘图吧。绘制Box plot图的。Box plot，可译成箱线图，由一个矩形箱和几条线段组合而成。针对一个数据批，其箱线图的绘制一般由以下几个步骤：第一、画数轴，度量单位大小和数据批的单位一致，起点比最小值稍小，长度比该数据批的全距稍长。 第二、画一个矩形盒，两端边的位置分别对应数据批的上下四分位数（Q1 和Q3）。在矩形盒内部中位数（X m）位置画一条线段为中位线。 第三、在Q3＋1.5IQR（四分位距）和Q1－1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在F＋3IQR和F－3IQR处画两条线段，称其为外限。处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值(extreme outliers)。 第四、从矩形盒两端边向外各画一条线段直到不是异常值的最远点，表示该批数据正常值的分布区间。 第五、用“〇”标出温和的异常值，用“＊”标出极端的异常值。相同值的数据点并列标出在同一数据线位置上，不同值的数据点标在不同数据线位置上。至此一批数据的箱线图便绘出了。统计软件绘制的箱线图一般没有标出内限和外限。箱线图示例可见下图。 我常用一下方法: 1、可以通过“分析”下“描述统计“下“频率”的”绘制“直方图”，看图发现频数出现最少的值，就可能是异常值，但还要看距离其它情况的程度。 2、可通过“分析”下的“描述统计”下的“探索”下的“绘制”选项的“叶茎图”，看个案偏离箱体边缘(上端、下端)的距离是箱体的几倍，“○”代表在1.5-3倍之间(离群点)，“*”代表超过3倍(极端离群点)。 3、可以通过“分析”下“描述统计“下“描述”下的选项“将标准化存为变量Z”，选择相应的变量，“确定”。将生成新变量，如果值超过2，肯定是异常值。
作业条件危险性评价法 本次风险评价采用作业条件危险性评价法进行分析评价。 作业条件危险性评价法认为对于一个具有潜在危险性的作业条件，影响危险性的主要因素有3个： （1）发生事故或危险事件的可能性（L）； （2）暴露于这种危险环境的情况（频率）（E）； （3）事故一旦发生可能产生的后果（C）。 那么作业条件的危险性D就用公式 D＝L×E×C 来表示。 1）发生事故或危险事件的可能性（L） 在实际生产条件中，事故或危险事件发生的可能性与其实际发生的概率相关。若用概率来表示时，绝对不发生的概率为0；而必然发生的事件其概率为1。但在考察一个系统的危险性时，绝对不可能发生事故是不确切的，即概率为0的情况是不确切的。所以，实际上不可能发生的情况作为“打分”的参考点，定其分值为0.1,；将完全出乎意料之外、极少可能发生的情况定为1；能预料将来某个时候会发生事故的情况定为10；这三者之间再根据可能性的大小相应确定几个之间值，具体取值见表1 表1 事故或危险事件发生的可能性分值（L） 2）暴露于危险环境的频率（E）
众所周知，作业人员暴露于危险作业条件的次数越多，时间越长，则受到伤害的可能性也就越大。为此本方法规定了连续出现在潜在危险环境的暴露频率分值为10；一年仅出现几次非常稀少的暴露频率分值为1；以10和1为参考点，再在其区间根据潜在危险作业条件中暴露情况进行划分，并对应地确定其分值，具体见表2： 表2 暴露于危险环境中的频繁程度分值（E） 3）发生事故或危险事件的可能后果（C） 造成事故或危险事件的人身伤害或物质损失可在很大范围内变化，以工伤事故而言可以从轻微伤害到许多人死亡，其范围非常广。本方法将需要救护的轻微伤害的可能结果的分值定为1，以此为一个基准点；而将造成许多人死亡的可能结果的分值定为100，作为另一个参考点。在这两个参考点1—100之间，插入相应的中间值，具体见表3： 表3 发生事故或危险事件的可能结果的分值（C） 4）危险性 确定了上述3个具有潜在危险的作业条件的分值并按公式进行计算，即可得到危险性分值。而要确定作业条件的危险性程度时，则按表4的标准进行评定。
1.拉依达准则法（3δ）：简单，无需查表。测量次数较多或要求不高时用。是最常用的异常值判定与剔除准则。但当测量次数《=10次时，该准则失效。 如果实验数据值的总体x是服从正态分布的，则 式中，μ与σ分别表示正态总体的数学期望和标准差。此时，在实验数据值中出现大于μ＋3σ或小于μ—3σ数据值的概率是很小的。因此，根据上式对于大于μ＋3σ或小于μ—3σ的实验数据值作为异常值，予以剔除。 在这种情况下，异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显著性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显著性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。 标准化数值（Z-score）可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此，应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查，以决定它是否属于该数据集。 2.肖维勒准则法（Chauvenet）：经典方法，改善了拉依达准则，过去应用较多，但它没有固定的概率意义，特别是当测量数据值n无穷大时失效。 3.狄克逊准则法（Dixon）：对数据值中只存在一个异常值时，效果良好。担当异常值不止一个且出现在同侧时，检验效果不好。尤其同侧的异常值较接近时效果更差，易遭受到屏蔽效应。 4.罗马诺夫斯基（t检验）准则法：计算较为复杂。 5.格拉布斯准则法（Grubbs）：和狄克逊法均给出了严格的结果，但存在狄克逊法同样的缺陷。朱宏等人采用数据值的中位数取代平均值，改进得到了更为稳健的处理方法。有效消除了同侧异常值的屏蔽效应。国际上常推荐采用格拉布斯准则法。 这些方法，都有各自的特点，例如，拉依达准则不能检验样本量较小（显著性水平为0.1时，n必须大于10）的情况，格拉布斯准则则可以检验较少的数据。在国际上，常推荐格拉布斯准则和狄克逊准则。
数据预处理——剔除异常值及平滑处理 测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据剔除异常值。 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行平滑处理（去噪声干扰）。 （一）剔除异常值。 注：若是有空缺值，或导入Matlab 数据显示为“NaN ”（非数），需要忽略整条空缺值数据，或者填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。 二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S ->
其中，11 n i i x x n ==∑为样本均值，1 2 211()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+ Tab1. 肖维勒系数表 如果某测量值与平均值之差的绝对值大于标准偏差与肖维勒系数之积，则该测量值被剔除。 n x i x x S ω-> 例1. 利用肖维勒方法对下列数据的异常值（2.5000）进行剔除： 1.5034 1.5062 1.5034 1.5024 1.4985 2.5000 1.5007
异常数据的处理 在使用“税务稽查查账软件”的过程中，其前提工作就是“企业数据采集”。通常可以使用奇星查账软件的“数据采集软件”完成企业电子账务数据的采集工作。但实际工作中，由于企业相关人员对“采集行为”的不理解、目前相关政策法规的不明确、企业服务器放在异地等情况，会造成无法通过“数据采集软件”完成正常的数据采集。这就需要通过一些技术手段，人工处理了。 通常对于无法正常采集的企业数据，我们采用下述三个环节进行处理： 一、要求企业从财务软件中，导出“余额表”及“序时账簿” 二、对企业提供的两个电子表进行格式化处理 三、将格式化处理的电子表利用查账软件中的“万能数据导入”还原到查账软件中，生 成电子账簿
出的格式会存在差异，我们对企业给出了规范性要求： 其一：余额表必须是对应数据年度的“一月份期初余额表”，表中所涉的会计科目应该“包含所有科目”，且所涉的会计科目级次应该是从“一级”到“最深科目级次”。并以Excel格式保存。 其二：序时账簿要求企业查询全年凭证，并根据数据量不同，按年、按季或分月导出为Excel。
需要进行处理后，才可使用 （一）处理“余额表” 企业提供的“余额表”中，应该含有科目代码、科目名称、借方余额、贷方余 额，如下图所示： 1、根据“查账软件”万能数据导入功能的要求，“科目名称”中不能含有科目代码信息，可通过Excel的替换功能，进行如下图所示操作，将类似“1002.01/”的信息清除掉
结果如下图所示 2、根据“查账软件”万能数据导入功能的要求，需要手工定义“科目性质”，即“资产”、“负债”、“所有者权益”等，在会计制度科目体系下，分别用“1——5”表示，在新准则下，分别用“1——6”表示 处理方法，通过Excel 的LEFT函数，取科目代码的“第一位”作为科目性质代码，如下图所示
风险评价D值计算公 式 -CAL-FENGHAI.-(YICAI)-Company One1
作业条件危险性评价法 本次风险评价采用作业条件危险性评价法进行分析评价。 作业条件危险性评价法认为对于一个具有潜在危险性的作业条件，影响危险性的主要因素有3个： （1）发生事故或危险事件的可能性（L）； （2）暴露于这种危险环境的情况（频率）（E）； （3）事故一旦发生可能产生的后果（C）。 那么作业条件的危险性D就用公式?D＝L×E×C 来表示。 1）发生事故或危险事件的可能性（L） 在实际生产条件中，事故或危险事件发生的可能性与其实际发生的概率相关。若用概率来表示时，绝对不发生的概率为0；而必然发生的事件其概率为1。但在考察一个系统的危险性时，绝对不可能发生事故是不确切的，即概率为0的情况是不确切的。所以，实际上不可能发生的情况作为“打分”的参考点，定其分值为,；将完全出乎意料之外、极少可能发生的情况定为1；能预料将来某个时候会发生事故的情况定为10；这三者之间再根据可能性的大小相应确定几个之间值，具体取值见表1 表1?事故或危险事件发生的可能性分值（L） 2）暴露于危险环境的频率（E）
众所周知，作业人员暴露于危险作业条件的次数越多，时间越长，则受到伤害的可能性也就越大。为此本方法规定了连续出现在潜在危险环境的暴露频率分值为10；一年仅出现几次非常稀少的暴露频率分值为1；以10和1为参考点，再在其区间根据潜在危险作业条件中暴露情况进行划分，并对应地确定其分值，具体见表2：表2?暴露于危险环境中的频繁程度分值（E） 3）发生事故或危险事件的可能后果（C） 造成事故或危险事件的人身伤害或物质损失可在很大范围内变化，以工伤事故而言可以从轻微伤害到许多人死亡，其范围非常广。本方法将需要救护的轻微伤害的可能结果的分值定为1，以此为一个基准点；而将造成许多人死亡的可能结果的分值定为100，作为另一个参考点。在这两个参考点1—100之间，插入相应的中间值，具体见表3： 表3?发生事故或危险事件的可能结果的分值（C） 4）危险性 确定了上述3个具有潜在危险的作业条件的分值并按公式进行计算，即可得到危险性分值。而要确定作业条件的危险性程度时，则按表4的标准进行评定。
第四章重力异常的数据处理 布格重力异常反映了地壳内部物质密度的不均匀性，即从地表到地下几十公里的地壳深部，只要物质密度横向发生变化，在地下不同的空间和范田内形成剩余质量，就可以引起地表的重力异常。定性解释侧重于判断引起异常的地质原因，并粗略估计产生异常的地质体的形状、产状及埋深等。 定量解释则是通过理论计算．对地质体的规模、形状、产状及埋深等作出具体解答。 重力异常的推断解释的步骤： ①阐明引起异常的地质因素具体地说，就是确定异常是浅部因素还是深部因 素引起，是矿体还是构造或其它密度不均匀体(岩性变化、侵入体等)的反映。——定性解释 ②划分和处理实测异常重力异常图往往是地表到地球深处所有密度不均匀体 产生的异常的叠加图象。为了获取探测对象产生的异常，需要将它们进行划分。不同的研究目的提取的异常信息不同，例如，矿产调查要提取队是矿体或没部构造产生的局部异常；而深部重力研究的目标正好相反，需要划分出的是反映地壳深部及上地幔的区域异常。 ③确定地质体或地质构造的赋存形态一是根据已知地质体或地质构造的 形状、产状及埋深等．研究它们引起的异常的特征，包括异常的形状、幅度、梯度及变化规律等。二是根据异常的形态及变化规律等，确定地质体或地质构造的形状、产状、埋深及规模等。前者足由源求场，称为止(演)问题；后者是由场求源，称为反(演)问题。正问题是反问题的基础，而求解反问题则是定量解择的最终目的。 §4.1 重力异常的主要地质原因 一．地壳深部因素
莫霍洛维奇面：地壳与上地馒之间存在着一个界西 地壳厚度各地不同，大陆平原地区大约20～30km，高山区为40～60km，西藏高原达60km以上，海洋区为10～20km，最薄处仅数公里。这一界面上下物质密度差达0.3g／cm3以上，界面以上的硅镁层密度为 2.8～3.0g／cm3，硅侣层为2.5～2.7g／cm3，界面以下物质密度为3.3～3.4g／cm3。 该界面的起伏引起地表重力变化的特点是导常分布植围广，幅度变化大。地形海拔越高，地壳越厚，布格重力异常就越低，而海洋地区一般显示重力异常高。 地壳厚度变化与布格力异常存在近似的线性关系。内比可见，地壳深部对重力异常的影响主要来源于莫氏界面的起伏。重力异常形态与地形起伏呈镜像关系。
异常数据处理方法研究 1异常数据处理概述 1.1 研究背景 近年来，随着海上风力发电技术的日益成熟和陆上风电可开发资源的不断减少，海上风电尤其是近海风电的开发开始加速。风机是海上风电开发的主要形式，而风机基础结构承担着抵抗海上风机结构的竖向、水平荷载和倾覆力矩的作用，其质量关系到海上风机结构的运行安全。作为隐蔽工程，其健康状况受到了社会各界的高度重视，如何对风机基础特别是MW级风机基础的安全运行状况监测成为研究领域的热点。现有的监测技术需要通过设置在风机基础中的数据采集系统自动获取基础的各状态的大量参数，如应力、应变、振动、变形等，采集到的海量原始数据通过通信网络传输到监控中心，经过数据存储，分析处理得到基础的安全运行状况和维修决策等结论。 风机基础监测系统是集结构监测、系统识别及结构评估于一体的综合监测系统，其内容包括几何变形监测、结构响应（应力、应变及振动）监测等。监测系统的质量主要取决于三方面因素:(1)传感器的灵敏性和精度以及数据传输和采集设备的性能；(2)测点的空间分布，即传感器的最优布置问题；(3)异常数据的分析处理。 从目前电子技术的发展来看，成熟、稳定、高性能的传感器已经被应用与监测系统中，而且合理安排传感器位置，以达到信息采集的最优化，也已经有很多研究成果。但由于监测信息格式复杂、信息量大，每天数据量甚至能达到十几GB，如果不能有效地对这些数据进行处理，很多异常数据将不能有效辨识，缺失信息将不能有效弥补，而且监测数据的分析必须建立在准确有效的监测数据之上，低精度和异常的监测数据常常影响数值分析的结果，会影响到系统的功能与特性分析，给后续数据处理带来很大的误差，正常信息不能得到有效利用，故有必要对原始采集数据进行处理。因此监测异常数据处理是三方面中至关重要的一点。 监测系统异常数据处理包含两个方面的内容：(1)异常数据检测，即找出异常信息并确定异常信息所在位置，根据需要将异常数据保存入专门数据库中或直接进行剔除；(2)异常数据修正，即通过插值等方法，参考数据异常点前后的数据，完成该异常数据点的修正，确保采集信息不缺失，保持原始采集数据的连续性。 异常是一个复杂的概念，迄今为止还没有一个统一定义。Hawkins提出的异常定义被大多数人所接受，其定义为：异常是在数据集中与众不同的数据，使人们怀疑这些数据并非随机产生的，而是产生于完全不同的机制。异常数据往往代
山东省医药工业设计院 成都慎恒化工技术服务有限公司 专篇风险程度计算方法 1 目的 按照国家安全生产监督管理总局有关文件的规定和要求，结合相关计算方法，对《成都慎恒化工技术服务有限公司危险化学品建设项目安全设施设计专篇编制规定》所规定的安全设施设计专篇中的风险程度计算部分做出以下要求及说明。 2 使用范围 本文件规定了危险化学品建设项目安全设施设计专篇中对风险程度的计算内容、方向及深度，需要设计人员根据不同项目的实际情况进行选择、计算。 3风险程度的内容、深度要求 3.1根据同类装置事故情况，对物料泄漏可能性进行分析 从爆炸、火灾、毒性、腐蚀性等四个方面入手，从工艺过程设备、管道方面分析设计上采取措施后发生物料泄露的可能性。 3.2作业场所出现泄漏后造成爆炸火灾事故条件和所需时间 一、爆炸： （1）气体泄漏引发的爆炸 首先根据以下准则判断泄漏时气体流动属于音速还是亚音速。 音速： k k1 0 2 k1 P P - ?? ≤ ? + ?? 亚音速： k k1 0 2 k1 P P - ?? ? + ??＞
式中，P 0为环境压力； P 为事故容器内压（均为绝对压力Pa ） ① 若气体泄漏时为音速流动，其泄漏速度：（kg/s ） 0d Q C A =② 若气体泄漏时为亚音速流动，其泄漏速度：（kg/s ） 0d ·Q Y C A =式中，C d ---气体泄漏系数，圆裂口取1；三角形裂口取0.95；长方形取0.90.一般取最大，即 圆裂口。 A---泄漏口面积。（m 2） M---物质的分子量 R---气体常数（J/mol.K -1），R=8.314 T---气体温度（K ） Y---气体膨胀因子 上式中，气体膨胀因子Y 计算方法如下： Y = 气体泄漏到造成爆炸火灾事故所需时间： g 0 t V Q =（V g 为所确定爆炸气体体积×爆炸下限。） （2）液体泄漏引发的爆炸 液体泄漏速度： 0d Q C A =式中：C d ---气体泄漏系数，圆裂口取1；三角形裂口取0.95；长方形取0.90.一般取最大，即 圆裂口。 A---泄漏口面积。（m 2） ρ---泄漏液体密度，kg/m 3 P---事故容器内压，Pa P 0---环境压力，Pa g---重力加速度，g=9.8m/s 2
倍框的长度之间的离群值（箱图／探索）3.值与框的上下边界的距离在倍框的长度到个案。框 的长度是内距。3倍框的长度的个案。值距离框的上下边界超过极端值（箱图）.,残差有几种表示方法一般称预测值与实际值的偏差为:标准化残差在回归模型诊断里面，残差, 学生化残差等等，按照需要取一种残差，再按照某种标准取一个阀值来限定异常点，只要那个点的残差大于阀值，就可以认为它是异常点。 data下拉菜单里有define variable properties,把变量选到右边的框里，点continue，在新窗口中有变量在样本中的所有取值，要定义某个值是异常值，就把相应的missing框勾上就ok啦~~~然后再处理数据时这些值就已经被剔除，不参与分析了 一、采用数据探索过程探测异常值 SPSS菜单实现程序为: 主菜单-->“Analyze”-->“Descriptive Statistics”-->“Explore……”选项-->“Statistics”按钮-->选中“Outliers”复选框。输出结果中将列出5个最大值和5个最小值作为异常的嫌疑值。 一般数组应遵循正态分布，但一列数组中有可能会出现异常值，从而影响数据的方差和统计结果，因此挡在SPSS中输入数据后，首先要检查数据中是否存在异常值。方法如下： 1.选择想要观察的数据，此处我们选择normal 列中的数据进行查看 进入菜单栏中“分析”→“描述统计”→“探索”2. 3.将“normal”数组放入因变量列表中
4.点击“探索”窗口中的“统计量”，点掉“描述性”，选择“界外值”和“百分位数” ，去掉“茎叶图”，选择“直方图”点击“探索”窗口中“绘制”5. 选择结束后点击“探索”窗口“确定”查看结果：6. 百分位数图：（1） 百分位数百分位数 9590251057550 加权平均（定义）1normal的枢纽Tukey normal （2）以50%左右两个百分位数（即四分位数25和75下方的加权平均值）的加权平均值计算最高和最低临界值，使用计算公式如下： Upper=Q3+*(Q3-Q1))
如何用SPSＳ探测及检验异常值 一、采用数据探索过程探测异常值 SPＳS菜单实现程序为: 主菜单–>“Analyze”–>“Ｄeｓcripｔｉve Sｔaｔistiｃs”–＞“Eｘplｏｒe……”选项–>“Statｉstics”按钮–>选中“Ｏutlierｓ”复选框。输出结果中将列出5个最大值和5个最小值作为异常的嫌疑值。 二、采用箱线图（bｏxploｔ)探测异常值 箱线图比较直观、形象,易于理解,因此它在统计分析中占有非常重要的地位。 1．利用上述的数据探测过程，在“Explore”对话框中单击“Pｌotｓ”,出现如图２所示的对话框，通过“Ｂoxplｏｔs”方框可以确定箱线图的生成方式。“Ｆａctoｒlevels tｏgｅthｅｒ”复选框表示将要为每个因变量创建一个箱线图,“Dｅｐendent togｅｔher”复选框表示将为每个分组变量水平创建箱线图，“Ｎｏne”复选框表示不创建箱线图。 2. 直接利用SPSＳ中的画图功能实现箱线图,ＳPSS给出了两种箱线图，一种是基本箱线图，另一种是交互式箱线图。基本箱线图的SPSＳ菜单实现为：点击主菜单中的“Ｇraｐhｓ”选项,在弹出的一级菜单中选择“Boｘplo t……”选项。交互式箱形图的SPＳS菜单实现为：点击主菜单中的“Ｇrａphs”选项，在弹出的一级菜单中点击“Ｉnteracｔｉｖe”选项,在弹出的二级菜单中选择“Boxｐloｔ……”选项。下面仍以Ａ公司雇员分工种的开始工资为例构造基本箱线图(如图3)。箱线图中的“○”表示可疑的异常值,此处异常值的确定采用的是“五数概括法”，即：变量值超过第７5百分位点和25百分位点上变量值之差的1.5倍(箱体上方)或变量值小于第75百分位点和2５百分位点上变量值之差的１.5倍(箱体下方)的点对应的值。 三、SPSS １4 后的新功能Data –＞Validatｉon：？？?如何设置。。。 四、Z分标准化法（3δ法）：±3δ 以外的数据为高度异常值,应予剔除。 五、数据异常值的检验 SPSS中没有提供直接检验异常数据的工具,但是使用SＰSＳ能使异常值的检验工作变得非常方便。通过SPSＳ中的Freｑｕenciｅs等过程,可以对指定变量的数据同时得到均值、方差等统计量，代入上述的公式，结合查表,很快就能得出检验结果。在多个异常数据下,使用ＳPSS更显方便,因为剔除前一个异常数据后，需要对剩余的数据重新计算均值和方差,如果数据很多，用手工计算将是很烦琐的事情，而且准确度不高。而通过ＳPSS，只需要重新选择数据以后,重复一次Frｅｑｕenciｅｓ过程的操作就可以了。 分别对含异常值和删去异常值两种情况下的数据进行分析，并比较后才能增加可信度,避免误删。 六、SPSS中异常值的剔除 发现异常值后,把大于等于最小异常值或小于等于最大异常值的值用Dａta主菜单里的Caｓes Seｌect子菜单里的条件设置按钮,就可以自动剔除异常值。 承接心得１,数据预处理第二点异常值的处理。我大概学了两门统计软件SＰSS和Sｔatａ,ＳPＳS用的时间久些，熟悉一下，Sｔata最近才学,不是太熟。关于这点我结合着来说。关于异常值的处理可分为两点,一是怎么判定一个值是异常值，二是怎么去处理。判定异常值的方法我个人认为常用的有两点:１是描述性统计分析，看均值、标准差和最大最小值。一般情况下,若标准差远远大于均值，可粗略判定数据存在异常值。2是通过做指标的箱图判定,箱图上加“＊”的个案即为异常个案。发现了异常值,接下来说怎么处理的问题。大概有三种方法:一是正偏态分布数据取对数处理。我做农户微观实证研究，很多时候得到的数据（如收入)都有很大的异常值,数据呈正偏态分布，这种我一般是取对数处理数据。若原始数据中还有0,取对数ln(0)没意义,我就取lｎ(x+1)处理；二是样本量足够大删除异常值样本;三是从