数据分析课程设计
题目：四川农村居民的消费结构浅析
班级：2009级数学与应用数学1班
学号：20091615310028
姓名：张雪梅
指导老师：张燕
时间：2012年6月19日
【摘要】
随着人们生活水平的提高，消费结构也在日益变化，为了能够更好的为四川农村人们服务，更快的发展农村建设，让人们过上更好的生活。在此，有必要研究农村人们的消费结构变化情况，以便做出正确的判断。本文是基于四川统计年鉴中1995年—2010年中的14年的四川省农村居民人均纯收入与消费支出的相关数据，运用sas软件，采用因子分析方法,实证研究了该省农村居民的消费结构变动情况。结论表明, 四川农村居民的生活质量有所提高，大多数人解决了住房、温饱等生活问题，对生活方面的支出有所减少，更多的开始关注文化教育和精神娱乐方面，最后给农村今后的发展提出了小小的建议。
【关键字】
四川省农村居民消费结构因子分析 sas
目录
摘要 (2)
关键字 (2)
目录 (3)
一、消费简介 (6)
1.消费结构概念 (6)
2 研究我省农村居民消费结构的必要性 (6)
二、因子分析概述 (7)
1、因子分析的概念和意义 (7)
2、因子分析的的数学模型 (7)
3、因子分析的基本步骤 (8)
4、因子的命名 (10)
5、计算因子得分 (10)
6、具体实施步骤 (10)
三、实证分析过程 (10)
1、数据的收集整理 (10)
2、相关系数矩阵的计算 (11)
3、因子载荷矩阵的计算 (12)
4、因子的方差贡献率及变量的共同度计算及分析 (14)
5、计算因子得分 (14)
四、结论与建议 (16)
1、结果分析 (16)
2、对于四川省农村居民消费结构的建议 (16)
五、参考文献 (18)
众所周知，我国的农村人口众多，一直以来农村居民的生活状况都在我国人们生活中占有突出重要的地位。由于农业的特殊属性，农村居民往往既是消费者，又是直接的生产经营者和投资者，其生产消费和生活消费往往交织在一起，因此，中国农村居民收入来源复杂，支出去向多样。居民消费结构不但能反映居民消费的具体内容，更能反映居民消费需求的满足情况，近年来随着经济的发展，社会生产力水平迅速提高，人民的生活水平也显著得到提高，消费质量和结构不断优化,很多人开始关注民生，开始用不同的方法来研究如何提高农村居民的生活质量。
王映,李晓慧,胡超根据凯恩斯的消费函数模型、统计学和计量经济学的方法，基于1993年到2007年的相关数据对四川省城镇居民消费水平和消费结构进行了实证分析，结果表明最多的项目为食品，其次为教育文化娱乐、衣着和居住，大体上各项消费支出是伴随收入的增加而增加，少数项目消费支出绝对额的减少是因为较多的增加了其他项目的消费支出。
2007年刘永贵根据扩展线性支出系统 ( ELES)模型的《我国四川农村居民消费结构变动趋势及财政对策研究》表明四川农村居民消费结构变动趋势基本上反映了四川农村居民随着收入的逐渐增加,消费结构的合理变动。但同时,文教娱乐支出比重的逐步缩小却也反映了四川农村居民消费存在的某种盲目性,这种消费现状既不利于经济持续、快速、健康地发展, 也不利于农民知识水平的提高,进而从根本上影响农村经济的发展,影响农民生活的进一步提高,消费结构的进一步上档次。因此,国家有必要从财政政策上给予进一步的支持, 从而进一步启动四川农村居民
的消费, 逐步实现四川农村居民消费结构的高级化。
经过几年的变化，通过本文的分析可知，相对于过去而言，居民对衣、食、住的消费需求已从追求数量转到追求质量，居民食品、医疗保健、交通通讯及服务支出比重增加速度已经开始放慢，更多的开始关注文化教育和精神娱乐，相应的支出也有所增加。消费结构变化反映了需求的变动，因此分析消费结构的变动及其成因对合理引导消费、促进经济的发展都有重要的意义。
一、消费简介
1、消费结构概念
消费结构是指在一定的社会经济条件下人们在消费过程中消费的各种各样的消费数据的比例关系,它反映了人们消费的内容、水平和质量，同时也反映了人们消费需要的满足状况。居民消费作为社会商品总消费的主体部分，具有持久性、稳定性和长期性的特点。
2、研究我省农村居民消费结构的必要性
市场经济条件下，消费结构的合理化是实现资源有效配置，引导产业结构调整，创造新的需求，实现企业技术创新的重要条件。进入20世纪90年代以来，我国宏观经济形势发生了重大变化，占全国总人口70％的农村居民的消费需求对国民经济的影响不断增大，农村市场的需求不足严重影响了经济结构调整的方向，力度、效果和企业生产经营活动。农村居民消费结构与经济、社会发展是否协调已成为关系到是否能为中国发展提供高素质劳动力、保证经济持续快速发展和社会安定的重大问题。我国国情决定了农业、农村、农民问题是社会主义初级阶段面临的一个最基本的问题，在今后相当长的一个时期内，这个问题仍将是影响我国改革和发展进程的关键，在某种程度上可以说，“农民很苦，农民很穷，农业很危险”是我国经济发展的最大障碍，也是全面建设小康要解决的核心内容。近年来随着我国经济体制改革的深入和居民可支配收入的增加，居民消费行为发生了深刻的变化，社会生产力水平迅速提高，人民的生活水平也显著得到提高，消费质量和结构不断优化,相对于过去而言，居民对衣、食、住的消费需求已从追求数量转到追求质量，居民食品支出比重不断下降，而医疗保健、交通通讯、文教娱乐及服务支出比重不断增加。而这些变化过程主要反映在消费结构上，居民消费结构不但能反映居民消费的具体内容，更能反映居民消费需求的满足情况，因此分析消费结构的变动及其成因对合理引导消费、促进经济的发展都有重要的意义。
农村市场是省内的重要市场，农村居民消费结构是农村经济发展的一个重要问题，所以研究和认识四川省农村居民消费结构的变动，在十二五规划中提出要加强
社会主义新农村建设，加快发展现代农业。坚持走中国特色农业现代化道路，提高农业综合生产能力、抗风险能力和市场竞争能力。对于贯彻和落实科学发展观，实现四川小康社会的目标和率先发展，具有积极的意义。
二、因子分析概述
1、因子分析的概念和意义
在研究实际问题时往往希望尽可能多地收集相关变量，以期能对问题比较全面、完整的把握和认识。但收集这些数据需投入许多精力，虽然它们能够较为全面、精确地描述事务，但是在实际数据模型中，这些变量未必能真正发挥预期的作用，“投入”和“产出”并非呈合理的正比，反而会给统计分析带来许多问题，可以表现在：①计算量的问题。②变量之间相关性问题。变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为解决上述问题，最简单和最直接的解决方案是在削减变量个数的同时不会造成信息的大量丢失。而因子分析正是这样一种能够有效降低变量维数，研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性，并已得到广泛应用的多元统计分析方法。
2、 因子分析的的数学模型
因子分析的核心是用较少的相互独立的因子反映原有变量的绝大部分信息。可
以将这一思想用数学模型来表示。设有p 个原有变量123,,,...,p x x x x ,且每个变量（或经标准化处理后）的均值均为0，标准差均为1。现将每个原有变量用()k k p <个因子123,,,...,p f f f f 的线性组合来表示，则有
111121311
123221222322
123123123...............k k k k p p p p pk p k f f f f x a a a a f f f f x a a a a f f f f x a a a a εεε?=+++++?
=+++++???
?=+++++?
(2.1)
式（2.1）便是因子分析的数学模型，也可以用矩阵的形式表示为：
X AF ε=+
式中，F 称为因子，由于它们均出现在每个原有变量的线性表达式中，因此又称为公共因子。因子可理解为高维空间中互相垂直的k 个坐标轴；A 称为因子载荷矩阵，
a ij （1,2,3,...,i p =;1,2,3,...,j k =）称为因子载荷，是第i 个原有变量在第j 个因子
上的负荷。如果把变量x i 看成k 维因子空间中的一个向量，则a ij 表示x i 在坐标轴
f j 上的投影，相当于多元线性回归模型中的标准化回归系数；ε称为特殊因子，表示原有变量不能被因子解释的部分，其均值为0，相当于多元线性回归模型中的残差。
3、因子分析的基本步骤
（1）因子分析的前提条件
因子分析的目的是从众多的原有变量中综合出少数具有代表性的因子，这必定有一个潜在的前提要求，即原有变量之间应具有较强的相关关系。本文采用pearson 相关系数矩阵进行检验，如果变量间有显性的线性关系，则可以用因子分析。 （2）因子提取和因子载荷矩阵的求解
因子分析的关键是根据样本数据求解因子载荷矩阵。在此我们介绍最为广泛的主成分分析法。主成份分析法通过坐标变换的手段，将原有的p 个相关变量x i 标准
化后进行线性组合，转换成另一组不相关的变量y
i ，于是有
1211121311321221222323121233y ...y .........y ...p p p p p p
p p p pp x x x x x x x x x x x x μμμμμμμμμ
μμμ=++?++?
=++++???
?=++++?
(2.2)
式（2.2）是主成分分析的数学模型。 其中，
2222
123....1i i i ip
μμμμ++++=（1,2,3,...,i p =）对式（2.2）中的系数按照以下原
则来求解：
（a ）
y i
与
y j
（i j ≠;,1,2,3,...,i j p =）相互独立。
（b ）1y 与123,,,...,p x x x x 的一切线性组合（系数满足上述方程组）中方差最大的；2y 是与1y 不相关的123,,,...,p x x x x 的一切线性组合中方差最大的；y p 是与1y ,2y ,…,1
y p -都不相关的123,,,...,
p x x x x 一切线性组合中方差最大的。
根据上述原则确定的1y ,2y ,3y , … ,1
y p -依次称为原有变量1x ,2x ,3x ,…,p
x 的第1,2,3,….,p 个主成分。其中，y
i 在总方差中所占比例最大，它综合原有变量
1x ,2x ,3x ,….,p x 的能力最强，其余主成分2y ,3y ,….,1y p -在总方差中所占比例依次递减，即其余主成分综合原有变量的能力依次减弱。
可见，主成分分析法的核心是通过原有变量的线性组合以及各个主成分的求解来实现变量降维的。
基于上述原理，主成分数学模型的系数求解步骤归纳如下： （a ）将原有变量数据进行标准化处理； （b ）计算变量的简单相关系数矩阵R ；
（c ）求相关系数矩阵R 的特征根123 0
p λλλλ≥≥≥≥≥及对应的单位特征向量
123,,,...,p
μμμμ.
通过上述步骤，计算
'
y x
i i μ=便得到各个主成分。其中的p 个特征值和对应的
特征向量便是因子分析的初始解。
现在重新回到因子分析中来，因子分析利用上述p 个特征值和对应的特征值向
量，并在此基础之上计算因子载荷矩阵：
111
12121
22221
2
12...........................
......
...
p p p p pp a a a a a a A a a a μμμμμμμμμ??? ?
?== ? ?
???
（2.3）
由于因子分析的目的是减少变量个数，因此在因子分析的数学模型中，因子数目k 小于原有变量个数p 。
4、因子的命名
因子的命名通过因子旋转实现，就是将因子载荷矩阵A 右乘一个正交矩阵τ后得到一个新的矩阵B 。它并不影响变量i x 的共同度2
i h ，却会改变因子的方差贡献2
j S 。
因子旋转通过改变坐标轴，能够重新分配各个因子解释原始变量方差的比例，使因子易于解释。
5、计算因子得分
计算因子得分途径是用原有变量来描述因子，因子得分函数是原有变量线性组
合的结果，因子得分可看作各变量值的加权123(,,,...,)
j j j jp ωωωω总和，权数大小表示了变量对因子的重视程度，于是第j 个因子在第i 个样本上的值可表示为：
112233,...,
j j j j jp p x x x x F ωωωω=++ （2.4）
（j =1,2,3,…,k ）
6、具体实施步骤
(1) 使用1995-2010年间的四川农村居民在食品、衣着、居住、家庭设备、用品及服务、医疗保健、交通和通讯、文化教育娱乐用品及服务、其他商品和服务等 8个不同项目上的支出消费的数据来进行pearson 相关性检验。
(2) 通过计算相关系数矩阵R 的特征值和累计贡献率，选择因子个数，进行因子分析。
(3) 利用旋转使得因子变量更具有可解释性。 (4) 计算因子变量的得分。 (5) 分析得出结论及建议。
三、实证分析过程
1、数据的收集整理
将四川省农村居民人均生活费支出分为总的生活消费支出、食品、衣着、居住、家庭设备及服务、医疗保健、交通通讯、文教娱乐及服务、其他8个部分，它们在
人均生活费支出分别记为1,2,,8x x x ，四川省农村居民消费变化如表1所示。
表1 1995年~2010年四川省农村居民人均生活消费支出构成(单位：元)
2、相关系数矩阵的计算
运用sas 软件中的proc corr pearson ；语句进行相关系数矩阵的运算，得到结果如表2所示。
表2 指标间的相关系数矩阵R
由相关系数矩阵R可以看出，大部分的相关系数都较高，各变量呈较强的线性关系，因此，可以知道居民的消费水平可以用因子分析法进行分析。
接着由R得到相关系数矩阵的特征值及累计贡献率如表3。
表3 R的特征值和累计贡献率
由表3可以知道前两个特征值的累积贡献率已经达到94.19%，因此进行因子分析的时候可选取两个公共因子。
3、因子载荷矩阵的计算
通过语句
选取两个公公因子对变量x2~x9进行因子分析，得到因子载荷矩阵如表4。
表4 因子载荷矩阵A
采用方差最大法对因子载荷矩阵实行方差最大正交旋转以使因子具有命名解释性，得到正交因子载荷矩阵如表5。
表5 最大正交旋转后的因子载荷矩阵
根据表5可以写出该案例的因子分析模型:
21223123412451256126712781289129
0.925970.344130.942980.300410.875220.124310.959340.256730.908700.410370.893620.434570.267640.956180.856050.33504x F F x F F x F F x F F x F F x F F x F F x F F εεεεεεεε=++=++=++=++=++=++=++=++
由此模型可知：有7个变量在第一个因子上的载荷都很高，意味着它们与第一个因子的相关程度较高，第一个因子十分重要。同时可知2345679,,,,,,x x x x x x x 在第1
个因子上有较高的载荷，第1个因子主要解释了这些变量；8x 在第2个因子上有较高的载荷。因此根据原有变量与这2个因子的相关程度我们得到如下表6的因子命名。
表6 因子命名
4、因子的方差贡献率及变量的共同度计算及分析
由前面的相关语句得出各个因子的方差贡献率如表7.
表7 F1，F2的方差贡献率22
12,q q
方差贡献率分别为：22
12
5.8617418, 1.6738230q q ==，可以看出第一个因子的方
差贡献率非常的大，则表明因子1对消费结构的影响比较大。
得出变量129,,...,X X X 的共同度如表8。
表8 变量129,,...,X X X 的共同度
129
,,...,X X X 的共同度为：
2
221
,1,2,3,...,8i
ij j h a i ==
=∑
由特殊因子方差计算公式22
1i i
h σ=-及相关数据可知特殊因子的方差很小，对消费
结构的影响力较小。
5、计算因子得分
本文采用回归法估计因子得分系数，并输出因子得分系数如表9。
表9 因子得分
根据表9，可以写出得分函数：
1234567892234567890.1640.1910.2510.2180.1260.1090.3640.1430.0160.0790.2660.1410.0750.112 1.0640.006F x x x x x x x x F x x x x x x x x =+++++-+=----++++ 由此可见计算两个因子得分变量的变量值时，对于因子1，8x
的权重较高，但方向恰好相反，表示文教娱乐对因子1成负相关，其他变量的权重都为正，表明对因子是正相关，而对于因子2，x8的权重显然很大，且为正，表明文教娱乐的影响较大，这与因子的实际含义是相吻合的。 最后得到因子变动相关图为
图1 因子1随着时间的变动相关图
图2 因子2随着时间的变动相关图
四、结论与建议
1、结果分析
基于因子分析模型的分析，可以知道：
（1）四川省农村居民的食品、交通和通讯、医疗保健等的生活必须因素的支出比重已经达到较高水平，且较去年相比有所下降。而以文化教育、精神娱乐等提高素质的相关支出有所上升这表明农民的生活已经有所改善，大部分人开始追求精神上的提高与享受。
（2）从总体上看，四川省农村居民的消费结构和消费水平还是处于升级变动之中，并且从国际常用的反映消费结构的恩格尔系数变动情况可以看出出农村居民的生活状况有了一定的改善。从相关因子分析的数据也可以得出这样的结论，09年开始人们的生活水平已经开始相对稳定，从08年地震后人们的文化教育、娱乐方面有很大的提高，也有进一步发展的趋势。
2、对于四川省农村居民消费结构的建议
（1）在短期内，通过政策扶持来引导农村居民的消费倾向是具有一定效果的，比如家电下乡，农机补贴等政策。这些惠农活动可以进一步提高偏远山区人们的消费水平，提高他们的生活质量。
（2）长期内，改善农村教育制度，加大力度完善农村的教育体系、文化建设有较好的作用。如今的农村居民已经不局限于种地挣钱养家糊口的生活了，他们更加注
重学习，让子女能够有更好的教育，自己的生活更够更加的快乐，精神上得到一定的享受成为了重点。开展农村文化教育活动，举办各种娱乐活动，更有益于人们的生活。
五、参考文献
[1] 尹世杰. (2003).消费经济学.北京:高等教育出版社
[2] 四川省统计信息网. 四川统计年鉴
[3] 余锦华,杨维权.多元统计分析与应用[M].广州：中山大学出版社，2005：162-224
[4]王映,李晓慧,胡超.四川省城镇居民消费水平和消费结构的实证分析.现代物业(中旬刊) ,2010,(03)
[5]刘永贵.我国四川农村居民消费结构变动趋势及财政对策研究.宜宾学院学报.2007.7;(7)
[6]范金城,梅长林.数据分析（第二版）.科学出版社
[7]沈其君.sas统计分析.东南大学出版社
数据分析课程设计 题目：四川农村居民的消费结构浅析 班级：2009级数学与应用数学1班 学号：20091615310028 姓名：张雪梅 指导老师：张燕 时间：2012年6月19日
【摘要】 随着人们生活水平的提高，消费结构也在日益变化，为了能够更好的为四川农村人们服务，更快的发展农村建设，让人们过上更好的生活。在此，有必要研究农村人们的消费结构变化情况，以便做出正确的判断。本文是基于四川统计年鉴中1995年—2010年中的14年的四川省农村居民人均纯收入与消费支出的相关数据，运用sas软件，采用因子分析方法,实证研究了该省农村居民的消费结构变动情况。结论表明, 四川农村居民的生活质量有所提高，大多数人解决了住房、温饱等生活问题，对生活方面的支出有所减少，更多的开始关注文化教育和精神娱乐方面，最后给农村今后的发展提出了小小的建议。 【关键字】 四川省农村居民消费结构因子分析 sas
目录 摘要 (2) 关键字 (2) 目录 (3) 一、消费简介 (6) 1.消费结构概念 (6) 2 研究我省农村居民消费结构的必要性 (6) 二、因子分析概述 (7) 1、因子分析的概念和意义 (7) 2、因子分析的的数学模型 (7) 3、因子分析的基本步骤 (8) 4、因子的命名 (10) 5、计算因子得分 (10) 6、具体实施步骤 (10) 三、实证分析过程 (10) 1、数据的收集整理 (10) 2、相关系数矩阵的计算 (11) 3、因子载荷矩阵的计算 (12)
4、因子的方差贡献率及变量的共同度计算及分析 (14) 5、计算因子得分 (14) 四、结论与建议 (16) 1、结果分析 (16) 2、对于四川省农村居民消费结构的建议 (16) 五、参考文献 (18)
《数据分析》课程标准 1．课程定位与课程设计 1.1课程的性质与作用 本课程是大数据应用技术专业的核心课程。通过本课程的学习，使学生掌握调查方案设计、数据资料的收集、整理、分析和数据分析报告的撰写方法和思路，及运用相关数据处理工具进行数据分析的基本方法。该课程主要是培养学生完整数据分析的理念与运用相关数据处理工具进行数据分析的能力，为学生学习和掌握《数据挖掘》等其他专业课程提供必备的专业基础知识，也为学生从事大数据应用技术相关岗位工作打下良好的基础。 1.2课程设计理念 课程设计遵循“以学生为主体”教育思想，依据“任务引领”为课程内容设计原则，以提高学生整体素质为基础，以培养学生市场调查与数据分析工具的使用能力、特别是创新能力和实际操作能力为主线，兼顾学生后续发展需要，选取符合数据分析职场所要求的知识、素质和能力为教学内容；在基本理论和基础知识的选择上以应用为目的，以“必需、够用”为度，服从培养能力的需要，突出针对性和实用性 （2）遵循能力本位的教学观。注重培养学生在工作中对数据资料的收集、整理和分析处理能力，训练学生的专业能力、社会能力和方法能力。课程设计以能力为核心，围绕能力的形成学习相关知识。 1.3 课程设计思路 在课程设计上根据大数据应用技术专业就业岗位群任职要求，改革传统的课程体系和教学方法，形成以就业为导向，立足于学生职业能力培养和职业素养养成，突出课程的应用性和操作性。数据分析工作是一个有序开展的工作，顺序性和过程性很强，课程设计的思路正是依据工作任务的顺序和过程开展的，数据分析工作过程主要分为五个步骤，这五个步骤也就是五个工作项目，构成了本课程学习内容的框架。通过任务驱动充分发挥学生的主体作用，让学生在完成具体任务的过程中来构建相关理论知识，发展职业能力，并提升职业素养。在教学内容上遵循“理论够用、适度，重在应用”的原则，弱化理论，剔除抽象的公式推导和复杂计算分析，把数据资料的收集特别是利用互联网收集数据资料及运用数据分析工具软件进行数据分析，作为重点内容进行讲授和训练，适应社会经济和科技进步给市场信息分析与预测带来的发展。 2．课程目标 通过本课程的学习，学生掌握从调查方案设计、数据资料的收集、处理、分析到数据分析报告的撰写整个工作流程，学会运用相关数据处理工具进行数据分析的基本方法。同时还要培养学生自主学习能力、自我管理能力、沟通能力、组织协调能力、市场开拓意识、竞争意识和团队协作精神，使学生既具备较高的业务素质，又具有良好的职业道德和敬业精神。
《数据分析方法》 课程实验报告 1.实验内容 （1）掌握回归分析的思想和计算步骤； （2）编写程序完成回归分析的计算，包括后续的显著性检验、残差分析、Box-Cox 变换等内容。 2.模型建立与求解(数据结构与算法描述) 3.实验数据与实验结果 解：根据所建立的模型在MATLAB中输入程序（程序见附录）得到以下结果：（1）回归方程为： 说明该化妆品的消量和该城市人群收入情况关系不大，轻微影响，与使用该化妆品的人数有关。 的无偏估计： （2）方差分析表如下表： 方差来源自由度平方和均方值 回归（） 2 5384526922 56795 2.28
误差（）12 56.883 4.703 总和（）14 53902 从分析表中可以看出：值远大于的值。所以回归关系显著。 复相关，所以回归效果显著。 解：根据所建立的模型，在MATLAB中输入程序（程序见附录）得到如下结果：（1）回归方程为： 在MTLAB中计算学生化残差（见程序清单二），所得到的学生化残差r的值由残差可知得到的r的值在（-1，1）的概率为0.645，在（-1.5，1.5）的概率为0.871，在（-2，2）之间的概率为0.968. 而服从正态分布的随机变量取值在（-1，1）之间的概率为0.68，在（-1.5，1.5）之间的概率为0.87，在（-2.2）之间的概率为0.95，所以相差较大，所以残差分析不合理，需要对数据变换。 取=0.6进行Box-Cox变换 在MATLAB中输入程序（见程序代码清单二） 取，所以得到r的值（r的值见附录二）其值在（-1，1）之间的个数大约为20/31=0.65，大致符合正态分布，所以重新拟合为： 拟合函数为： 通过F值，R值可以检验到，回归效果显著 （3）某医院为了了解病人对医院工作的满意程度和病人的年龄，病情的严重程度和病人的忧虑程度之间的关系，随机调查了该医院的23位病人，得数据如下表：
《数据分析方法》课程设计 成绩评定表 学生姓名严震班级学号1109010114 专业信息与计算课程设计题目NBA球员技科学术统计分析报告 评 语 组长签字： 成绩 日期 20年月日
《数据分析方法》课程设计 课程设计任务书 学院理学院专业信息与计算科学学生姓名严震班级学号1109010114 课程设计题目NBA 球员技术统计分析报告实践教学要求与 任务 : 设计要求（技术参数）： 1、熟练掌握SPSS 软件的操作方法； 2、根据所选题目及调研所得数据，运用数据分析知识，建立适当的数学模型； 3、运用 SPSS 软件，对模型进行求解，对结果进行分析并得出结论; 4、掌握利用数据分析理论知识解决实际问题的一般步骤。 设计任务： 1、查阅相关资料，找到NBA 球员技术的相关指标，获得相关数据； 2、利用数据分析的理论，建立线性回归模型，以及对其进行主成分分析； 3、利用 SPSS软件求解 , 并给出正确的结论。 工作计划与进度安排 : 第一天——第二天学习使用SPSS 软件并选题 第三天——第四天查阅资料 第五天——第六天建立数学模型 第七天——第九天上机求解并完成论文 第十天答辩 指导教师：专业负责人：学院教学副院长： 201年月日201年月日201年月日
II
摘要 数据分析析的主要应用有两方面，一是寻求基本结构，简化观测系统，将具有错综复杂关系的对象（变量或样品）综合为少数几个因子（不可观测的，相互独立的随机变 量），以再现因子与原变量之间的内在联系；二是用于分类，对p 个变量或 n 个样品进 行分类。聚类分析一般有两种类型，即按样品聚类或按变量（指标）聚类，其基本思想是通过定义样品或变量间“接近程度”的度量，将“相近”的样品或变量归为一类。本文 利用利用数据分析中的因子分析和聚类分析对多个变量数据进行了分析。就是分析和处理 数据的理论与方法，数据分析中提出了广泛的多元数据分析的统计方法，包括线性回归分析、方差分析、因子分析、主成分分析、典型相关分析、判别分析、聚类分析等。 关键词： spss 软件 ; 聚类分析 ; 因子分析 ; 线性规划
Xx大学2014-2015学年第一学期课程小论文课程名称：数据分析课程编号： 论文题目：大学生网上购物状况的调查分析 学生（学号）： 学生（学号）： 学生（学号）： 论文评价：
最终成绩： 任课教师：评阅日期： 摘要：本文以问卷调查的形式，研究了当前大学生的网上购物现状。我们以统计软件SPSS为工具，对问卷调查所得的数据加以整理，分析得出在校大学生几乎人人都有网上购物的经历，平均每月每人会进行2-3次的网上购物，月网购费用平均为169元。不同的年级、不同的地方、不同性别的大学生网上购物的习惯也各不相同。对城镇的大学生来说，由于月生活费用比农村性质的大学生要高，因此月网购的花费相对更高，网购次数也越频繁。通常大家更喜欢在网上购买服装，书籍等商品，女大学生也喜欢购买装饰品和护肤产品。尽管大学生都喜欢网上购物，但是也有一部分人群对网上购物流程的不太熟悉，并且对所购的商品不满意。因此本文针对大学生网购出现的状况，对当前的网上购物现象和问题进行了总结，分析了当代大学生网购存在的问题及原因，提出了在的新形势下，如何让大学生更好地更放心的进行网购的对策。关键词：大学生网上购物SPSS 网购现状对策 引言：随着网络的普及，电脑成本的不断下降，依赖于网络的网络购物作为一种新型的消费方式，在全国乃至全球围都在飞速的发展，并且越来受到人们的青睐。网上购物已经慢慢地从一个新鲜的事物逐渐变成人们日常生活的一部分，冲击着人们的传统消费习惯和思维、生活方式，以其特殊的优势而逐渐深入人心最适合年轻族群购物口味的一种购物方式。 作为“高触网”的大学生，随着网络和电子商务的发展，他们成为网络购物群体中的主体。他们往往扮演者引领社会消费趋势的角色。尽管在校期间学生没有固定收入来源，在消费能力上受到了限制，但由于他们作为容易接受新鲜事物的一个群体，更加喜欢快捷、选择多的商品，因此省时省力的网络成了他们最好的购物方式。其次，大部分学生4年之后都会获得一份高于社会平均水平的收入。所以在校大学生一旦突破了资金的限制，将会成为社会主要的消费群体，其在校期间的消费行为会代表未来几年的消费趋势。基于这样一种思考我们对在校大学生进行问卷调查，利用Spss软件对各数据进行深入的分析，以便更好的了解当代大学生网络购物的特征。 一．抽样调查基本情况 通过设计调查问卷的方式，对我校100名大学生的家庭月收入、月生活费、网购的次数、月网购所花的钱、网购的商品类别、常购物的、网购的主因、对网购发展前景的看法、网购的熟悉程度、喜欢那种促销活动和对网购的满意程度进行了数据统计。用于深入统计分析大学生网购。
基于K-均值的Iris数据聚类分析 姓名谢稳 学号 1411010122 班级信科 14-1 成绩 _________________
基于K-均值的Iris数据聚类分析 姓名:谢稳 信息与计算科学14-1班 摘要数据挖掘在当今大数据新起的时代是一项必须掌握的技能，聚类分析是数据挖掘技术中一项重要的研究课题，在很多领域都有具有广泛的应用，如模式识别、数据分析等。聚类分析的目的是将数据对象分成若干个类或簇，使得在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象之间相似度较低［5］。通过聚类分析，人们能够识别出数据分布密集和稀疏的区域，发现全局的分布模式以及数据属性之间一些意想不到的相互关系。本文对R.A.Fisher 在1936 年发表的Iris 数据进行数据挖掘，使用聚类分析中的K-Means对该问题进行进一步分析研究。实验证明两种方法都是适合的解决此类问题的。 关键词Iris数据；聚类分析；K-均值聚类. 0前言 本文对聚类分析的原理进行阐述，并聚类分析中的谱系聚类法和K-means对R.A.Fisher 的Iris 数据进行了数据分析，得到了几乎相同的结论，数据量太少，回带误差大约是20%。 1数据分析预处理 1.1 数据来源 分析的数据来自R.A.Fisher 在1936 年发表的Iris 数据（见附录B表B.1），据表可知前50个数据为牵牛一类，再50个数据为杂色一类，后50个数据为锦葵一类。将数据样本X变量放入matlab变量名X,,保存为matlab的huaban.mat文件。 1.2 数据分析 采用谱系聚类分析方法和K-means聚类法解决例如Iris类的分类等问题。 2聚类分析 2.1聚类的概述 聚类分析是研究对样品或指标进行分类的一种多元统计方法，是依据研究对象的个体的特征进行分类的方法；聚类分析把分类对象按一定规则分成若干类，这些类非事先指定的，而是根据数据特征确定的。在同一类中这些对象在某种意义上趋向于彼此相似，而在不同类中趋向于不相似；职能是建立一种能按照样品或变量的相似程度进行分类的方法。聚类准则为“亲者相聚，疏者相分”。 2.2 分类 2.2.1 R型聚类分析 R型聚类分析是对变量（指标）的分类，其主要作用：不但可以了解个别变量之间的亲疏程
数据分析课程标准标准化工作室编码[XX968T-XX89628-XJ668-XT689N]
《数据分析》课程标准 1．课程定位与课程设计 1.1课程的性质与作用 本课程是电子商务专业的专业基础课程。通过本课程的学习，使学生掌握调查方案设计、数据资料的收集、整理、分析和数据分析报告的撰写方法和思路，及运用EXCEL进行数据分析的基本方法。该课程主要是培养学生完整市场调查的理念与运用EXCEL进行数据分析的能力，为学生学习和掌握《网络营销与策划》、《店铺运营》、《客户服务》等其他专业课程提供必备的专业基础知识，也为学生从事电子商务运营与推广、客户服务等电子商务相关岗位工作打下良好的基础。 1.2课程设计理念 课程设计遵循“以学生为主体”教育思想，依据“任务引领”为课程内容设计原则，以提高学生整体素质为基础，以培养学生市场调查与数据分析工具的使用能力、特别是创新能力和实际操作能力为主线，兼顾学生后续发展需要，选取符合电子商务职场所要求的知识、素质和能力为教学内容；在基本理论和基础知识的选择上以应用为目的，以“必需、够用”为度，服从培养能力的需要，突出针对性和实用性（2）遵循能力本位的教学观。注重培养学生在工作中对数据资料的收集、整理和分析处理能力，训练学生的专业能力、社会能力和方法能力。课程设计以能力为核心，围绕能力的形成学习相关知识。 1.3 课程设计思路 在课程设计上根据电子商务专业就业岗位群任职要求，改革传统的课程体系和教学方法，形成以就业为导向，立足于学生职业能力培养和职业素养养成，突出课程的应用性和操作性。数据分析工作是一个有序开展的工作，顺序性和过程性很强，课程设计的思路正是依据工作任务的顺序和过程开展的，数据分析工作过程主要分为五个步骤，这五个步骤也就是五个工作项目，构成了本课程学习内容的框架。通过任务驱动充分发挥学生的主体作用，让学生在完成具体任务的过程中来构建相关理论知识，发展职业能力，并提升职业素养。在教学内容上遵循“理论够用、适度，重在应用”的原则，弱化理论，剔除抽象的公式推导和复杂计算分析，把数据资料的收集特别是利用互联网收集数据资料及运用数据分析工具软件进行数据分析，作为重点内容进行讲授和训练，适应社会经济和科技进步给市场信息分析与预测带来的发展。 2．课程目标 通过本课程的学习，学生掌握从调查方案设计、数据资料的收集、处理、分析到数据分析报告的撰写整个工作流程，学会运用EXCEL进行数据分析的基本方法。同时还要培养学生自主学习能力、自我管理能力、沟通能力、组织协调能力、市场开拓意
《数据库原理与应用》 课程设计 个人总结 题目机票预订系统 专业班级计0903 学号 2 姓名王龙飞 指导老师强新建 完成时间2012.1.12
课程设计心得体会及总结 两个星期的时间非常快就过去了，这两个星期不敢说自己有多大的进步，获得了多少知识，但起码是了解了项目开发的部分过程。虽说上过数据库上过管理信息系统等相关的课程，但是没有亲身经历过相关的设计工作细节。这次实习证实提供了一个很好的机会。 通过这次课程设计发现这其中需要的很多知识我们没有接触过，去图书馆查资料的时候发现我们前边所学到的仅仅是皮毛，还有很多需要我们掌握的东西我们根本不知道。同时也发现有很多已经学过的东西我们没有理解到位，不能灵活运用于实际，不能很好的用来解决问题，这就需要我们不断的大量的实践，通过不断的自学，不断地发现问题，思考问题，进而解决问题。在这个过程中我们将深刻理解所学知识，同时也可以学到不少很实用的东西。 从各种文档的阅读到开始的需求分析、概念结构设计、逻辑结构设计、物理结构设计。亲身体验了一回系统的设计开发过程。很多东西书上写的很清楚，貌似看着也很简单，思路非常清晰。但真正需要自己想办法去设计一个系统的时候才发现其中的难度。经常做到后面突然就发现自己一开始的设计有问题，然后又回去翻工，在各种反复中不断完善自己的想法。 我想有这样的问题不止我一个，事后想想是一开始着手做的时候下手过于轻快，或者说是根本不了解自己要做的这个系统是给谁用的。因为没有事先做过仔细的用户调查，不知道整个业务的流程，也不知道用户需要什么功能就忙着开发，这是作为设计开发人员需要特别警惕避免的，不然会给后来的工作带来很大的麻烦，甚至可能会需要全盘推倒重来。所以以后的课程设计要特别注意这一块的设计。 按照要求，我们做的是机票预订系统。说实话，我对这个是一无所知的，没有订过机票，也不知道航空公司是怎么一个流程。盲目开始设计的下场我已经尝过了，结果就是出来一个四不像的设计方案，没有什么实际用处。没有前期的调查，仅从指导书上那几条要求着手是不够的。 在需求分析过程中，我们通过上网查资料，去图书馆查阅相关资料，结合我们的生活经验，根据可行性研究的结果和客户的要求，分析现有情况及问题，采用结构，将机票预定系统划分为两个子系统：客户端子系统，服务器端子系统。在两周的时间里，不断地对程序及各模块进行修改、编译、调试、运行，其间遇到很多问题：由于忘记了一些语言的规范使得在调试过程中一些错误没有发现，通过这次课程设计，我对调试掌握得更加熟练了，意识到了程序语言的规范性以及我们在编程时要有严谨的态度，同时在写程序时如有一定量的注释，既增加了程序的可读性，也可以使自己在读程序时更容易。 我们学习并应用了语言，对数据库的创建、修改、删除方法有了一定的了解，通过导入表和删除表、更改表学会了对于表的一些操作，为了建立一个关系数据库信息管理系统，必须得经过系统调研、需求分析、概念设计、逻辑设计、物理设计、系统调试、维护以及系统评价的一般过程，为毕业设计打下基础。 很多事情不是想象中的那么简单的，它涉及到的各种实体、属性、数据流程、数据处理等等。很多时候感觉后面的设计根本无法继续，感觉像是被前面做的各种图限制了。在做关系模型转换的时候碰到有些实体即可以认为是实体又可以作为属性，为了避免冗余，尽量按照属性处理了。 物理结构设计基本没有碰到问题，这一块和安全性、完整性不觉就会在物理结构设计中添加一些安全设置：主键约束、约束、定义等。最后才做索引的部分，对一些比较经常使用搜索的列，外键上建立索引，这样可以明显加快检索的速度，最后别忘记重要的安全性设置，限制用户访问权限，新建用户并和数据库用户做相应的映射。 不管做什么，我们都要相信自己，不能畏惧，不能怕遇到困难，什么都需要去尝试，有些你开始认为很难的事在你尝试之后你可能会发现原来她并没有你以前觉得的那样，自己也
目录 摘要 (Ⅰ) 1.引言 (1) 2.因子分析法的基本思想和数学模型 (1) 2.1因子分析的基本思想 (1) 2.2因子分析的数学模型 (1) 3.指标建立 (2) 3.1人均生产总值 (2) 3.2社会消费品零售总额 (2) 3.3财政收入 (2) 3.4城镇居民可支配收入 (2) 3.5农民人均纯收入 (3) 3.6职工平均工资 (3) 4.案例分析 (3) 4.1数据收集 (3) 4.1数据处理 (4) 5.总结 (8) 6.附录 (9) 6.1平均数、标准差、偏度、峰度等统计量 (9) 6.2直方图 (10) 7.个人学习小结 (11) 8.参考文献 (12)
摘要 本文主要说明主因子分析在浙江省各城市综合经济实力评价方面的应用，并运用功能强大的数据分析软件SPSS，简化计算方法，通过输入各项数据，追后得出评价图表，来分析浙江省各市经济建设方面哪些因子更重要。 本文引用浙江省32个市县的6项指标，人均生产总值，人均社会消费品零售总额，人均财政收入，城镇居民人均可支配收入，农村居民人均纯收入，在岗职工工资。通关SPSS来分析这些指标的数据，来评价各市的总和实力。 关键词：SPSS，因子分析法，综合经济实力,浙江省
1.引言 随着改革的开放，中国各省经济都在飞速的增长，浙江省的社会经济发展也取得了巨大的成就。2012年，浙江深入贯彻落实科学发展观，面对严峻复杂的外部环境和困难挑战，全省经济在加快转型升级中实现平稳增长。本文利用SPSS ，对2012年浙江省32个市县主要经济指标数据进行主成分分析。 2.因子分析法的基本思想和数学模型 2.1因子分析的基本思想 用少数几个抽象的因子，去描述多个指标或者（因素）之间的联系。将相互直接关系比较密切的变量归为同一个类别之中没一类变量就变成一个因子。因子分析是一直降维、简化数据的技术。 作为一种比较好的研究技术，因子分析有一下特点： （1）因子变量的数量远少于原有的指标变量的数量，因而对因子变量的分析能够减少分析中的工作量。 （2）因子变量不是对原始变量的取舍，而是根据原始变量的信息进行重新组构，它能够反映原有变量大部分的信息。 （3）因子变量之间不存在显著的线性相关关系，对变量的分析比较方便，但原始部分变量之间多存在较显著的相关关系。 （4）因子变量具有命名解释性，即该变量是对某些原始变量信息的综合和反映。在保证数据信息丢失最少的原则下，对高维变量空间进行降维处理主成分分析）。显然，在一个低维空间解释系统要比在高维系统容易的多。 当然因子分析也会有一些不便的地方，它只能做综合性的评价，同时对数据的数据量和成分也有一定要求。而且需要先进行KOM 检测数据是否适合作因子分析法。 2.2因子分析的数学模型 假设对n 例样品观测了p 个指标，即1X ，2X ，…， p X ，得到观测数据。我们的 任务就是从一组观测数据出发，通过分析各指标1X ，2X ，…， p X 之间的相关性，找 出支配作用的潜在因子，使得这些因子可以解释各个指标之间的相关性。 则因子分析的数学模型如下： 112121111e F a F a F a X m m ++++= 222221212e F a F a F a X m m ++++= p m pm p p p e F a F a F a X ++++= 2211
《数据分析课程设计》要求（学生用） 课程设计是课程教学的集中实践环节，目的是使同学们初步掌握统计数据分析基本理论知识的应用方法，提高应用性数据分析的实践能力、提升数学思维素质. 1、任务和要求 （1）选题学生根据自身基础、兴趣自拟题目，报指导教师审查，通过问题与课程内容的相容性、数据资源的可获得性、限定时限内的可完成性方面的审查后，学生不得再行选题. （2）数据调研根据选题，确定相关分析的变量系统，明确变量的意义，统计要求等，主要从国家部委官网和行业，大数据企业官网上进行数据调研.或可通过统计年鉴、研究报告等文献，进行数据整理、汇总. （3）目的与意义阐释正确、完整、简明的阐释选题以及数据分析的目的和意义. （4）模型与方法选择以课内方法为主，基础好的学生可适当突破课程内容限制.对数据分析过程进行概括叙述，并以算法程式叙述计算过程. （5）主要计算结果及意义分析对计算结果进行必要的整理，对关键性中间计算结果和最终计算结果及其意义进行分析与评论. （6）综合结论与数据分析报告给出同“选题的目的与意义”呼应的结论叙述，写出数据分析报告. （7）数据处理过程的MATLAB源代码提交完整的数据处理过程的MATLAB源代码 （8）参考文献提交参阅并直接借鉴的文献（3～5篇）、资料清单. 2、文档规范 (1) 版面基本参数 ①文件类型MATLAB Notebook文件。 ②版式参数纸型A4，四周页边距各2.5cm，页眉1.5，页脚1.75。
③字形字号题目黑体3号，标题黑体4号、宋体小4号、楷体小4号，中文正文宋体5号，英文正文Times New Roman 5号。 ④整体结构题目，署名（姓名+专业+年级），摘要，关键词，正文，参考文献，附录。 (2)封面 参见样例。 (3) 题目，署名，摘要，关键词 摘要是论文内容的简要陈述，包括论文之中的主要信息，具有独立性和完整性，100字左右。 (4) 正文 ①正文的层次划分和编排方法 正文是论文的主要组成部分，题序层次是文章结构的框架。 章节序码统一用阿拉伯数字表示，题序层次可以分为若干级，各级号码之间加一小圆点，末尾一级码的后面不加小圆点，层次分级一般不超过3级为宜。 示例如下： 第一级（章）1，2，3，… 第二级（节）1.1,… 2.3,… 3.1,… 第三级（条）1.1.1,… 2.1.2,…,3.2.2,… 前言可以不编序号，也可以编为“0”。 题序层次编排章、条编号一律左顶格，编号后空一个字距，再写章节条题名。 题名下面的文字一般另起一行。 打印论文，1.5倍行距。 ②图表 论文中的选图及制图力求精炼。适于文字说明的，就不要用图。 论文中的表一律不画左右端线，表的设计应简单明了。 图表中所涉及到的单位一律不加括号，用“，”与量值隔开。 图表均应有标题，并按章编号（如图1-1、表2-2等）。 图表标题均居中书写，字号比正文小一号。 ③公式 公式统一用英文斜体书写，公式中有上标、下标、顶标、底标等时，必须层次清楚。
综合设计（数据分析）课程设计要求 一、题目： 1、城市综合经济实力问题 2、银行业的相关问题 3、题目自拟 二、要求： 二、课程设计的基本要求 1、独立思考，独立完成：每人任选一题，在课程设计中各任务要求独立完成，遇到问题大家可以相互讨论，互相调试检查，但不可以拷贝。 2、按照课程设计的具体要求建立的数学模型，每个模型的建立要求按照如下几个内容认真完成；其中包括： a）描述性统计与探索型数据分析 对主要的研究变量进行单变量分析，了解每个变量的情况；两变量之间情况分析。 b）数据收集及数据清洗 在此说明每个数据的来源，数据质量及数据清洗（缺失值、异常值、错误值，数据去重） c）模型建立 各个模型建立的软件实现过程（可放在附录中），对每个题目要有相应的建模分析过程。 建模分析过程要按照写建模的规则来进行。要结构清晰，如果解释变量比较多的应该给出相应的主成分分析或因子分析来降维从而得到用较少的变量来分析结果变量的目的，重点部分要加上清晰的降维原因。 d）模型检验 测试数据，测试输出的结果，模型的可靠性分析，相应的系数和残差检验时存在问题的思考（问题是哪些？问题如何解决？），模型的改进设想等。 e) 模型应用 3、每人实现的结果必须进行检查和演示；数据来源和模型建立的说明文件必须上交，作为考核内容的一部分；（上交时每人交一份打印文件及电子版，电子版文件的取名规则为：“学号姓名”，如“11207210188 张丽”，该文件夹下至少要包括全部数据分析过程和必要的相关文件，按班级统一打包上交。 4、课程设计报告要对模型的特点及结构进行说明。报告格式参照（报告示例）。 5、报告提交 时间：第19周周日之前，迟交无成绩。 形式：课程设计报告(要求书写课程设计报告） 6、文字表述的规范性：论述有条理，层次清晰，文笔流畅，论证有力，图表附件格式引文合理、正确，参考文献规范。 三、提交的文档： 课程设计报告，包括：需求分析说明书、总体设计说明书、详细设计说明书 四、部分题目功能及要求
《综合设计（数据分析）》课程设计教学任务书 12级统计 课程设计周数：2周 一、课程设计的目的 通过本课程设计，使学生加深理解统计学的基本思想和理论，掌握各种统计分析方法，体验一次独立综合运用所学统计知识和计算机知识，解决实际统计问题的完整过程，从而培养学生独立思考的意识，提高学生的基本设计能力，锻炼学生理论联系实际能力。 学习数据结构是为了将实际问题中所涉及的对象在计算机中表示出来并对它们进行处理。通过课程设计可以提高学生的思维能力，促进学生的综合应用能力和专业素质的提高。通过此次课程设计主要达到以下目的： ?了解并掌握数据分析的方法，具备初步的独立分析和设计能力； ?初步掌握数据分析过程的问题分析、数据收集、模型建立、预测等基本方法和技能； ?提高综合运用所学的理论知识和方法独立分析和解决问题的能力； ?训练用系统的观点和数据分析一般规范进行数据分析，培养数据分析工作者所应具备 的科学的工作方法和作风。 二、课程设计的基本要求 1、独立思考，独立完成：每人任选一题，在课程设计中各任务要求独立完成，遇到问题大家可以相互讨论，互相调试检查，但不可以拷贝。 2、按照课程设计的具体要求建立的数学模型，每个模型的建立要求按照如下几个内容认真完成； 其中包括： a）需求分析： 在该部分中叙述，每个模型的建立要求，分析结果变量受哪些解释变量的影响。 b）数据收集 在此说明每个数据的来源，对于缺少的数据怎么处理 c）模型建立 各个模型建立的软件实现过程（可放在附录中），对每个题目要有相应的建模分析过程。 建模分析过程要按照写建模的规则来进行。要结构清晰，如果解释变量比较多的应该给出相应的主成分分析或因子分析来降维从而得到用较少的变量来分析结果变量的目的，重点部分要加上清晰的降维原因。 d）调试分析 测试数据，测试输出的结果，模型的可靠性分析，相应的系数和残差检验时存在问题的思考（问题是哪些？问题如何解决？），模型的改进设想等。 4、每人实现的结果必须进行检查和演示；数据来源和模型建立的说明文件必须上交，作为考核内容的一部分；（上交时每人交一份，文件夹的取名规则为：“学号姓名”，如
大数据基础课程设计报告 一、项目简介： 使用hadoop中的hive、mapreduce以及HBASE对网上的一个搜狗五百万的数进行了一个比较实际的数据分析。搜狗五百万数据，是经过处理后的搜狗搜索引擎生产数据，具有真实性，大数据性，能够较好的满足分布式计算应用开发课程设计的数据要求。 搜狗数据的数据格式为：访问时间\t 用户 ID\t[查询词]\t 该URL 在返回结果中的排名\t 用户点击的顺序号\t 用户点击的 URL。其中，用户 ID 是根据用户使用浏览器访问搜索引擎时的 Cookie 信息自动赋值，即同一次使用浏览器输入的不同查询对应同一个用户ID。 二、操作要求 1.将原始数据加载到HDFS平台。 2.将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段。 3.将处理后的数据加载到HDFS平台。 4.以下操作分别通过MR和Hive实现。 ●查询总条数 ●非空查询条数
●无重复总条数 ●独立UID总数 ●查询频度排名（频度最高的前50词） ●查询次数大于2次的用户总数 ●查询次数大于2次的用户占比 ●Rank在10以内的点击次数占比 ●直接输入URL查询的比例 ●查询搜索过”仙剑奇侠传“的uid，并且次数大于3 5.将4每步骤生成的结果保存到HDFS中。 6.将5生成的文件通过Java API方式导入到HBase（一张表）。 7.通过HBase shell命令查询6导出的结果。 三、实验流程 1. 将原始数据加载到HDFS平台 2. 将原始数据中的时间字段拆分并拼接，添加年、月、日、小时字段 （1）编写1个脚本sogou-log-extend.sh，其中sogou-log-extend.sh的内容
数据分析课程标准内部编号：（YUUT-TBBY-MMUT-URRUY-UOOY-DBUYI-0128）
《数据分析》课程标准 1．课程定位与课程设计 1.1课程的性质与作用 本课程是电子商务专业的专业基础课程。通过本课程的学习，使学生掌握调查方案设计、数据资料的收集、整理、分析和数据分析报告的撰写方法和思路，及运用EXCEL进行数据分析的基本方法。该课程主要是培养学生完整市场调查的理念与运用EXCEL进行数据分析的能力，为学生学习和掌握《网络营销与策划》、《店铺运营》、《客户服务》等其他专业课程提供必备的专业基础知识，也为学生从事电子商务运营与推广、客户服务等电子商务相关岗位工作打下良好的基础。 1.2课程设计理念 课程设计遵循“以学生为主体”教育思想，依据“任务引领”为课程内容设计原则，以提高学生整体素质为基础，以培养学生市场调查与数据分析工具的使用能力、特别是创新能力和实际操作能力为主线，兼顾学生后续发展需要，选取符合电子商务职场所要求的知识、素质和能力为教学内容；在基本理论和基础知识的选择上以应用为目的，以“必需、够用”为度，服从培养能力的需要，突出针对性和实用性 （2）遵循能力本位的教学观。注重培养学生在工作中对数据资料的收集、整理和分析处理能力，训练学生的专业能力、社会能力和方法能力。课程设计以能力为核心，围绕能力的形成学习相关知识。 1.3 课程设计思路 在课程设计上根据电子商务专业就业岗位群任职要求，改革传统的课程体系和教学方法，形成以就业为导向，立足于学生职业能力培养和职业素养养成，突出课程的应用性和操作性。数据分析工作是一个有序开展的工作，顺序性和过程性很强，课程设计的思路正是依据工作任务的顺序和过程开展的，数据分析工作过程主要分为五个步骤，这五个步骤也就是五个工作项目，构成了本课程学习内容的框架。通过任务驱动充分发挥学生的主体作用，让学生在完成具体任务的过程中来构建相关理论知识，发展职业能力，并提升职业素养。在教学内容上遵循“理论够用、适度，重在应用”的原则，弱化理论，剔除抽象的公式推导和复杂计算分析，把数据资料的收集特别是利用互联网收集数据资料及运用数据分析工具软件进行数据分析，作为重点内容进行讲授和训练，适应社会经济和科技进步给市场信息分析与预测带来的发展。 2．课程目标
《数据分析方法》课程设计报告
《数据分析方法》课程实验报告
1.实验内容 （1）掌握回归分析的思想和计算步骤； （2） 编写程序完成回归分析的计算，包括后续的显著性检验、残差分析、Box-Cox 变换等内容。 2. 模型建立与求解(数据结构与算法描述) 3.实验数据与实验结果 解：根据所建立的模型在MATLAB 中输入程序（程序见附录）得到以下结果： （1）回归方程为：123.45260.49600.0092Y X X ∧ =++ 说明该化妆品的消量和该城市人群收入情况关系不大，轻微影响，与使用该化妆品的人数有关。 2σ的无偏估计：2 4.7403σ= （2）方差分析表如下表： 方差来源 自由度 平方和 均方 F 值 p 回归（R ） 2 53845 26922 56795 2.28 误差（E ） 12 56.883 4.703 总和（T ） 14 53902 从分析表中可以看出：F 值远大于p 的值。所以回归关系显著。 复相关20.9989R =，所以回归效果显著。 解：根据所建立的模型，在MATLAB 中输入程序（程序见附录）得到如下结果： （1）回归方程为：1257.9877 4.70820.3393Y X X ∧ =-++ 在MTLAB 中计算学生化残差（见程序清单二），所得到的学生化残差r 的值由残差可知得到的r 的值在（-1，1）的概率为0.645，在（-1.5，1.5）的概率为0.871，在（-2，2）之间的概率为0.968. 而服从正态分布的随机变量取值在（-1，1）之间的概率为0.68，在（-1.5，1.5）之间的概率为0.87，在（-2.2）之间的概率为0.95，所以相差较大，所以残差分析不合理，需要对数据变换。
大数据课程设计报告 导语：读书切戒在慌忙，涵泳工夫兴味长。未晓不妨权放过，切身须要急思量。以下小编为大家介绍大数据课程设计报告文章，欢迎大家阅读参考! 大数据课程设计报告最近几年，我国各个院校相继开设交互设计课程，但是目前我国的交互设计教学处于初步阶段，交互设计教学的模式研究仍然是一个值得重视的问题。本文通过对我国交互设计现状的分析，探讨现代教学模式中存在的问题，针对问题提出相关建议，以期推进我国交互设计教学的进步。 交互设计；教学模式；大数据时代 随着科学技术和互联网的发展，交互设计越来越受到人们的重视。联想、新浪、腾讯等等众多企业对交互设计人才的需求越来也多，但是行业内人才比较缺乏。如何提高交互设计专业的教学质量，满足日益增长的人才需要，成为教育工作者亟需解决的一个难题。 《高等教育法》第5条规定：“高等教育的任务是培养具有创新精神和实践能力的高级专门人才，发展科学技术文化，促进社会主义现代化建设。”这意味着高等教育肩负着人才培养和科学技术文化发展两大任务，高校理工科教师身兼教学工作者和科研工作者双重身份，在教学与科研两大阵
地中耕耘。因此，发挥高校理工科教师的双重角色优势，在理工科教学的课堂上引入科学研究的思维与方法，使大学生“像科学家一样工作”地学习，能促进“学术性之教学”的形成，培养创新精神与实践能力，铸造学生的科学精神与人文精神。基于此，如何将科研思维有效地引入课堂是值得探索的一个方向。 最近几年，交互设计专业在我国各个院校相继开设，发展迅速，但是我国的交互设计教学的发展仍然处于初级阶段，虽然在交互专业教学方面积累了一定的经验，却也存在不少问题。 课堂教学以教师为中心目前，各个院校主要利用多媒体进行交互设计课程教学，这种教学模式是通过老师向学生传递知识，学生接受知识，从而完成教学的目的，但是这种教学模式只考虑到了课程内容的前瞻性和系统性，并没有考虑到怎样才能保证教学的效率，因而造成学生在学习的过程处于被动的位置。 课程体系不完善交叉设计是一门综合性很强的专业，涉及设计艺术学、计算机科学、认知科学、心理学等等交叉研究的领域。但是目前各个院校内交叉设计这门课程的教学体系还不够完善，只包括了交互设计体验设计、交互界面设计、感性工学、人机工程学等课程。在逻辑学、认知心理学等方面很多院校还未创立相关课程。另外，很多院校设立的交叉
成绩评定表
课程设计任务书
摘要 数据分析析的主要应用有两方面，一是寻求基本结构,简化观测系统，将具有错综复杂关系的对象（变量或样品)综合为少数几个因子（不可观测的，相互独立的随机变量)，以再现因子与原变量之间的内在联系；二是用于分类，对p个变量或n个样品进行分类。聚类分析一般有两种类型，即按样品聚类或按变量(指标）聚类,其基本思想是通过定义样品或变量间“接近程度”的度量,将“相近”的样品或变量归为一类.本文利用利用数据分析中的因子分析和聚类分析对多个变量数据进行了分析.就是分析和处理数据的理论与方法,数据分析中提出了广泛的多元数据分析的统计方法,包括线性回归分析、方差分析、因子分析、主成分分析、典型相关分析、判别分析、聚类分析等. 关键词：spss软件；聚类分析；因子分析；线性规划
目录 1 数据分析的任务和目的?错误!未定义书签。 1。1 问题的背景....................................... 错误!未定义书签。 1。2 任务和目的...................................... 错误!未定义书签。２数据的搜集与整理?错误!未定义书签。 2．1 数据的来源?错误!未定义书签。 2.2 数据的处理....................................... 错误!未定义书签。 3 利用ＳPＳS软件对结果进行分析?错误!未定义书签。 总结?错误!未定义书签。 参考文献 .................................................... 错误!未定义书签。
Xｘ大学2０14-2015学年第一学期课程小论文 课程名称：数据分析课程编号: 论文题目: 大学生网上购物状况得调查分析 学生姓名(学号）: 学生姓名（学号）: 学生姓名(学号)： 论文评价: 最终成绩: 任课教师: 评阅日期: 摘要: 本文以问卷调查得形式,研究了当前大学生得网上购物现状。我们以统计软件SPSS为工具,对问卷调查所得得数据加以整理,分析得出在校大学生几乎人人都有网上购物得经历,平均每月每人会进行2-3次得网上购物,月网购费用平均为16９元。不同得年级、不同得地方、不同性别得大学生网上购物得习惯也各不相同。对城镇得大学生来说,由于月生活费用比农村性质得大学生要高,因此月网购得花费相对更高，网购次数也越频繁。通常大家更喜欢在网上购买服装,书籍等商品,女大学生也喜欢购买装饰品与护肤产品。尽管大学生都喜欢网上购物,但就是也有一部分人群对网上购物流程得不太熟悉,并且对所购得商品不满意。因此本文针对大学生网购出现得状况,对当前得网上购物现象与问题进行了总结,分析了当代大学生网购存在得问题及原因，提出了在得新形势下,如何让大学生更好地更放心得进行网购得对策。 关键词:大学生网上购物SＰSS网购现状对策 引言:随着网络得普及，电脑成本得不断下降,依赖于网络得网络购物作为一种新型得消费方式，在全国乃
至全球范围内都在飞速得发展，并且越来受到人们得青睐。网上购物已经慢慢地从一个新鲜得事物逐渐变成人们日常生活得一部分,冲击着人们得传统消费习惯与思维、生活方式，以其特殊得优势而逐渐深入人心最适合年轻族群购物口味得一种购物方式。 作为“高触网”得大学生,随着网络与电子商务得发展,她们成为网络购物群体中得主体。她们往往扮演者引领社会消费趋势得角色。尽管在校期间学生没有固定收入来源,在消费能力上受到了限制，但由于她们作为容易接受新鲜事物得一个群体,更加喜欢快捷、选择多得商品,因此省时省力得网络成了她们最好得购物方式。其次,大部分学生4年之后都会获得一份高于社会平均水平得收入。所以在校大学生一旦突破了资金得限制，将会成为社会主要得消费群体，其在校期间得消费行为会代表未来几年得消费趋势。基于这样一种思考我们对在校大学生进行问卷调查,利用Spss软件对各数据进行深入得分析,以便更好得了解当代大学生网络购物得特征。 一. 抽样调查基本情况 通过设计调查问卷得方式,对我校100名大学生得家庭月收入、月生活费、网购得次数、月网购所花得钱、网购得商品类别、常购物得网站、网购得主因、对网购发展前景得瞧法、网购得熟悉程度、喜欢那种促销活动与对网购得满意程度进行了数据统计。用于深入统计分析大学生网购。 二.SＰSS基本情况分析 ２、1 创建SPSS数据文件 2、２大学生基本情况分析