气象大数据服务系统市场前景分析
1.行业产业扶持政策
国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。《纲要》提出，2018年底前建成国家政府数据统一开放平台，率先在科技、气象、海洋等重要领域实现公共数据资源合理适度向社会开放，带动社会公众开展大数据增值性、公益性开发和创新应用，充分释放数据红利，激发大众创业、万众创新活力。
《纲要》提出，要加强顶层设计和统筹协调，大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合，消除信息孤岛，推进数据资源向社会开放，增强政府公信力，引导社会发展，服务公众企业；以企业为主体，营造宽松公平环境，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展；完善法规制度和标准体系，科学规范利用大数据，切实保障数据安全。其中，明确提出制定公共机构数据开放计划，落实数据开放和维护责任，推进公共机构数据资源统一汇聚和集中向社会开放，提升政府数据开放共享标准化程度，优先推动交通、农业、气象、海洋等民生保障服务相关领域的政府数据集向社会开放；探索开展交通、公安、气象、安监等跨部门、跨地域数据融合和协同创新；利用物联网、云计算、卫星遥感等技术，建立我国农业耕地、草原、林地、水资源、农业设施设备等资源要素数据监测体系，促进农业环境、气象、生态等信息共享，构建农业资源要素数据共享平台，为各级政府、企业、农户提供农业资源数据查询服务，鼓励各
类市场主体充分发掘平台数据，开发测土配方施肥、统防统治、农业保险等服务。
2.行业发展趋势市场容量及增长率
按照著名的“德尔菲气象定律”：企业气象投入与产出比为1:98，即在气象信息上每投资1美元，便可以得到98美元的经济回报。中国的气象投入产出比为1:40。2014年国家气象局和国家统计局斥巨资、耗时一年进行的调查表明：按需定制的公众气象服务市场价值达2174.6亿元。
目前，国际众多领先的气象服务公司已经对中国气象服务市场这块“大蛋糕”垂涎三尺。据悉，已有数家跨国气象公司开始在中国寻找机会，包括日本WNT公司、美国气象导航公司都已在上海设立办事处。WNI在上海成立的上海海洋气象导航有限公司是最早进入中国气象服务市场的海外气象公司，占领了我国70%的气象导航业务。根据南京信息工程大学大气科学学院院长闽锦忠的介绍，近些年我国每年气象服务的市场份额大概是人民币二十几个亿，而中国企业所占的份额10%不到。
大数据带来更大想象空间，据中国气象局公共气象服务中心副主任潘进军介绍，气象大数据不仅可以让人们知道天气，更重要的是帮助企业从天气中减少损失或盈利。英国的气象服务已经全部商业化，年产值达到2600亿美元，美国1600亿美元，日本100亿美元，而中国只有6亿美元，专业的气象数据服务在中国市场前景巨大。
3.产品分析
气象大数据服务系统包含以下三个子应用模块：
3.1数据目录与元数据模块
数据目录与元数据模块是数据发现和数据（目录）导航服务的支持系统，提供对各类气象资料元数据的编辑、发布、查询、维护、变更、统计以及导入等功能，并以气象元数据为核心进行数据目录组织和管理，实现统一的数据目录访问服务，根据业务需要可以按照多种维度对元数据进行目录组织与管理。该服务主要功能：数据目录导航；元数据检索功能。
3.2数据资源服务模块。为用户提供数据发现、数据（目录）导航、数据展示、数据检索、数据定制、数据订购、数据下载等服务功能，用户通过数据访问服务，可快速浏览并获取各种气象基础资料和产品数据、在线分析、处理各种数据等。
3.3数据分析与可视化服务模块
数据统计分析
提供交互式在线分析功能，可以动态设定统计参数，支持气象要素的平均、总量、极值、距平、方差、排序等标准算法的统计和分析
数据可视化服务
结合GIS、多种图形图形处理等技术，根据气象资料的特点，开发气象要素数据图形处理服务组件，提供数据可视化展示、数据叠加显示等功能。
可视化工具包
独立显示平台，支持数据网数据的可视化显示和远程访问，提供API开发
气象数据处理方法：spss和Excel 一、下载原始txt数据中的经纬度处理：将度分处理成度，Excel处 理 首先除以100，处理成小数格式，这里第一个实际是52度58分， 在Excel中用公式：=LEFT(O2,FIND(".",O2)-1)+RIGHT(O2,LEN(O2)-FIND(".",O2))/60 需注意： 当为整数时，值为空，这时需查找出来手动修改，或者将经纬度这一列的小数位改成两位再试试，可能好使（这个我没尝试） 第二步： 将经纬度转换成投影坐标，在arcgis实现 将Excel中的点导入arcgis，给定坐标系为wgs84地理坐标，然后投影转换成自己定义的等面积的albers投影（因为anusplina软件需要投影坐标，这里转换成自己需要的坐标系）
第三步：spss处理 将下载的txt数据导入spss之后，编辑变量属性，删掉不需要的列，然后将最后需要的那些变量进行数据重组 本实验下载的数据是日均温数据，全国800+个站点2012年366天的数据。相当于有800+ * 366行数据 1.变量 变量属性：变量属性这里的设置决定了在SPLINA这个模块中输入数据的格式，本实验spss处理的气象数据的格式统一用这个：(A5,2F18.6,F8.2,F8.2)，一共5列。
即：台站号，字符串，5位； 经纬度：都是浮点型，18位，6个小数位海拔：浮点型，8位，2个小数位 日均温：浮点型，8位，2个小数位 2.数据重组，将个案重组成变量： 后几步都默认就行：
重组之后结果：变成了800+行，370列，就相当于数据变成了：行代表每个站点，列是代表每一天的数据。 3. 因为anusplin这个软件需要的是投影坐标，在重组完的基础上，将经纬度这两列替换成投影之后的经纬度。 方法1：直接复制粘贴即可 方法二：用合并文件，添加变量功能
(1)复杂地形下气温空间化模拟模型 首先考虑海拔高度、经度、纬度对气温空间分布影响，再进一步考虑坡度、坡向这些微观地形因子对气温空间分布的影响。根据地形调节统计模型，即在考虑微观地形(坡度、坡向)情况下，面辐射与地形存在着函数关系，其实际气温可表示为： T T=T H cosi/cosz (1) 式中，T T为地形调节统计模型模拟的气温；T H为常规统计模型模拟的气温；i为地球面法线与太阳光线之间的角度。其中，T H可根据式(2)求得，i可根据式(3)求得 T H=a0+ a1λ+ a2φ+ a3h (2) 式中，λ为经度，φ为纬度，h为海拔高度，a0为常数，a1、a2、a3为偏回归系数。 cosi=cosαcosz+sinαsinzcos(ф-β) (3) 式中，α为坡度，z为太阳天顶角，ф为太阳方位角，β为坡向。 对于中国的地理位置特点和气温模拟方法，可将太阳天顶角z设为45°，太阳方位角ф设为180°(为正午时间)，所以公式(1)归纳为： T T=T H(cosα-sinαcosβ) (2) “回归分析计算+残差插值”模型构建用于降水数据处理 以2006年4月为例，得到各气象站点4月降水量与经纬度、海拔高度的线性关系式： P=-66.840+4.518*lat-1.324*long+0.001*ele(r2=0.456) (4) 式中：lat为气象站点的经度，long为气象站点的纬度，ele为气象站点的海拔高度，P为月降水。 由DEM提取经度、纬度、坡度、坡向 1.dem栅格转点 2.把Data frame propoties显示单位设置为度分秒 3投影
4生成经纬度 5点转栅格（生成经度）
大数据云气象 ①我们平时从电视、报纸、网站或手机上获取的看似简单的天气预报，其背后却有着极其庞杂的数据采集和分析作支撑。用现在时髦的话来说，天气预报是经过“云计算”得到的 大数据产品。 ②为了获取精确的气象预报，气象部门历来都会收集大量数据，组成超大的“数据库”。这些数据来自一个庞大的观测网络。目前，全国有 2 000多个地面站、120多个高空探测站、6颗在轨卫星、5万多个自动监测站、600多个农业检测站、300多个雷达站等，逐日逐小时甚至逐分钟对不同地点、不同高度的各种气象要素进行监测。仅在贵州，每天就有85个气象站、3万多个区域自动气象站、7部新一代多普勒天气雷达、2个探空雷达站对贵州境内 的各种气象要素进行实时监测。 ③随着预报业务的不断发展以及大数据、云计算的应用，这些数据变得更加精密，数量也持续增加，气象预报也变得越来越精确。现在，我们已经可以随时随地．．．．通过电脑、手机、 电视、网站等查询天气预报，其精度甚至可以精确到一公里．．．、一小时 ．．．以内。 ④早晨起床后，穿薄的还是厚的衣服？要不要进行晨练？长假期间是否要外出旅游？旅 游时需要带哪些随身物品……如何选择，天气预报会为你提供有效的参考。 ⑤随着各行各业对气象信息的需求越来越大，气象部门还需要针对不同领域、不同行业、不同群体制作相应的气象产品，包括面向社会群体的公众气象服务，面向水利、电力、交通、农业以及其他部门或企业的专业专项服务，以及针对干旱、暴雨、森林火险、雷电等灾害性天气的气象灾害预报预警服务等。 ⑥比如说能源，可以通过分析电力负荷历史加上气象数据进行用电量估算；农业方面， 通过某一地的农耕历史与相关气候信息，就可以指导农户进行农作物种养殖结构调整；还有交通，航班准点率历史加上机场历史天气特征，就可以得到航班延误预测……这些日益丰富 的气象产品构成了气象大数据的重要部分，让我们的生活变得更加丰富、便捷。 ⑦当气象邂逅大数据，气象大数据将大有作为，它必将更大程度地减轻灾害损失，为社会创造更多的财富，为人们带来更加美好的生活。 (1)第②段主要运用了________和________的说明方法，作用是________。 (2)阅读第④⑤⑥段，你认为下面这句话放在其中哪段的开头合适？为什么？ 更精细、更准确、更长时效的天气预报让我们日常生活中的衣食住行变得更加便捷。 答：________________________________________________________________________ ________________________________________________________________________ (3)分析下列句子中加点词语的表达效果。 现在，我们已经可以随时随地 ．．．．通过电脑、手机、电视、网站等查询天气预报，其精度甚 至可以精确到一公里 ．．．以内。 ．．．、一小时 答：________________________________________________________________________
气象数据的“大数据应用”浅析 2014-03-24 17:03:19 作者：国家气象总局沈文海来源：CIO时代网 摘要：气象数据在“大数据应用”浪潮中亟待解决的信息技术问题，是海量气象结构化数据的高效应用。这是气象数据能否参与“大数据应用”的技术基础和前提。 关键词：气象数据大数据 1、引言 据统计，2011年全球的数据规模为1.8ZB,这些信息将填满575亿个32GB的ipad,以这些ipad做砖石，足可以垒建起两座中国的万里长城。而到2013 年，仅中国当年产生的数据总量就已超过0.8ZB,2倍于2012年，相当于2009年全球的数据总量。预计到2020年，中国产生的数据总量将是2013年的10倍，超过8.5ZB.【1】而届时全球的数据总量预计将达到40ZB,如果将这些数据全部刻录成蓝光光盘，则这些光盘的总重量相当于424艘满载荷的尼米兹航空母舰。 数据量暴增的速度令人瞠目结舌，我们的确已进入“大数据时代”. 很快地，“地理大数据”、“水利大数据”、“环境大数据”、“金融大数据”、“互联网大数据”乃至“气象大数据”等名词陆续出现在有关媒体上。“大数据”逐渐成为近来人们谈论最多、思考最多的技术话题之一。一些人憧憬于“大数据”可能带来的十分珍稀的高价值信息和珍贵商机，也有许多人困惑于目前所知“大数据”的应用范式，以此研判着可能给本行业带来的变化和新的业务契机--气象部门也是如此。 做为抛砖引玉，笔者拟就如下问题提出自己的看法： （1）气象数据是否具备“大数据”的核心特征？ （2）业界公认的“大数据应用”的主要形态是什么？ （3）“大数据时代”背景下气象数据应用中新的价值领域在何处？需要首先具备哪些必要条件？ （4）气象信息技术领域当务之急需要解决的关键技术问题。 2、大数据的现实以及气象数据的体量构成 2.1 大数据的行业分布 就数据量而言，中国的大数据近期具有如下行业分布特征： （1）互联网公司 目前国内的互联网公司，拥有总计约2EB的数据，而其中的互联网三巨头BAT（百度、阿里巴巴、腾讯）占有了其中的3/4（约1.5EB）。 （2）电信、金融、保险、电力、石化系统
气象数据处理流程1.数据下载 1.1.登录中国气象科学数据共享服务网 1.2.注册用户 1.3.选择地面气象资料 1.4.选择中国地面国际交换站日值数据 选择所需数据点击预览（本次气象数据为：降水量、日最高气温、日最低气温、平均湿度、辐射度、积雪厚度等；地区为：黑龙江省、吉林省、辽宁省、内蒙古） 下载数据并同时下载文档说明 1.5.网站数据粘贴并保存为TXT文档 2.建立属性库 2.1.存储后的TXT文档用Excel打开并将第一列按逗号分列 2.2.站点数据处理 2.2.1.由于站点数据为经纬度数据 为方便插值数据设置分辨率（1公里）减少投影变换次数，先将站点坐标转为大地坐标并添加X、Y列存储大地坐标值后将各项数据按照站点字段年月日合成总数据库 （注意：数据库存储为DBF3格式，个字段均为数值型坐标需设置小数位数） 为填补插值后北部和东部数据的空缺采用最邻近法将漠河北部、富锦东部补齐2点数据。
2.2.2.利用VBA程序 Sub we() i = 6 For j = 1 To 30 Windows("").Activate Rows("1:1").Select Field:=5, Criteria1:=i Field:=6, Criteria1:=j Windows("").Activate Rows("1:1").Select Windows("book" + CStr(j)).Activate Range("A1:n100").Select Range("I14").Activate ChDir "C:\Documents and Settings\王\桌面" Filename:="C:\Documents and Settings\王\桌面\6\" & InputBox("输入保存名", Title = "保存名字", "20070" + CStr(i) + "0" + CStr(j)), _ FileFormat:=xlDBF4, CreateBackup:=False SaveChanges:=True Next j End Sub 将数据库按照日期分为365个文件 3.建立回归模型增加点密度 由于现有的日辐射值数据不能覆盖东三省（如图），需要对现有数据建模分析，以增加气象数据各点密度。 已有数据10个太阳辐射站点，为了实现回归模型更好拟合效果，将10个样本全部作为回归参数。利用SPSS软件建模步骤：
1 引言 在气象行业内部，气象数据的价值已经和正在被深入挖掘着。但是，不能将气象预报产品的社会化推广简单地认为就是“气象大数据的广泛应用”。 大数据实际上是一种混杂数据，气象大数据应该是指气象行业所拥有的以及锁接触到的全体数据，包括传统的气象数据和对外服务提供的影视音频资料、网页资料、预报文本以及地理位置相关数据、社会经济共享数据等等。 传统的”气象数据“，地面观测、气象卫星遥感、天气雷达和数值预报产品四类数据占数据总量的90%以上，基本的气象数据直接用途是气象业务、天气预报、气候预测以及气象服务。“大数据应用”与目前的气象服务有所不同，前者是气象数据的“深度应用”和“增值应用”，后者是既定业务数据加工产品的社会推广应用。 “大数据的核心就是预测”，这是《大数据时代》的作者舍恩伯格的名言。天气和气候系统是典型的非线性系统，无法通过运用简单的统计分析方法来对其进行准确的预报和预测。人们常说的南美丛林里一只蝴蝶扇动几下翅膀，会在几周后引发北美的一场暴风雪这一现象，形象地描绘了气象科学的复杂性。运用统计分析方法进行天气预报在数十年前便已被气象科学界否决了——也就是说，目前经典的大数据应用方法并不适用于天气预报业务。 现在，气象行业的公共服务职能越来越强，面向政府提供决策服务，面向公众提供气象预报预警服务，面向社会发展，应对气候发展节能减排。这些决策信息怎么来依赖于我们对气象数据的处理。
气象大数据应该在跨行业综合应用这一“增值应用”价值挖掘过程中焕发出的新的光芒。 2 大数据平台的基本构成 2.1 概述 “大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘（SaaS），但它必须依托云计算的分布式处理、分布式数据库（PaaS）和云存储、虚拟化技术（IaaS）。 大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。 气象行业的数据情况则更为复杂，除了“机器生成”（可以理解为遥测、传感设备产生的观测数据，大量参与气象服务和共享的信息都以文本、图片、视频等多种形式存储，符合“大数据”的4V特点：Volume(大量)、Velocity(高速)、
中国地面资料国际交换站1971-2000年气候标准值数据集 文件名-数据格式对照表 统计项目文件名数据格式表名 累年月平均本站气压SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-PRS-10004.TXT 结果文件附表19累年月平均海平面气压SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-PRS-10005.TXT 结果文件附表20累年月极端最高本站气压及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-PRS-10201.TXT 结果文件附表21累年月极端最低本站气压及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-PRS-10202.TXT 结果文件附表22累年月平均最高本站气压SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-PRS-10203.TXT 结果文件附表23累年月平均最低本站气压SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-PRS-10204.TXT 结果文件附表24累年月平均气温SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12001.TXT 结果文件附表25 SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12201.TXT 结果文件附表26累年月平均气温平均差、标准差和最大正、负 距平 累年月平均最高气温SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12211.TXT 结果文件附表27累年月平均最低气温SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12212.TXT 结果文件附表28累年月极端最高气温及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12011.TXT 结果文件附表29累年月极端最低气温及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12012.TXT 结果文件附表30累年月日最高气温顺位及出现日期和1%、5%概 SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12220.TXT 结果文件附表31率界限值 SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12221.TXT 结果文件附表32累年月日最低气温顺位及出现日期和1%、5%概 率界限值 累年月平均气温日较差SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12202.TXT 结果文件附表33累年月最大气温日较差及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12203.TXT 结果文件附表34累年月最小气温日较差及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12204.TXT 结果文件附表35累年月各级气温日较差日数SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04250.TXT 结果文件附表36累年月平均气温分级值SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12222.TXT 结果文件附表37累年月平均最高气温分级值SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12223.TXT 结果文件附表38累年月平均最低气温分级值SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12224.TXT 结果文件附表39累年月日最高气温≤0.0℃日数SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04256.TXT 结果文件附表40累年月日最低气温≥25.0℃日数SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04260B.TXT 结果文件附表41 SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04264.TXT 结果文件附表42累年月（9-4月）最长连续降温日数及止日和降 温值 累年月（9-4月）连续最大降温值及日数和止日SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04265.TXT 结果文件附表43累年月各级日平均气温频率SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04230A.TXT 结果文件附表44累年月最高日平均气温SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12052.TXT 结果文件附表45累年月最低日平均气温SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-12053.TXT 结果文件附表46累年月各级温湿度出现频率SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-TEM-04230B.TXT 结果文件附表47累年月平均水汽压SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-VAP-13004.TXT 结果文件附表48累年月最大水汽压及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-VAP-13009.TXT 结果文件附表49累年月最小水汽压及出现日期SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-VAP-13010.TXT 结果文件附表50累年月平均相对湿度SURF_CLI_CHN_MUL_MUT_19712000_CES-MMON-RHU-13003.TXT 结果文件附表51
气象大数据平台 建 设 方 案
目录 第一章引言 (1) 第二章大数据平台的基本构成 (3) 2.1概述 (3) 2.2数据基础决定平台框架 (4) 2.2.1 从分类大数据到选择大数据解决方案 (4) 2.2.2 依据大数据类型对业务问题进行分类 (7) 2.2.3 使用大数据类型对大数据特征进行分类 (9) 2.3数据分类决定应用方案 (12) 2.4大数据平台的逻辑层次 (13) 2.4.1 大数据集成层 (14) 2.4.2 大数据存储层 (15) 2.4.3 大数据分析层 (15) 2.4.4 大数据应用层 (16) 第三章大数据平台的功能架构 (16) 3.1组件构成 (16) 3.1.1 横向层 (16) 3.1.1.1 大数据集成层 (16) 3.1.1.2 大数据存储层 (19) 3.1.1.3 分析层 (20) 3.1.1.4 使用层 (21) 3.1.2 垂直层 (23) 3.1.2.1 信息集成 (24) 3.1.2.2 大数据治理 (24) 3.1.2.3 服务质量层 (25) 3.1.2.4 系统管理 (27)
3.2功能应用 (28) 3.3原子模式 (28) 3.3.1 数据使用组件 (29) 3.3.1.1 可视化组件 (29) 3.3.1.2 即席发现组件 (30) 3.3.1.3 数据转储组件 (31) 3.3.1.4 信息推送/通知组件 (31) 3.3.1.5 自动响应组件 (32) 3.3.2 数据处理组件 (32) 3.3.2.1 历史数据分析组件 (32) 3.3.2.2 高级分析组件 (33) 3.3.2.3 预处理原始数据组件 (34) 3.3.2.4 即席分析组件 (35) 3.3.3 数据访问组件 (36) 3.3.3.1 web和社交媒体访问组件 (36) 3.3.3.2 物联网设备数据的访问组件 (39) 3.3.3.3 基础数据(观测数据和生产数据)的访问模式 (40) 3.3.4 数据存储组件 (41) 3.3.4.1 分布式非结构化数据存储组件 (41) 3.3.4.2 分布式结构化数据存储组件 (42) 3.3.4.3 传统数据存储组件 (42) 3.3.4.4 云存储组件 (42) 3.4复合模式 (43) 3.4.1 存储和探索复合组件 (43) 3.4.2 专业分析和预测分析组件 (44) 3.4.3 OLAP在线分析 (45) 3.4.4 原子模式和符合模式的映射 (46) 3.4.4.1.1 图 10. 将原子模式映射到架构层 (48) 3.5解决方案模式（模拟应用场景） (48)
龙源期刊网 https://www.doczj.com/doc/d54073454.html, 大到暴雨天气数据分析 作者：马颐樱 来源：《科学与信息化》2018年第32期 摘要通过常规资料和物理量场产品，从环流系统特征和物理量场特征，对青海省2016年7月7-8日大到暴雨天气过程进行了分析。结果表明：500 hPa高空切变和700 hPa暖低压是此次大到暴雨降水过程直接影响系统，高层西风急流和强南风是暴雨产生和维持重要因素，为以后大到暴雨天气预报和预警服务提供参考。 关键词大到暴雨；物理量场特征；环流系统特征 青海省位于内陆，受水汽条件的限制，暴雨发生的概率比较小，但是如果发生大到暴雨对青海省所造成的灾害是非常严重的。据相关统计显示，青海省的大到暴雨主要集中在汛期，是青海主要的灾害性天气之一。随着全球不断变暖，青海地区的极端天气也是越来越多，灾害性天气也是越来越多。本文主要青海省2016年7月7-8日大到暴雨天气过程进行了分析，为以 后大到暴雨天气预报和预警服务提供参考。 1 降水情况 相关规定在24小时降水量大于25毫米的降水称为大到暴雨，同时规定当有≥1个站日降 水量达到该标准记为一个大到暴雨日；同日有≥3个站出现达到暴雨时称为一次区域性大到暴 雨降水过程。在2016年7月7-8日，青海省东部出现了大范围降水天气，其中降水量达40毫米以上有11个站点。造成了青海省东部受灾严重，其中部分乡镇出现了洪涝灾害，造成了一定的经济损失[1]。 2 环流系统特征 在2016年7月7日8点，500 hPa处于反气旋环流中；在晚上8点，500 hPa青海省形成 东北西南向切变，暖空气在东部交汇，T-Td小于4℃，从而导致青海省东部区域降水。此时，300 hPa中高纬环流比较平直，河西走廊有急流带，非常利用高空抽吸作用。高层冷暖空气进行交汇，底层暖气压低，导致了青海省东部大雨天气[2]。 3 物理量场特征分析 在在2016年7月7日～8日，青海东部出现了大到暴雨天气，主要是受500 hPa高空切变、西太平洋副热带高压和700 hPa上的暖低压的影响，导致出现大到暴雨天气[3]。 在2016年7～8日沿102°E垂直速度纬度-高度垂直剖面，暴雨发生当日上午8点（图 1a），暴雨区附近就开始有垂直上升运动。随着时间的推移，后上升运动强度增强，在下午2点（图1b）暴雨区上空上升运动比较强，在晚上8点，上升运动高度达250 hPa左右（图
气象数据处理流程 1.数据下载 1.1. 登录中国气象科学数据共享服务网 1.2. 注册用户 1.3. 1.4. 辐射度、1.5. 2. 2.1. 2.2. 2.2.1. 为方便插值数据设置分辨率（1公里）减少投影变换次数，先将站点坐标转为大地坐标 并添加X、Y列存储大地坐标值后将各项数据按照站点字段年月日合成总数据库 （注意：数据库存储为DBF3格式，个字段均为数值型坐标需设置小数位数） 为填补插值后北部和东部数据的空缺采用最邻近法将漠河北部、富锦东部补齐2点数据。 2.2.2.利用VBA程序 Sub we() i = 6
For j = 1 To 30 Windows("chengle.dbf").Activate Rows("1:1").Select Selection.AutoFilter Selection.AutoFilter Field:=5, Criteria1:=i Selection.AutoFilter Field:=6, Criteria1:=j Cells.Select Selection.Copy Workbooks.Add ActiveSheet.Paste Windows("chengle.dbf").Activate ", Title = " 3. 利用 3.1. 3.2. 选择分析→回归→非线性回归 3.3. 将辐射值设为因变量 将经度（X）和纬度（Y）作为自变量，采用二次趋势面模型（f=b0+b1*x+b2*y+b3*x2+b4*x*y+b5*y2）进行回归，回归方法采用强迫引入法。 如图，在模型表达式中输入模型方程。 在参数中设置参数初始值
气象大数据应用技术架构 设计思路 二〇一五年五月
文档信息 客户单位: 部技术心 项目: 文档：.docx 版本：0.9(150521) 未发布 发布日期: 修订历史
目录 文档信息 (ii) 修订历史 (ii) 1 引言 (1) 2 气象行业大数据分类 (2) 2.1 概述 (2) 2.2 从分类大数据到选择大数据解决方案 (3) 2.3 依据大数据类型对业务问题进行分类 (5) 2.4 使用大数据类型对大数据特征进行分类 (6) 2.5 依据大数据类型对气象信息进行处理................... 错误!未定义书签。 3 大数据平台架构........................................... 错误!未定义书签。 3.1 大数据解决方案的逻辑构成 (9) 3.1.1 大数据来源................................... 错误!未定义书签。 3.1.2 数据改动和存储层 (10) 3.1.3 大数据分析层 (10) 3.1.4 大数据应用层 (10) 3.2 大数据解决方案的组件构成 (11) 3.2.1 横向层 (11) 3.2.2 垂直层 (16) 4 大数据平台组成........................................... 错误!未定义书签。 4.1 概述 (19) 4.2 原子模式 (19) 4.2.1 数据使用组件 (20) 4.2.2 数据处理组件 (22) 4.2.3 数据访问组件 (24) 4.2.4 数据存储组件 (28) 4.3 复合模式 (29) 4.3.1 存储和探索复合组件 (30) 4.3.2 专业分析和预测分析组件 (30) 4.3.3 OLAP在线分析 (31) 4.3.4 原子模式和符合模式的映射 (32) 4.4 解决方案模式（模拟应用场景） (35) 5 技术架构实现选择产品 (35) 5.1 概述 (35) 5.2 技术架构的关键问题 (35) 5.3 分布式存储与分布式应用 (35) 5.4 服务平台的硬件架构与调整 (37) 5.5 数据库与数据仓库 (37) 5.6 NOSQL数据库 (37) 5.7 数据集成工具 (37) 5.8 数据分析软件 (37) 5.9 Web应用以及Web开发的关键问题 (37) 6 我们的研发策略 (37)
气象数据处理流程 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
气象数据处理流程1.数据下载 1.1.登录中国气象科学数据共享服务网 1.2.注册用户 1.3.选择地面气象资料 1.4.选择中国地面国际交换站日值数据 选择所需数据点击预览（本次气象数据为：降水量、日最高气温、日最低气温、平均湿度、辐射度、积雪厚度等；地区为：黑龙江省、吉林省、辽宁省、内蒙古） 下载数据并同时下载文档说明
1.5.网站数据粘贴并保存为TXT文档 2.建立属性库 2.1.存储后的TXT文档用Excel打开并将第一列按逗号分列 2.2.站点数据处理 2.2.1.由于站点数据为经纬度数据 为方便插值数据设置分辨率（1公里）减少投影变换次数，先将站点坐标转为大地坐标 并添加X、Y列存储大地坐标值后将各项数据按照站点字段年月日合成总数据库（注意：数据库存储为DBF3格式，个字段均为数值型坐标需设置小数位数） 为填补插值后北部和东部数据的空缺采用最邻近法将漠河北部、富锦东部补齐2点数据。 2.2.2.利用VBA程序 Sub we() i = 6 For j = 1 To 30 Windows("").Activate Rows("1:1").Select Field:=5, Criteria1:=i
Field:=6, Criteria1:=j Windows("").Activate Rows("1:1").Select Windows("book" + CStr(j)).Activate Range("A1:n100").Select Range("I14").Activate ChDir "C:\Documents and Settings\王\桌面" Filename:="C:\Documents and Settings\王\桌面\6\" & InputBox("输入保存名", Title = "保存名字", "20070" + CStr(i) + "0" + CStr(j)), _ FileFormat:=xlDBF4, CreateBackup:=False SaveChanges:=True Next j End Sub 将数据库按照日期分为365个文件 3.建立回归模型增加点密度 由于现有的日辐射值数据不能覆盖东三省（如图），需要对现有数据建模分析，以增加气象数据各点密度。 已有数据10个太阳辐射站点，为了实现回归模型更好拟合效果，将10个样本全部作为回归参数。利用SPSS软件建模步骤：
气象大数据技术架构思路 This model paper was revised by the Standardization Office on December 10, 2020
气象大数据应用技术架构 设计思路 二〇一五年五月 文档信息 客户单 内部技术机密心 位: 项目: 文档：.docx 版本：(150521) 未发布 发布日 期:
修订历史 目录
1引言 在气象行业内部，气象数据的价值已经和正在被深入挖掘着。但是，不能将气象预报产品的社会化推广简单地认为就是“气象大数据的广泛应用”。 大数据实际上是一种混杂数据，气象大数据应该是指气象行业所拥有的以及锁接触到的全体数据，包括传统的气象数据和对外服务提供的影视音频资料、网页资料、预报文本以及地理位置相关数据、社会经济共享数据等等。 传统的”气象数据“，地面观测、气象卫星遥感、天气雷达和数值预报产品四类数据占数据总量的90%以上，基本的气象数据直接用途是气象业务、天气预报、气候预测以及气象服务。“大数据应用”与目前的气象服务有所不同，前者是气象数据的“深度应用”和“增值应用”，后者是既定业务数据加工产品的社会推广应用。 “大数据的核心就是预测”，这是《大数据时代》的作者舍恩伯格的名言。天气和气候系统是典型的非线性系统，无法通过运用简单的统计分析方法来对其进行准确的预报和预测。人们常说的南美丛林里一只蝴蝶扇动几下翅膀，会在几周后引发北美的一场暴风雪这一现象，形象地描绘了气象科学的复杂性。运用统计分析方法进行天气预报在数十年前便已被气象科学界否决了——也就是说，目前经典的大数据应用方法并不适用于天气预报业务。 现在，气象行业的公共服务职能越来越强，面向政府提供决策服务，面向公众提供气象预报预警服务，面向社会发展，应对气候发展节能减排。这些决策信息怎么来依赖于我们对气象数据的处理。
51气象中的统计方法总结 2、判别分析；广东省徐闻气象局[20]用二级判别做台风登陆地段； 3、相关分析；近20年来在气象统计中用得较多的主要有典型相关（；奇异值分解（SVD）也是提取两个场的最大线性相关； 4、气象场的分解及其应用；50年代中期由Loreng引入到大气科学研究中的；4．1经验正交函数（EOF）分解；章基嘉等[30]应用经验正交函数对亚洲500hP；4．2主成份（主分量） 2、判别分析 广东省徐闻气象局[20]用二级判别做台风登陆地段的预报。Fisher、Bayes以及逐步判别等虽然在气象实际中广泛应用,但严格地说,这些方法仅当变量为正态分布时才可应用， Logistic判别对变量的基本假设条件较宽,对未经正态检验的变量应用本方法是可行的，且可用于既有连续变量又有多值离散变量的情形。吕纯濂等[21] 将Logistic判别引入中国气象界,并研究了二次Logistic判别[22]分析及逐步判别[23]在气象中的应用。 3、相关分析 近20年来在气象统计中用得较多的主要有典型相关（CCA）分析和奇异值分解（SVD）方法。CCA是提取两个气象场的最大线性相关摸态的方法。朱盛明、祝浩敏[24]在数值预报的解释应用中用典型相关分析提取有物理意义的预报因子作预报方程。陈嘉玲、谢炯光[25]用典型相关分析作中期冷空气预报。黄嘉佑[26]用典型相关分析作副高的统计动力预报。近年来发展了一种新的CCA改进方法，称为典型相关分析的BP（Barnert 和Preisendorfer）方法,在气象统计中也得到了应用[27]。 奇异值分解（SVD）也是提取两个场的最大线性相关摸态的方法，SVD 方法可以变成是两个要素场关系的扩大EOF分析。谢炯光等[28]用奇异值分解方法，求出了广东省前汛期（4-6月）西太平洋场海温与广东省降水场的6对奇异向量，来作汛期降水趋势预报。江志红等[29]用SVD方法讨论了中国夏半年降水与北太平洋海温异常的关系。
全国智慧农业气象能力建设2019年实施方案 一、总体目标 为贯彻中央关于乡村振兴战略的总体部署，落实中国气象局党组关于全面推进气象现代化和气象为农服务工作的总体安排，依靠科技和机制创新，强化综合统筹和合理布局，通过“三个平台、两个能力”（农业气象大数据平台、业务支撑平台、服务平台以及农业气象观测试验能力、核心技术应用能力）建设，推进全国农业气象业务服务的联动与融合，推进农业气象服务规模化、集约化、智慧化、品牌化发展。 2019年，基于气象大数据云平台，初步建成全国农业气象大数据分析与应用系统，实现国家级、省级农业气象业务数据、产品的快速访问。全国农业天气通APP（基础版）正式发布并试运行，WebCAgMSS客户端实现业务试用，10个特色农业气象业务系统基本建成。完成年度农业气象业务核心技术项目研发与区域联合试验任务。初步实现国家级、省级基础农业气象产品格点化制作。多种渠道的“直通式”服务覆盖全省60%以上的新型农业经营主体或较2018年增长10%以上。 二、建设任务及分工 （一）农业气象大数据业务能力建设 1.农业气象大数据平台建设 （1）国家气象信息中心 建立国家级、试点省农业气象大数据云平台，实现各类农
业气象大数据的上传、存储与管理。建立分布式关系型数据库和分布式文件系统等多种技术相结合的分布式存储方案，开发农业气象数据服务MUSIC接口，为农业气象业务系统与服务平台提供高效数据服务。基于气象大数据云平台，通过加工流水线实现智慧农业气象数据加工、数据挖掘、算法运行、产品生成等功能。 （2）国家气象中心 开发基于WEB的国家级农业气象大数据分析应用系统，实现农业气象基础观测、基础地理与环境信息、基础格点产品、服务主体等各类农业气象数据显示、浏览、分析及下载。 （3）各省（区、市）气象局 根据业务实际情况，开发本级农业气象大数据分析应用平台，强化农业气象大数据在业务服务中的应用。 2.农业气象大数据建设任务 （1）国家气象信息中心 负责全球及全国日值气象数据、全国土壤水分自动观测数据、农业气象观测数据的实时入库，通过气象大数据云平台实现共享；负责存储和管理国家级、省级业务单位上传的农业气象业务格点化产品与文字类产品，通过气象大数据云平台实现气象部门内部实时共享。负责省级上传的农田小气候及作物实景观测数据的存储、管理，通过气象大数据云平台实现气象部门内部实时共享。 （2）国家气象中心 负责制作2019年全国冬小麦、玉米、水稻作物发育期、
192 ?电子技术与软件工程 Electronic Technology & Software Engineering 数据库技术 ? Data Base Technique 【关键词】大数据平台 数据存储模型 分布式应用服务 可视化 为推进气象工作稳步提升与发展，浙江 气象局以科技创新为核心，已经建成涵盖气象信息服务、气候资源开发利用、城市环境气象 气象大数据平台的设计及应用 文/陈晴 高婷 杨明 吕梁 孙晓燕 服务、海洋气象服务、气象工程技术服务等气象应用开发研究的众多信息化系统，实现了气象工作的信息化和自动化。浙江省气象局经过多年的信息化建设，目前由于系统众多，独立部署，各系统的数据标准、业务规划、系统功能尽不相同，相互关联度不够，造成了气象工作的精确分析和预测的工作瓶颈。为解决上述问题，开展气象大数据云计算平台研究，合理选择数据存储模型，设计云数据存储结构解决平台的大数据存储问题，采用分布式应用服务和云计算技术，构建平台的总体框架，在统一的框架下，数据、业务、应用服务分离，形成分布式应用服务框架，采用新的前端展示技术和预处理技术改善平台显示效果，逐步实现信息化建设的统一规划，提高气象服务的社会效益和经济效益，为浙江省气象局自我提升提供有力支撑。 1 系统体系结构 气象大数据平台基于SOA 架构进行设计，可分为四个层次基础层（IaaS ）、数据层（DaaS ）、平台层（PaaS ），应用层（SaaS ）。如图1所示。1.1 基础层（IaaS） 通过数据中心私有云资源平台提供统一、稳定的运行环境，为上层的各类服务提供存储、计算和调度等方面的底层支持，通过对数据资源的统一规划，实现资源的集中存储、数据共享。 1.2 数据层（DaaS） 将来自单方、多方的数据源，通过机构前置机和业务前置机按需的配置，在数据服务总线中，通过输入队列、计算队列和输出队列的方式完成业务数据服务，同时包括调度管理、计算中心、审计管理、安全管理和日志管理等功能。 1.3 平台层（PaaS） 基于上云中间件和应用平台服务，采用应用SOA 服务化的核心框架方案，提供高性能的NIO 通讯及多协议集成、服务寻址与路由、软负载均衡等功能，实现应用间的松耦合，提高服务的复用能力。构建共享服务中心，迅速实现多变的业务需求。薄应用，厚服务，让IT 系统沉淀共享资产，让新需求基于共享服务层快速生长。 <<上接191页 边缘网关每秒同步电机控制器数据，耗费带宽大约为20Kbps ，运算中心对其数据存储并进行评估，只将变化的健康状态推送至云计算中心，耗费带宽最大仅为1Kbps ，大幅减少了上传数据对云计算中心的压力。 工厂内本地用户可通过人机交互终端查看电机数据，也可控制电机起动或停止。左侧栏显示电机运行状态，中间显示电机相关测量数据，右侧栏显示电机运维信息。如图5所示。 远程用户可通过手机连接云计算中心，查看工厂电机的健康状态。如图6所示。 3 结语 工业物联网是工业发展的趋势，在面对大量边缘设备集成时，边缘计算提供了一种有效的方式，以平衡边缘数据处理与云计算中心服务。 本文采用智能网关来实现边缘计算，既存储分析工业现场低压设备数据，提供实时控制，同时只将少量分析结果推送至云计算中心。实验结果表明，本文系统大幅减少了边缘设备 的上传数据，降低了云计算中心的负荷，满足了本地和远程用户的需求。 参考文献 [1]王飞跃,张军,张俊等.工业智联网：基 本概念、关键技术与核心应用[J].自动化学报,201844(09):1606-1617. [2]李林哲,周佩雷,程鹏等.边缘计算综 述:架构、挑战与应用[J/OL].大数据,2019(02):6-19. [3]凌捷,陈家辉,罗玉等.边缘计算安全技 术综述[J].大数据,2019(02):34-52.[4]施巍松,张星洲,王一帆等.边缘计 算：现状与展望[J].计算机研究与发展,2019(01):69-89. [5]杨丽,冯娟,卢秀丽等.基于物联网智能 家居安全监控系统设计[J/OL].现代电子技术,2019(08):63-66. [6]李冬月,杨刚,千博.物联网架构研究综 述[J].计算机科学,2018(S2):27-31.[7]邓辉明,黄峰.基于移动终端的电机监控 系统设计与实现[J].湖南工程学院学报:自然科学版,2017,27(04):10-12.[8]徐侃,丁强.一种基于MQTT 协议的物联网 通信网关[J].仪表技术,2019(01):1-4.[9]陈纯纯,骆旭坤，杨韵芳.基于MQTT+IOT Hub 的农业信息采集平台设计[J].延边大学学报（自然科学版）,2018,44(04):361-364. [10]崔自赏,陈冰,艾武等.基于MQTT 协议 的物联网电梯监控系统设计[J].电子测量技术,2018,41(07):114-119. 作者简介 徐寒（1982-），男，硕士学位。ABB（中国）有限公司厦门分公司电气事业部技术中心工程师。主要研究方向为物联网应用、电机控制系统。 作者单位 ABB（中国）有限公司厦门分公司 福建省厦门市 361101