新媒体信息采集系统
技术方案
普天通信有限责任公司
2008年5月
目录
1
新媒体信息采集系统整体方
案............................................................................
(3)
1.1
背
景
.........................................................................
.........................................................................
.. 3 1.2
概
述
.........................................................................
.........................................................................
.. 3
2
系统平
台............................................................................
(4)
2.1
系统特
点...........................................................................
(4)
2.2
网络结
构...........................................................................
(5)
3
应用软
件............................................................................
(7)
3.1
软件描
述...........................................................................
(7)
3.2
模块简
介...........................................................................
(7)
3.2.1
客户端介
绍.......................................................................
(8)
3.2.2
服务端介
绍.......................................................................
(9)
3.3
业务流
程...........................................................................
(10)
3.4
手机端功能介
绍...........................................................................
(11)
3.4.1
登录系
统.......................................................................
(11)
3.4.2
待发信
息.......................................................................
(12)
3.4.3
已发信
息.......................................................................
(13)
3.4.4
废弃信
息.......................................................................
(13)
3.4.5
菜单功
能 (14)
...........................................................
1新媒体信息采集系统整体方案
1.1背景
随着科学技术的日益发展，手机逐渐体现出集成度高、成本低、体积小、易于
携带等优势，越来越趋近于全能的个人手持终端设备。随着照相、摄像、录音等多
媒体功能的逐步加强，使手机传送多媒体信息也成为可能。
新媒体信息项目正是看中了这一点，同时也顺应新闻媒体行业对新闻消息报道
的高实效性要求而提出的。通过使用移动终端进行新媒体信息传递作为现有新闻信
息收集系统的有效、必要的补充，完善新闻报道的途径，加快发布速度，以提高对
新闻的响应时间。
我们是在利用、整合、扩展报社现有系统的原则下，建设一套基于手机媒体终
端的、在通用手机开发平台以及智能手机操作系统上二次开发的包括图、文、音视频等多媒体信息采、编、存、发的新媒体信息采集系统。
1.2概述
本系统是按照先进、可靠、长远发展的要求进行设计，充分体现模块化和满足用户行业需求的设计思想。系统具有高度的可扩充性，可提供多种实现方式以满足不同终端用户的需要。系统设计将以用户行业的需求为中心，提供稳定、方便、实用的采集系统，人机界面友好，系统易于使用。
本系统基于普天通信公司自主研发的新媒体信息采集系统服务器和新媒体信
息采集系统客户端软件实现全部功能，以满足报社对媒体信息内容采集的快捷、安全、高效等需求，提高新闻报道的响应速度。
新媒体信息采集系统服务器是一个易于实施、易于使用、安全性高的服务平台，在设计时，采用模块化设计理念，将应用适配，手机适配，应用展现，集中管理进行分离，可以独立运行，也可以合并运行，具有很强的扩展性与可维护性。
2系统平台
2.1系统特点
新媒体信息采集系统服务器充分考虑到系统纵向和横向的平滑扩展能力，采用三层式结构和集中式业务、用户管理，采用手机客户端+页面配置技术，将用户的应用延伸到普通手机上；采用高压缩比技术，减少移动网络上的信息流量，从而提高系统访问速度，降低使用成本；采用对称和非对称加密算法，对传输的信息及逆行难关加密，保证信息的安全性。
采用模块化设计理念，集中管理进行分离，可以独立运行，也可以合并运行，具有很强
的扩展性与可维护性。为了体现设计的思想，本系统具备以下特点：
超大系统容量
中心支持移动目标数量无上限，仅与硬件相关。
强大的兼容性
可支持多种操作系统的移动终端访问，包括：Symbian（S60，UIQ）操作系统、WindowsMobile （PocketPC、SmartPhone）操作系统、Linux操作系统等等。
防止其它用户非法访问
配合使用手机接入号码鉴权、用户帐户/密码鉴权的组合鉴权方式；定制浏览器客户端在会话过程中使用加密令牌，保证会话的安全性和有效性；
防止手机丢失
手机客户端可设置启动密码，用户打开应用需通过密码验证；采用非对称密钥算法，对传送到客户端的密码数据进行加密，密码以密文形式在网络中传输。
防止移动数据传输中被窃取
系统采用私有的安全编码协议及公共加密算法或HTTPS协议连接互联网，加密
普天通信新媒体信息采集系统
算法可以是DES,RSA(轻量级),MD5，不论是公共APN还是独立APN都可以对无线传输过程中的信息和数据加密；支持独立受控的APN接入。
高度的稳定性
新媒体信息采集系统特有模块异常检测、通信信道断线自动重连、断点续传、灾难恢复
机制使系统能够从容应对意外情况，运行稳定。
完全组件化的实现
新媒体信息采集系统无论是客户端还是服务端，都采用组件化的方式设计实现。这使
得系统具有了,灵活的定制性、高度的伸缩性、强大的二次开发能力。
方便高效的系统维护
新媒体信息采集系统提供了丰富的系统配置、系统性能检测、故障诊断、用户管理、数据管理等工具，大大降低了系统维护和管理的复杂程度。及时安全处理机制非常方便系统维护人员的管理。
2.2网络结构
在报社内部部署新媒体信息采集系统，主要由应用服务器、数据库服务器和网络设备组成，系统平台通过专线与公网进行连接，记者可使用手机终端，通过运营商无线网络将信息数据发送到报社内部新媒体信息采集系统中。
网络结构图，如下：
普天通信新媒体信息采集系统
普天通信新媒体信息采集系统
3应用软件
3.1软件描述
根据以往项目经验我们着重考虑新媒体信息采集系统操作便捷性、用户认证、
易上手性、客户端软件实现、文件上传（支持断点续传）、数据压缩及加密等部分。
为了保证用户及权限的合法性，本系统采用了用户名、密码和终端号码的认证方式，用户在使用系统前需要通过系统进行注册，对于用户、权限的合法性判断均通过系统来实现。对于客户端传送方式，考虑到多用户可使用同一终端的情况，只要用户在发送信息时提交的账号及密码、终端号码与系统中注册的匹配，即可进行信息发送等操作。
在客户端软件实现上，考虑到用户使用习惯的延续性，我们尽量与报社原有信息收集系统
功能保持一致，同时参考在以往项目中积累的终端开发经验来进行客户端软件设计，从而达到易上手、操作简便的效果。
在信息上传过程中，支持断点续传功能以减少重复工作，从而提高传输效率节省流量；从目前终端状况来看，大多数终端对HTTP协议支持较好，但对于TCP/IP支持较差，考虑到客户端软件的终端适配性，我们采用了基于HTTP协议的支持断点续传的信息上传方式。对于传输数据的加密及压缩操作，考虑到终端处理能力问题，在客户端软件中可以嵌入不同的加密算法，根据数据重要性提供不同强度的密钥。
3.2模块简介
新媒体信息采集系统主要包含手机客户端跟服务端两部分，其中手机端主要包括：UI模块、网络通信模块、数据安全模块、数据压缩模块、用户信息模块、队
列管理模块、文件管理模块、权限管理模块；
服务端主要包括：系统初始化模块、手机客户端适配模块、数据压缩/解压缩模块、格式转换模块、用户管理模块、WEB发布模块。
普天通信新媒体信息采集系统
3.2.1客户端介绍
界面设计模块包括UI、背景、边框、容器、屏幕、初始界面等几大构件，界
面设计遵从配置构件思想，由CSS文件来控制界面风格。使UI跟业务达到分离。
UI设计在考虑终端实际情况的前提下尽量贴近目前报社正在使用的发稿客户端，
从而达到用户使用习惯的延续，使用户易于上手。
网络通信
新媒体信息采集中网络通信主要用于上传信息使用，鉴于无线网络的不稳定
性，在传输信息时需要支持断点续传，以提高信息传递效率；考虑到终端实际情况，我们采用基于HTTP协议的断点上传方案，以提高客户端软件的终端适配度。
出于为用户节省费用的考虑，本技术方案中只有在用户有上传信息需求时才会连接网络，在传输完毕后自动断开连接，其它情况下均为本地操作。
可支持多种网络协议及制式，具体实现需视终端情况而定。
数据安全
对用户的登录帐号、密码、手机号码唯一标识可进行绑定认证，采用RSA数据加密技术，对网络传输的数据和本地数据库的数据进行加密，保证数据的安全。
数据经过三重DES加密送到服务器来处理,数据传输经过SSL加密。
数据压缩
客户端软件对本地数据及发送数据均进行压缩。考虑到终端处理能力，我们对本地数据采用轻量级压缩算法以节省存储空间，对于发送数据采用高压缩比方式进行压缩以节省用户使用费，提高数据传送的成功率。
用户信息
程序支持多用户同时使用，每个用户通过自己的账号进行本地登录，登录后只能对自己的文件进行浏览、编辑、设置，提高终端使用效率。
队列管理
使用WorkerThread线程模式作为队列管理的设计思想，优点是：
1)提高响应性。
普天通信新媒体信息采集系统
2)控制执行顺序。
3)可取消和可重复执行。
4)提高软件运行的效率。
权限管理
权限管理跟用户功能实现分离，在手机内做嵌入式加密数据库，使不同权限的用户私有数据更安全。
3.2.2服务端介绍
1)系统初始化
系统初始化模块主要是在用户采用无线手段进行投稿时进行的初始化操作。
用户信息管理
用户信息管理功能主要是配置用户基本属性等基本信息。
2)手机客户端适配
手机客户端适配模块主要是接收手机客户端软件传输的内容，并对用户做身份验证。
通信模块
通信模块的作用主要是接收手机客户端传输到新媒体信息服务器的数据，完成新媒体信息服务器与手机客户端的数据传输。
身份认证
通过验证用户发送的手机号码、用户名、密码是否具有合法性，如需要非法控制操作，则系统将返回错误提示信息，并不接受发送过来的信息内容。
数据解密
将手机客户端传输过来的数据按照相应的加密算法（例如DES、RC2）进行解
密。
3)数据压缩/解压缩
将手机客户端传输过来的数据进行分析，提取相应的参数，解压缩。
4)格式转换模块
对于编辑人员想要提取的数据信息进行格式的转化工作。
5)用户管理模块
对所有注册用户信息内容实施管理。
6)WEB发布模块
对用户提供WEB界面进行操作，完成注册、浏览、管理、提取信息等工作。
3.3业务流程
用户注册流程：
说明：
1.用户登录新媒体信息采集系统WEB服务页面，输入用户名、手机号码等相关信息，完成
用户注册；
2.系统完成用户注册，建立用户信息库；
3.系统向用户提交的终端号码发送短信，内容为系统分配的用户使用密码，用户可登录系统
后进行修改；
手机客户端发送流程：
说明：
1.用户通过手机客户端编登录，首次登录需要用户进行身份信息配置，用户进行信息编写；
2.用户向新媒体信息采集系统传递信息；
3.新媒体信息采集系统都用户身份进行验证；
4.如果验证失败则向用户返回错误信息，提示用户以便检查；
5.如果验证成功，新媒体信息采集系统收取用户上传的信息内容，写入数据库中存储；
3.4手机端功能介绍
3.4.1登录系统
在用户登录后终端程序后，在设置中配置身份信息，填写注册用户名、密码、
终端号码等内容，用于发送信息时系统平台认证身份使用，如没有设置的用户无法
将信息发送到系统平台上。
用户可以先进行信息和图片的本地处理，待需要提交信息师，终端程序才会与
系统平台进行交互，交互结束后会自动中断连接。
用户登录后，只能看到自己有权限看到的信息内容。
用户登录界面
3.4.2待发信息
用户登录后可以在本地进行信息的创建、录入，并将信息保存到待发信息列表中，等
待用户进行发送请求。
对于待发信息列表中的内容，用户可以通过选择菜单中编辑、发送、删除等功能键进行操作。
待发信息界面
3.4.3已发信息
已发信息列表中内容为用户通过终端已经向系统平台发送过的信息内容，用户可以通过菜单功能键，对信息内容再次进行修改编辑、发送、删除等工作。
已发送界面
3.4.4废弃信息
废弃信息列表中内容是在待发或已发列表中删除的信息内容，用户通过菜单中功能键，可以对废弃信息再次进行编辑、发送，成为有用信息内容。如此处选择删
除信息将会把列表中信息从本地彻底删除，无法进行恢复。
废弃信息界面
3.4.5菜单功能
系统在待发、已发、废弃列表中都提供了菜单功能键：新建、编辑、发送、删除、设置、退出。
新建：
可为用户建立一个新信息编辑模式，其中需要用户录入信息标题、信息作者、信息正文
内容，通过选择方式完成栏目编辑、附件插入。
栏目编辑区是为用户正编辑的信息定义归属，栏目名称将根据报社需要进行定
义，用户通过下拉式菜单直接进行选择信息所属栏目，此条信息一经发送后，系统平台将收到的信息内容按照用户已选择好的栏目名称保存到相应的栏目数据库中。
附件选择，此处用户可以选择信息所要粘贴的附件内容，附件内容必须是保存在手机终端中的内容，如图片、音频、视频信息内容等。
对于一个新建的信息，用户在录入完毕后可直接点击发送，此时终端程序将信息内容传递到报社内的新媒体系统平台上，并在终端本地的已发送信息列表中保
存。如用户选择保存项，那么只在终端本地的待发信息列表中保存，等待用户下达发送指令。
新建信息界面
编辑：
在任何一个信息列表内，对列表内现有的信息再进行编辑时使用。
发送：
在任何一个信息列表内，对列表内现有的信息向系统平台进行传递发送时使
用。
删除：
在待发、已发信息列表中，对选中的信息进行删除操作，信息内容将被转移到废弃信息列表中，但如需要还可以对删除的信息进行编辑、发送功能。
在废弃列表中，对选中的信息进行删除操作，此时终端系统将把信息从终端本地进行彻底删除，无法进行恢复。
设置：
用户在此处可以对登录终端程序的用户名、密码进行设置、修改。对于在提交
信息与系统平台交互时需要验证的用户信息，可以进行设置、修改。
用户在首次使用终端软件时，建议先进行用户验证信息设置，终端程序会自动在本地建立配置文件并保存，在用户发送信息需要与平台交互时候提交配置文件进
行用户身份验证。由于具备严密的验证策略，每款终端程序可以支持不同的用户共
同使用，终端程序将根据不同的登录用户，匹配本地不同的用户信息内容，显示各自用户各页签中的信息内容。
设置界面
资源数据采集技术方案 公司名称 2011年7月二O一一年七月
目录 第 1 部分概述 (3) 1.1 项目概况 (3) 1.2 系统建设目标 (3) 1.3 建设的原则 (4) 1.3.1 建设原则 (4) 1.4 参考资料和标准 (5) 第 2 部分系统总体框架与技术路线 (5) 2.1 系统应用架构 (6) 2.2 系统层次架构 (6) 2.3 关键技术与路线 (7) 第 3 部分系统设计规范 (9) 第 4 部分系统详细设计 (9)
第 1 部分概述 1.1 项目概况 Internet已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站 点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还 是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。 现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。 计算机和现代信息技术的迅速发展，使Internet成为人们传递信息的一个重要的桥梁。网络 的不断发展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成为 了我们今后建设在线预订类旅游网重要的组成部分。 因此，在当今高度信息化的社会里，信息的获取和信息的及时性。而Web数据采集可以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据，筛选虚假数据和迟滞数据，过滤重复数据。直接将信息按照用户的要求呈现给用户。可 以大大减轻用户的信息过载和信息迷失。 1.2 系统建设目标 在线预订类旅游网是在线提供机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订服务的网站。 如果用户要搜集这一类网站的相关数据，通常的做法是人工浏览网站，查看最近更新的信息。然后再将之复制粘贴到Excel文档或已有资源系统中。这种做法不仅费时费力，而且 在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种情况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。
第1章通信信道及接口 通信网络主站、采集传输终端、电能表，是信息交互的承载体。通信网络的主要方式有光纤通信、230MHz无线通信、公网无线通信、载波通信等。 图 1. 远程、本地通信说明图 远程通信是指采集终端和系统主站之间的数据通信。可分为专网通信及公网通信。 本地通信是指采集终端和用户电能计量装置之间的数据通信，在本系统中主要集中器和采集器、集中器和电能表、采集器和电能表之间的通信。 1.1通信信道建设原则 通信通道的建设以满足系统需求为出发点，综合考虑技术成熟、实时性、通信安全、分布围、系统可维护、工程建设简易、造价经济以及面向企业发展等因素，根据各网省公司的现实情况选择组件通信网络平台，为低压集抄系统提供稳
定可靠的数据交互通道。 1)易于安装 指通信网络中相关的设备在初次安装、故障或周期轮换时，安装和参数配置 的难易程度。主要表现在各种设备的即插即拔特性和网络系统自适应能力上。 2)易于维护 指当系统应用需求发生变更时，计量仪表和系统维护的难易程度。如因价格 体系或结算周期发生变更时，造成的费率结构和冻结时间在线或离线调整。 3)系统兼容性 指对采集系统中各种采集和传输终端通信方式的兼容性，以及能够适应未来 通信技术的不断发展。 4)标准化的接口 通信网络系统各个设备之间的互联接口应采用标准接插件或者是事实上的 标准接插件。 5)一体化通信 通信网络系统是采集主站、采集终端、计量表计之间通信的载体，由于管理需求和用户性质的不同，三者之间能够采用的通信信道媒介差别很大，为保持主站系统的数据采集功能的专一性，建立一体化的通信机制，保证采集主站可以通 过标准的统一的方式透明地和采集终端和计量表计通信。 6)经济性 通信网络系统在满足系统需求和立足长远发展的基础上，所选用的网络系统应该具有相对好的经济性。 为适应各种通信方式的需要在主站数据采集服务器和集中器之间建立一个通信平台。通信平台以网桥的形式存在，综合处理转换采集服务器和远程通信网络之间的信息交换。 通信平台和主站采集服务器之间以IP网络方式相连接，通信平台经过处理转换之后根据远程网络情况采用适应的方式和集中器通信。实现采集服务器和集
信息采集系统解决方案
信息采集系统解决方案 1系统概述 信息采集是信息服务的基础，为信息处理和发布工作提供数据来源支持。信息数据来源的丰富性、准确性、实时性、覆盖度等指标是信息服务的关键一环，对信息服务质量的影响至关重要。针对交通流信息数据，包括流量、速度、密度等，目前主要是基于微波、视频、地磁等固定车辆检测器以及浮动车等移动式车辆检测器进行采集，各种采集方式都存在响应的利弊。针对车驾管以及出入境数据，包括车辆信息、驾驶人信息、出入境办证进度信息等，主要是通过和公安相关的数据库进行对接，此类信息将在信息分析处理系统进行详细介绍。 针对目前交通信息来源的多样性以及今后服务质量水平发展对信息来源种类扩展要求，需要建设一套统一的，具备良好兼容性和前瞻性的交通信息统一接入接口。一方面，本期项目的各种交通信息来源可以使用该接口进行数据接入，另一方面，当新的或第三方的交通信息来源需要加入到本系统中来时，可以使用该接口进行数据接入，不需要再次投入资源进行额外开发。 统一接入接口建成后，根据各种数据来源系统的网络环境、系统技术特性和交通流信息数据特点，开发相应的交通信息数据对接程序，逐一完成微波采集系统、浮动车分析系统、人工采集等来源的交通信息数据采集接入。 2系统架构及功能介绍 2.1统一接入接口 统一接入接口的建设的关键任务包括接口技术规范制定、路网路段编码规则约定及交通信息数据结构约定等多个方面。
2.1.1接口技术规范 一方面由于本系统接入的交通信息数据来源多样，开发语言和系统运行的环境均存在差异，不具备统一的技术特性；另一方面，考虑到以后可能需要接入更多新的或第三方的信息系统作为数据来源，应当选择较成熟和通用的接口实现技术作为本项目的交通流信息采集统一接入接口实现技术。 根据目前信息系统建设的行业现状，选择Web Service和TCP/UDP Socket 作为数据传输接口的实现技术是较优的选择。Web Service和TCP/UDP Socket 具有实时性强、通用性强、应用广泛、技术支持资源丰富等优势，可以实现跨硬件平台、跨操作系统、跨开发语言的数据传输和信息交换。 项目实施时需要根据现有的信息采集系统的技术特点来具体分析，以选定采用Web Service或TCP/UDP Socket作为接口实现技术，必要时可以两种方式并举，提供高兼容度的接口形式。 为了保护接入接口及其数据传输的安全性，避免恶意攻击访问，避免恶意数据窃取，可以使用身份认证、加密传输等技术来加以保证。 统一数据采集接口的工作流程可以如下进行：
注塑工序PLC数据采集及 现场报工系统 解决方案v1.2 广东天心天思软件有限公司宁波分公司 All Rights Reserved Version: 1.2 注：本系统方案书属本公司机密文件，仅提供给贵单位的决策层人员和主要相关负责人参考。
文档控制修订记录 审核记录 分发记录 修订内容
目录 1.概述 (3) 2.项目背景 (3) 3.应用原理图 (4) 4.系统核心目标 (6) 1、设备数据采集与传输保存 (6) 2、SPC管理 (19) 3、生产计划管理及自动报工 (21) 4、入库管理 (26) 5、现场系统预警 (28) 6、总控中心&电子看板 (31) 5.与现有ERP系统集成 (32) 6.XX公司注塑车间实地采集数据 (33) 1.概述 我们根据过去在行业内类似项目的建设经验，以及调研分析本次业务需求自身的特点和要求，提出以下解决方案，本方案书从系统建设目标、技术解决方案、应用解决方案方面作了概要的论述。 我们相信，通过实施本方案及双方真诚的合作，XX公司注塑生产车间的“生产现场数据采集系统”信息化平台项目建设一定会取得圆满的成功。 2.项目背景 目前，XX公司注塑生产车间已经准备通过信息化手段进行生产设备过程的管理和监控，是管控一体化的桥梁，属于与生产过程链接的企业信息系统。对于生产管理者来说，以“生产订单执行”为核心的“生产过程”管理，“事前预警、保证质量、过程透明”乃是重中
之重。 本方案的系统包含数据采集、设备状态监控、工艺参数稽核、设备异常报警、自动报工、生产看板等多个部分。可以管理、跟踪、记录每一台设备的作业环节，实现了高效率、全面的信息化采集监控管理。通过系统，工厂的管理方式将从办公室延伸到工厂现场作业的层面。 根据调研，我们了解到企业目前可能面临下述几个问题： 第一、生产过程高度依赖生产设备，设备的关键参数运行情况对于产成品的质量有直接影响； 第二、生产过程关键参数数据无法实时采集和即时分析，质量存在失控风险； 第三、缺乏预警机制，当设备参数异常或者生产过程某个节点有异常，不能及时通知相关岗位； 第四、打通各个生产环节的数据，将生产数据串联起来，建立整个生产过程的总控中心，对整个工厂的生产情况一目了然。 为了解决上述问题，我们根据自身在行业内的多年经验，根据贵方的构想为贵方提出我们的解决方案。 3.应用原理图 应用原理图： 原理说明：采集终端设备数据，通过无线（有线）网络传入数据采集服务器
一、概述 将漏损控制在合理的范围内是城市供水企业特别关注的问题，据统计城镇供水管网系统中的漏损率普遍在15～20％，其中有相当一部分城市供水系统的实际漏损率在20％以上。管网的泄漏不仅造成水资源的浪费，直接影响供水企业的经济效益，开展供水管网的分区装表计量技术并采用可视化的方式有机整合水务管理部门与供水设施，形成城市水务互联网，将大量水务信息进行及时分析和处理，以更加精细和动态的方式管理水务系统的整个生产、管理和服务流程已经成为供水企业的发展方向。 二、系统架构 1：控制及测量传感器层 通过电磁式水表、电磁流量计及压力变送器等采集终端和无线网络在线实时感知城市供水系统的运行状态，建立完整的供水管网技术档案和管网地理信息系统，实现实时采集和监控，最终实现漏损控制。 2：数据采集显示层 现场工程可根据确定的传感器，选择上海辉度Modbus-RTU总线采集控制IO 卡，同时根据智慧监控系统的现场要求，可以选配多台现场显示人机界面，如：WTH207A(ARM9内核7寸人机界面)，WTH407A(工业7寸安卓人机界面)用于采集数据显示及用户信息输入。
现场设备的每个传感器都可以直接连接到WTD系列采集控制IO卡，实时快速采集控制每个对象数据，然后所有的WTD产品通过标准的RS485通信接口，利用Modbus-RTU总线通信协议与WTH207A/WTH407A人机界面进行数据交互。 3：数据通信网络层 通信网络层由各种网络方式负责把人机界面采集到的各个变电站数据传递到云平台，同时也会根据云平台的指令传递及控制现场人机界面或采集控制卡，从而采集控制所有的感知层传感器。网络通信方式有：有线以太网、2G/GPRS、 3G、4G、ROLA、NBIOT等。 本系统由于现场端只涉及水务参数的采集及控制，不涉及音频视频等传输，所以使用了2G网络通信方式。 若现场采集控制端不需要显示功能或人机交互输入功能，也可以选择不安装WTH207A/WTH407A人机界面，直接使用上海辉度WTD934G或WTD936G智能云网关产品，辉度的智能网关专门针对智慧水务监控系统现场端已经安装上海辉度非无线采集产品或已经安装了其他厂家的采集器从而推出的数据智能通信转换器，把现场的采集数据传到云端服务器，其通用性强，能够接入西门子、施耐德、欧姆龙、三菱等国内外PLC或采集控制器，具有断点续传功能，确保数据完整性。
实时数据采集系统项目解决方案
目录 1、背景 (2) 1. 1、引言 (2) 1．2、项目目标 (2) 2、应用系统体系结构 (3) 2.1、实时数据采集系统的原理构架 (3) 3、实时数据采集系统的主要功能….. .............................................................. .3 4、实时数据采集系统主要技术特征 (4) 4.1、数据传输方面 (5) 4.2、数据存储方面 (5) 4.3、历史数据 (5) 4.4、图形仿真技术 (5) 5、实时数据采集系统性能特征 (5) 5.1、数据具有实时性 (6) 5.2、数据具有稳定性 (6) 5.3、数据具有准确性 (6) 5.4、数据具有开放性 (6) 6、DCS及实时数据采集机连接说明 (6) 7、系统运行环境说明 (7) 7.1系统网络环境说明 (8) 7.2硬件环境说明 (8)
1、背景 1. 1、引言 随着国家大力推进走新型工业化道路，以信息化带动工业化，以工业化促进信息化。电力企业面临着日趋激烈的竞争。降低成本，提高生产效率，快速响应市场，是电力企业不断追求的目标。要实现上述目标，必须把企业经营生产中的各个环节，包括市场分析、经营决策、计划调度、过程监控、销售服务、资源管理等全部生产经营活动综合为一个有机的整体，实现综合信息集成，使企业在经营过程中保持柔性，因此，建立全厂统一的生产实时数据平台，就成了流程企业今后生产信息化的关键。 1．2、项目目标 “实时数据采集系统”是为生产过程进行实时综合优化服务信息系统提供数据基础。 企业信息化建设的关键问题是集成，即在获取生产流程所需全部信息的基础上，将分散的控制系统、生产调度系统和管理决策系统有机地 集成起来，不同业务和系统间能够实时的交换和共享数据。 ?建立统一的企业数据模型。 ?解决分期建设的不同应用系统、不同电厂之间彼此隔离、互不匹配、 互不共享的“信息孤岛”问题。 ?保证数据来源一致性，提高数据经过层层抽取之后的可信度。 ?汇总、分析和展示企业历史的业务数据。 ?企业管理层能够直接根据各个电厂的真实数据进行统计数据、分析 逐步钻取直到数据根源。 ?透明底层的数据，监督统计分析数据的准确性。
移动数据采集解决方案 由于移动终端的携带方便，信号覆盖广，操作便捷等优势，使得移动终端已经成为生活必带随身用品，人们对其给予了越来越高的关注与期望。 企业和政府依托移动终端，采用无线数据传输技术、定位技术、通过事件分类编码体系、地理编码体系，形成科学的数据采集和更新机制，完成对流程、管理问题的表单、图像、声音和位置信息实时传递，实现精确、快捷、高效、可视化、全时段、全方位覆盖的管理模式，实现应用与管理方式的多样化。 一、移动终端应用分析 传统的数据采集方式的问题： 依赖于纸质表格和手工填报，之后输入至相关的计算机系统。这样的操作方式存在很多问题，如手段单一、数据传递不及时、无法确认数据采集的地理位置、时间等。 数据质量难以保证。 数据采集的过程无法监控。 大量繁杂的事后录入工作，不但增加了工作量，录入错误的几率也很高。
传统数据获取方式的问题： 要求复杂的数据交互，同时兼顾现场数据查询和数据录入。 需要固定场所、固定布局的企业和政府信息化建设。 人们需要在企业、政府的内网完成数据查询与阅览。而随时随地的获取所需信息至关重要。人们不可能将海量数据带在身边，尤其是当这些数据存储在内网的数据库中的时候。 二、数据采集解决方案 移动数据采集系统以移动终端为载体，结合2G/3G等移动通信网络，建立起一套可移动化的信息系统，通过将企业、政府的内部办公、业务系统扩展到移动终端的方式，帮助用户摆脱时间和空间的限制，使用户随时随地关联内网系统，获取所需任务与信息，按照标准化的工作流程，快速执行采集任务的填报工作，完成对文字、表单、图像、声音和位置信息的采集和实时传递，保证采集任务的快速构建和及时传输、摆脱地域性和网络资源设备的限制，实现精确、快捷、高效、可视化的数据采集模式。 通过整合移动数据采集、信息查询、第三方系统等，形成一套完备的移动应用平台，终端应用可完成数据录入、查询展示等功能，后台管理系统用于接收终端上报的采集数据、管理任务分类和派发、查看任务进展、信息反馈、数据统计、分析和展示以及工作监督等相关工作。
水污染源在线监测系统工程 建 设 方 案 贰零壹陆年肆月
目录 一．系统概述 1.1 项目概述 1.2 系统建设要求 1.3 系统构成 1.4 在线监测因子种类 1.5 仪器选型 1.6仪器简介 1.6.1 COD在线分析仪技术参数 1.6.2 氨氮在线分析仪技术参数 1.6.3 总磷在线分析仪技术参数 1.6.4 工业PH计技术参数 1.6.5 明渠流量计技术参数 1.6.6 数据采集仪技术参数 二．系统建设 2.1 系统建设时间表 2.2 站房建设方案 2.3 超声波明渠流量计堰槽建设 2.4采样系统建设方案 2.5数据采集传输系统建设方案 2.5.1数据采集仪 2.5.2数据传输 2.6 在线分析仪安装方案 2.6.1 操作员基本要求 2.6.2 现场机箱安装 2.6.3 现场管路材料及工具的配备 三．质量及服务承诺 3.1质量保证 3.2 售后服务 四．资金预算
编制说明 依照国家有关标准和关于水质在线自动监测系统建设的相关要求，在指定排水口安装水质在线监测仪器，对相关水质参数（化学需氧量、氨氮、总磷、重金属等）进行监测，以达到相关管理及监管部门对现场处理水质的实时监控和管理。 本方案将分析仪测量系统、采样系统以及数据传输系统进行集成，作为一体化水质在线自动监测系统进行详细的方案设计。 一、系统概述 1.1 项目概述 根据环保局对废水污染物排放进行总量控制、安装在线监测系统的要求，拟在的总排口安装污染源自动监控系统。本项目建设拟选用提供的COD、氨氮、总磷在线分析仪，PH，超声波明渠流量计，并负责安装、调试、运行、保修、快速反应服务及协助项目验收、技术支持、用户培训。 1.2 系统建设要求 该系统应达到以下要求： ①系统具有实用性、先进性、专业性、开放性、安全性、集成性和经济性。 ②总体结构的先进性、合理性、兼容性和可扩展性。 ③监测参数分析方法符合国家、行业有关技术标准和规范。 ④监测数据准确、可靠。 ⑤取样方式经济、合理，便于维护。
xxx大数据库中心数据库 投资商和企业数据采集处理项目 项目编号：I006 技术方案 xxx有限公司 二○一七年六月
目录 1 引言 (3) 项目背景 (3) 项目目标 (3) 建设原则 (3) 参考规范 (4) 名词解释 (5) 2 云数据采集中心 (7) 需求概述 (7) 总体设计 (7) 核心技术及功能 (10) 3 大数据计算平台 (35) 需求概述 (35) 总体设计 (35) 数据模型设计 (36) 4 数据运营 (40) 数据挖掘分析 (40) 数据分析处理的主要工作 (40) 数据分析团队组织和管理 (41) 5 安全设计 (44) 6 风险分析 (48) 7 部署方案 (49) 8 实施计划 (50) 9 技术规格偏离表 (51) 10 售后服务承诺 (54) 11 关于运行维护的承诺 (56) 12 保密措施及承诺 (57) 13 培训计划 (59)
1 引言 项目背景 XXX大数据中心建设出发点考虑从投资者角度涵盖招商全流程，尽可能为投资者解决项目实施过程中的困难和问题，便于招商部门准确掌握全省招商数据，达到全省招商项目数据共享，形成全省招商工作“一盘棋、一张网、一体化”格局。大数据中心将充分发挥大数据优势，加强对企业投资项目、投资轨迹分析，评估出其到XX投资的可行性，为招商过程留下痕迹、找到规律、明辨方向、提供“粮食”、提高效率，实现数据寻商、数据引商、数据助商，实现数据资源实时共享、集中管理、随时查询，实现项目可统计、可监管、可协调、可管理、可配对、可跟踪、可考核。 本次数据运营服务主要是为大数据平台制定数据运营规范及管理办法，同时为“企业数据库”提供数据采集、存储与分析服务，并根据运营规范要求持续开展数据运营服务。 项目目标 制定招商大数据运营规范及管理办法。 制定招商大数据相关元数据标准，完成相关数据的采集、整理与存储。 根据业务需求，研发招商大数据招商业务分析模型，并投入应用。 根据运营规范及管理办法的要求持续开展数据运营工作。 建设原则 基于本项目的建设要求，本项目将遵循以下建设原则：
实时数据采集系统方案
实时数据采集系统《项目解决方案》 实时数据采集系统 项目解决方案 0 实时数据采集系统《项目解决方案》 目录 1、背 景 ..................................................................... .................................... 2 1. 1、引 言 ..................................................................... ..................... 2 1(2、项目目 标 ..................................................................... ............. 2 2、应用系统体系结 构 ..................................................................... .............. 3 2.1、实时数据采集系统的原理构架…………………………………..3 、实时 数据采集系统的主要功 能….. ........................................................... .3 3 4、实时数据采集系统主要技术特 征 .............................................................. 4
4.1、数据传输方面……………………………………………………..5 4.2、数据存储方面……………………………………………………..5 4.3、历史数据…………………………………………………………...5 4.4、图形仿真技术……………………………………………………..5 5、实时 数据采集系统性能特 征 ...................................................................... 5 5.1、数据具有实时性…………………………………………………..6 5.2、数据具有稳定性…………………………………………………..6 5.3、 数据具有准确性…………………………………………………6 5.4、数据具有开放性…………………………………………………..6 6、DCS 及实时数据采集机连接说 明 ............................................................. 6 7、系 统运行环境说 明 ..................................................................... ................ 7 7.1 系统网络环境说明………………….……………………………....8 7.2 硬件环境说明……………………………………………………….8 1 实时数据采集系统《项目解决方案》 1、背景 1. 1、引言 随着国家大力推进走新型工业化道路，以信息化带动工业化，以工业化促进信 息化。电力企业面临着日趋激烈的竞争。降低成本，提高生产效率，快速响应市
Trimble GPS在电力公司 电力设施GIS数据采集系统解决方案 建 议 方 案 北京望邦天鑫科技发展有限公司
2011年11月
1项目背景 电力行业是国民经济发展的基础行业，同时，它又是一个技术密集、资产密集的行业。近年来，我国已经开始规划和实施电力行业的信息化发展战略，其重点就是实现电力资产管理的信息化，建设“数字电网”。采用GIS技术可以显著提高以空间数据为基础的电力信息处理分析的能力，因此建立电力GIS应用系统进行电力设施数据采集和分析处理成为电力信息化的重要手段。借助GIS应用平台，可实现电力设施的设计和更改管理、运行维护管理、故障停电管理、服务和市场分析、网络分析和企业信息访问及更新等。不仅如此，GIS系统还能提供多空间数字电网模型、实用化电网数据维护工具、丰富的电网分析工具，达到构筑企业协同工作环境、提高服务质量、完善业务流程指导生产、提高决策效率的目的。 不同企业有不同的工作流程和业务逻辑，不同电力企业的GIS系统对数据提取、分析和处理可能有不同的思路，或偏重于某些方面的应用，但是几乎所有的电力GIS都包括以下一些基本功能： ●基本GIS功能：包括工作环境设置、图层操作、图形浏览、打印输出、 长度面积量算等基本功能； ●自动成图功能：包括GPS数据文件接收、输电设备维护、变电设备维护、 相位图的编辑、注记层的编辑生成等功能； ●设备管理功能：包括查询统计、单线图提取、线路模拟追踪等功能； ●污区管理功能：包括历年污区图的调阅和打印、记录大气环境和典型气 象资料、记录污源分布信息、记录盐密点档案信息、记录线路污闪信息、 进行污区图的编辑、各种专题图的产生、设备防污、污区查询统计等； ●巡线管理：GPS数据录入接口、图形数据输入、危险点数据录入、危险 点查询等功能 所有这些功能都是以大量的电力设施的数据为基础的，因此，建立和完善电力GIS必须首先解决电力设施数据采集维护问题，包括设施的属性数据和空间数据。其中属性信息涉及设备的编号、名称、型号、缺陷记录、检修记录、设备台帐、缺陷通知单、设备档案、线路条图和图片等；空间数据则包括以各种形式
油井数据采集与远程控制系统设计方案 技 术 设 计 方 案 介 绍 公司简介 我公司专业从事数字网络视频监控系统、智能视频分析、机房动力环境监控、机房建设、雷达测速、闯红灯电子警察抓拍、电子治安卡口、智能控制等智能化系统开发的大型综合型企业，欢迎来电洽谈业务！ 质量方针：以人为本、质量第一 公司成立至今，坚持以领先的技术、优良的商品、完善的售后服
务、微利提取的原则服务于社会。我公司为您提供的产品，关键设备采用高质量进口合格产品，一般设备及材料采用国内大型企业或合资企业的产品，各种产品企业都通过ISO9001国际质量体系认证。有一支精良的安防建设队伍，由专业技术人员为您设计，现场有专业技术人员带领施工，有良好职业道德施工人员。我公司用户拥有优质的设计施工质量和优质的售后服务保障。 客户哲学：全新理念、一流的技术、丰富的经验，开创数字新生活 专注——维护世界第一中小企业管理品牌、跟踪业界一流信息技术、传播经营管理理念是莱安永恒不变的追求，莱安坚持“全新的理念、一流的技术、丰富的经验、优质的服务”，专注于核心竞争力的建设是莱安取得今天成功的根本，也必将是莱安再创辉煌的基础！ 分享——“道不同，不相谋”，莱安在公司团队之间以及与股东、渠道伙伴、客户之间均倡导平等、共赢、和谐、协同的合作文化，在迎接外部挑战的过程中，我们共同期待发展和超越，共同分享激情与快乐！“合作的智慧”是决定莱安青春永葆的最终动力！ 客户服务：以高科技手段、专业化的服务为客户创造价值 分布于神州大地各行业中的800万中小企业是中国最具活力的经济力量，虽然没有强势的市场影响力和雄厚的资金储备，但无疑，个性张扬的他们最具上升的潜力，后WTO时代市场开放融合，残烈的竞争使他们的发展更加充满变数。基于以上认识，在智能化设备管理市场概念喧嚣的热潮中，独辟“实用主义”产品哲学，莱安将客户视
视频交通流信息采集系统解决方案 1概述 视频交通流信息采集系统主要包括视频图像采集设备、视频传输网络、交通流视频检测器等。视频检测器采用虚拟线圈技术，利用边缘信息作为车辆的检测特征，实时自动提取和更新背景边缘，受环境光线变化和阴影的影响较小；同时采用动态窗的方式来进行车辆计数，解决了采用以往固定窗方式进行车辆计数时由于车辆变道而导致的错误、重复计数问题。视频检测器能对视频图像采集设备或交通电视监视系统的视频信号自动进行检测，主要采集道路的微观交通信息如流量、速度、占有率、车辆间距、排队长度等，适用于近景监控模式。 2系统功能及特点介绍 2.1数据接口设计 视频交通流信息采集系统可以通过调用本项目提供的交通流数据统一接入接口，或由本项目提供数据格式标准化及上传程序，将采集到的交通流数据共享给本项目相关系统，以实现视频交通流数据的采集功能。 图1 数据接口设计 2.2系统功能 交通流信息视频检测系统的主要功能如下： （1）车辆检测 系统能够对输入的视频流图像进行车型、车牌等特征检测。
（2）交通流数据采集功能 系统可以采集交通流数据包括交通流量、平均车速、车道占有率、车型、平均车头间距、车辆排队长度、车辆密度、交通流状态等，交通流数据采集时间间隔在1～60分钟任意可调。 图 2 视频交通流检测模块 （3）视频图像跟踪功能 系统能对单路监控前端设备在不同预置位采集的视频图像进行不同区域不同事件的自动检测。一旦检测到特定的交通事件，事件检测器应具有该交通事件的视频图像目标自动跟踪、记录、分析功能。 当输入的视频图像不为设定的预置位的视频图像，系统应能自动不进行事件检测。一旦监控前端设备恢复至设定的预置位，系统应能自动进行事件检测。 （4）事件图像抓拍、录像功能 系统可以根据用户的设置，完成相应的录像和图片抓拍功能。 事件录像可以按摄像机、按事件类型、按时间归档存储在系统的预录像子系统中，由系统服务器进行统一的管理调用。 系统循环进行录像，当发生交通异常事件时，系统能够提供事发之前和之后的3分钟间的录像（可设置）。 系统可通过多种组合查询条件对视频交通流检测所采集的数据进行统计，包括时间-流量统计、时间-平均车速统计、时间-占有率统计、速度-流量统计等；统计结果可导出为
新媒体信息采集系统技 术方案精编 Document number：WTT-LKK-GBB-08921-EIGG-22986
新媒体信息采集系统 技术方案 普天通信有限责任公司 2008年5月
目录
1新媒体信息采集系统整体方案 背景 随着科学技术的日益发展，手机逐渐体现出集成度高、成本低、体积小、易于携带等优势，越来越趋近于全能的个人手持终端设备。随着照相、摄像、录音等多媒体功能的逐步加强，使手机传送多媒体信息也成为可能。 新媒体信息项目正是看中了这一点，同时也顺应新闻媒体行业对新闻消息报道的高实效性要求而提出的。通过使用移动终端进行新媒体信息传递作为现有新闻信息收集系统的有效、必要的补充，完善新闻报道的途径，加快发布速度，以提高对新闻的响应时间。 我们是在利用、整合、扩展报社现有系统的原则下，建设一套基于手机媒体终端的、在通用手机开发平台以及智能手机操作系统上二次开发的包括图、文、音视频等多媒体信息采、编、存、发的新媒体信息采集系统。 概述 本系统是按照先进、可靠、长远发展的要求进行设计，充分体现模块化和满足用户行业需求的设计思想。系统具有高度的可扩充性，可提供多种实现方式以满足不同终端用户
的需要。系统设计将以用户行业的需求为中心，提供稳定、方便、实用的采集系统，人机界面友好，系统易于使用。 本系统基于普天通信公司自主研发的新媒体信息采集系统服务器和新媒体信息采集系统客户端软件实现全部功能，以满足报社对媒体信息内容采集的快捷、安全、高效等需求，提高新闻报道的响应速度。 新媒体信息采集系统服务器是一个易于实施、易于使用、安全性高的服务平台，在设计时，采用模块化设计理念，将应用适配，手机适配，应用展现，集中管理进行分离，可以独立运行，也可以合并运行，具有很强的扩展性与可维护性。
激光雷达高速数据采集系统解决方案 0、引言 1、 当雷达探测到目标后, 可从回波中提取有关信息，如实现对目标的距离和空间角度定位,并由其距离和角度随时间变化的规律中得到目标位置的变化率，由此对目标实现跟踪; 雷达的测量如果能在一维或多维上有足够的分辨力, 则可得到目标尺寸和形状的信息; 采用不同的极化方法，可测量目标形状的对称性。雷达还可测定目标的表面粗糙度及介电特性等。接下来坤驰科技将为您具体介绍一下激光雷达在数据采集方面的研究。 1、雷达原理 目标标记： 目标在空间、陆地或海面上的位置, 可以用多种坐标系来表示。在雷达应用中, 测定目标坐标常采用极(球)坐标系统, 如图1.1所示。图中, 空间任一目标P所在位置可用下列三个坐标确定: 1、目标的斜距R； 2、方位角α；仰角β。 如需要知道目标的高度和水平距离, 那么利用圆柱坐标系统就比较方便。在这种系统中, 目标的位置由以下三个坐标来确定: 水平距离D，方位角α，高度H。 图1.1 用极(球)坐标系统表示目标位置
系统原理： 由雷达发射机产生的电磁能, 经收发开关后传输给天线, 再由天线将此电磁能定向辐射于大气中。电磁能在大气中以光速传播, 如果目标恰好位于定向天线的波束内, 则它将要截取一部分电磁能。目标将被截取的电磁能向各方向散射, 其中部分散射的能量朝向雷达接收方向。雷达天线搜集到这部分散射的电磁波后, 就经传输线和收发开关馈给接收机。接收机将这微弱信号放大并经信号处理后即可获取所需信息, 并将结果送至终端显示。 图1.2 雷达系统原理图 测量方法 1）.目标斜距的测量 雷达工作时, 发射机经天线向空间发射一串重复周期一定的高频脉冲。如果在电磁波传播的途径上有目标存在, 那么雷达就可以接收到由目标反射回来的回波。由于回波信号往返于雷达与目标之间, 它将滞后于发射脉冲一个时间tr, 如图1.3所示。 我们知道电磁波的能量是以光速传播的, 设目标的距离为 R, 则传播的距离等于光速乘上时间间隔, 即2R=ct r 或 2 r ct R
生产现场实时数据采集解决方案 摘要：对于大部分制造企业，生产现场的不良品信息及相关的产量数据的实时数据采集是当前企业面临的一大难题，如何实现高效率、简洁、实时的数据采集，是当前制造业急需解决的问题。 现场数据采集仪产生背景 对于大部分制造业企业，测量仪器的自动数据采集一直是个令人烦恼的事情，即使仪器已经具有RS232/485等接口，但仍然在使用一边测量，一边手工记录到纸张，最后再输入到PC中处理的方式，不但工作繁重，同时也无法保证数据的准确性，常常管理人员得到的数据已经是滞后了一两天的数据；而对于现场的不良产品信息及相关的产量数据，如何实现高效率、简洁、实时的数据采集更是一大难题。 太友科技作为国内领先的精益生产解决方案供应商，针对生产现场的数据采集，正式推出国内首创的现场数据采集领先解决方案，从软、硬件方面帮助客户快速建立车间现场数据采集网络，实时获取车间现场的数据信息，为生产及决策提供实时的数据依据。 生产现场数据采集仪的主要功能 ?实时采集来自生产线的产量数据或是不良品的数量、或是生产线的故障类型（如停线、缺料、品质），并传输到数据库系统中； ?接收来自数据库的信息：如生产计划信息、物料信息等； ?传输检查工位的不良品名称及数量信息； ?连接检测仪器，实现检测仪器数字化，数据采集仪自动从测量仪器中获取测量数据，进行记录，分析计算，形成相应的各类图形，对测量结果进行自动判断，如在机械加工零部件的跳动测量，拉力计拉力曲线的绘制等；
数据采集仪的主要特点 ?配备RS232、RS485串口，可连接多个检测仪器实现自动数据采集； ?配备USB接口，方便数据的输出； ?配备RJ45接口，可通过网线接入网络； ?配备VGA视频输出及音频输出接口； ?内置WIFI模块，可通过无线方式接入，方便现场组网； ?最大支持32G数据存储空间； ?配备4.3英寸触摸屏，方便操作； ?用户可在网络中的任一PC通过接口获取数据，方便进行二次开发； ?配备4.3英寸触摸屏，方便操作； ?可移动测量，即时传输数据，也可测试完成后，通过网络上传数据； ?电源连续工作时间6小时，待机时间长达10天； 生产现场数据采集在品质过程中的非常重要的一个环节，好的数据采集方案可把品质管理人员从处理数据的繁重工作中解放出来，有更多的时间去解决实际的品质问题，同时即时的数据采集也使系统真正地实现实时监控，尽早发现问题，避免更大的损失。 另：现场自动数据采集软件
数据采集一体化解决方案 第一章项目 1.1项目概况 近年来随着互联网信息化发展，大部分传统企业的信息化发展是相当迅速，对信息化监管更是需求很多，其中以商混行业较为突出。信息化监管不仅仅是企业本身的需要，也是诸如政府监管、民间自发组织商混协会监督、集团公司旗下多个商混站监控等的迫切需要。 1.2项目目标 结合市场情况及客户的实际需要，加强客户监管力度，提高质量水平，做到实时监控生产，满足客户监管要求，达到一体化监管目标。 1.3需求分析 由于客户多站点，管理比较粗放，信息化水平较低，监管困难，任务分配不均，导致资源浪费即有生产公司忙不过来，无生产公司空闲的资源浪费浪费，合理的分配也是一个重大需求。总结以上主要有以下两点需求 （1）实时监控生产状况并对各个企业进行数据分析（达到以单生产线为基础单元的目标） （2）通过平台监管合理分配生产：通过各企业生产情况进行多维度分析，进而合理分配任务 第二章数据采集一体化信息服务平台 该平台是以微软Microsoft SQLserver数据库为基础，B/S架构模式
进行部署，客户使用以浏览器为媒介查看采集数据，内部数据传输以服务端与采集端两个模块，属分布式系统 2.2数据采集一体化信息服务平台结构简介 通信协议采用TCP数据通信，Webservice对外统一接口等技术，实时的将各个节点的信息采集到平台端。 2.3采集客户端及服务端 本系统数据采集主要以混凝土拌合站生产数据信息采集及服务器端接收数据 采用TCP数据通信，使用计算机网络进行数据传输。客户端将采集到的数据实时发送到服务器端，已达到数据采集的目的。 只需要在客户机上部署采集模块实现采集上传，服务器端部署采集客户端接收采集端的数据 2.4技术要求 服务器端： 建议使用固定IP，无固定IP需申请域名，至少20M宽带，不建议移动网络，推荐电信，联通，服务器硬件依据客户商混站数量适当提高要求，建议增加UPS，增加硬件防火墙，安装杀毒软件采集端：采集端电脑能够连接Internet网络至少4M宽带 第三章平台后期维护 3.1 平台维护
智能化采集平台建设方案 1.智能化采集平台搭建 ETL过程中的主要环节就是数据抽取、数据转换和加工、数据装载。为了实现这些功能，ETL工具会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。 数据抽取 数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以下几种方式： 全量抽取 全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换成自己的ETL工具可以识别的格式。全量抽取比较简单。 增量抽取 增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中，增量抽取较全量抽取应用更广。如何捕获变化的数据是增量抽取的关键。对捕获方法一般有两点要求：准确性，能够将业务系统中的变化数据按一定的频率准确地捕获到；性能，不能对业务系统造成太大的压力，影响现有业务。目前增量数据抽取中常用的捕获变化数据的方法有： 触发器方式（又称快照式）： 在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。 优点：数据抽取的性能高，ETL加载规则简单，速度快，不需要修改业务系统表结构，可以实现数据的递增加载。 缺点：要求业务表建立触发器，对业务系统有一定的影响。 针对集团港口各个港口数据的实际情况，数据需要包含即时抽取和定时抽取，为保证数据高质量、高性能的进行抽取，经项目成员共同讨论决定本项目数据采
集任务设计器采用本方式进行设计。 时间戳方式： 它是一种基于快照比较的变化数据捕获方式， 在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。 有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。 优点：同触发器方式一样，时间戳方式的性能也比较好，ETL系统设计清晰，源数据抽取相对清楚简单，可以实现数据的递增加载。 缺点：时间戳维护需要由业务系统完成，对业务系统也有很大的倾入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳操作，工作量大，改动面大，风险大；另外，无法捕获对时间戳以前数据的delete和update操作，在数据准确性上受到了一定的限制。 全表删除插入方式。 每次ETL操作均删除目标表数据，由ETL全新加载数据。 优点：ETL加载规则简单，速度快。 缺点：对于维表加代理键不适应，当业务系统产生删除数据操作时，综合数据库将不会记录到所删除的历史数据，不可以实现数据的递增加载；同时对于目标表所建立的关联关系，需要重新进行创建。 全表比对方式：
电商大数据采集分析系统建设方案 V1.0-20200610 重庆炙迅科技有限公司 一、建设背景 数据是国家基础性战略资源，是21世纪的"钻石矿"。党中央、国务院高度重视大数据在经济社会发展中的作用，党的十八届五中全会提出"实施国家大数据战略"，国务院印发《促进大数据发展行动纲要》，全面推进大数据发展，加快建设数据强国。"十三五"时期是我国全面建成小康社会的决胜阶段，是新旧动能接续转换的关键时期，全球新一代信息产业处于加速变革期，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。抢抓机遇，推动大数据产业发展，对提升政府治理能力、优化民生公共服务、促进经济转型和创新发展有重大意义。 二、建设内容 坚持“统一规划、分步实施，整合资源、协同共享，突出重点、注重实效”的原则，打造集约、开放、共享的平台体系，平台主要包括一下内容： 1、大数据采集系统。可以实现与县电商平台、物流平台等无缝对接，实现县乡村三级物流体系数据全部汇
总上报。同时采集系统与第三方数据采集平台对接，抓取淘宝、京东等数据。同时也可以定制开发与本地第三方平台对接，研制数据适配接口，对接各应用系统获取各类异构数据，并采用大数据主流的框架和系统对数据进行统一存储，为数据的挖掘和分析打好基础。
2、大数据分析加工系统。实现大数据的效果呈现，可实现县电子商务上行、下行，产品类别，日交易额及相关流水等数据多重风格形式展示。采用数据挖掘、数理统计等相关技术，构建大数据分析框架，提取数据中隐含的、未知的、极具潜在应用价值的信息和规律，通过数据报表工具，根据需求制定多样的，针对性的数据报表。