G r e e n P l u m数据库详
细安装过程
文件排版存档编号：[UYTR-OUPT28-KBNTL98-UYNN208]
目录
1.概述
1.1.GreenPlum数据库概述
1.2.GreenPlum数据库架构原理
本系统中GreenPlum由一个主节点（master）和四个从节点(segment)构成，主节点和从节点由一台千兆交换机进行连接。客户端（Client）
发送的命令通过主节点的主控作用，然后分发到从节点；从节点将用户
需要的结果汇总到主节点，由主节点进行整合然后再将结果返回给客户端。
主节点与从节点的链接规则是保证每台服务器中网口的IP地址不是
互联互通的，但是与其他的服务器之间可以通信。换句换说保障同一台
服务器中的IP地址不是处于同一网段，但是不同服务器中的相同网口属于同一网段。在此需要特别提醒用户Master中一共拥有五块网卡，第五块网卡是与client进行连接的网口。负责外部用户的访问和数据传输。
网线连接顺序
GP数据库网线的接线示意图
2.SUSELinuxEnterprise1164-bit操作系统安装过程
安装GreenPlum数据库的服务器，在安装SUSELinuxEnterprise11操作系统之前首先需要进行磁盘阵列的设置。本系统的GP数据库中磁盘阵列选择Raid5的方式（未完待续…）。在主节点服务器的安装过程中尤
其需要注意：主节点比从节点多一块网卡，在服务器的外面可以很容易的看到主节点的网口为5个，其余从节点的网口为4个。
2.1.初始化阶段
服务器的磁盘阵列做完之后，进入服务器的BIOS将服务器的硬盘分Raid5，Raid5做好后设置BIOS的启动项为光驱启动。然后将SUSE系统安装光盘放入服务器的光驱进入系统安装界面，选择第二项“Installation”，然后按回车键。
接收许可协议如下图中的红色框内，点击下一步
校验光盘系统完整性，完成后，点击下一步
选择安装模式“NewInstallation”，点击下一步
选择时区与时钟，Region选择“亚洲”（Asia），Time_Zone选择“北京”（Beijing）。注意：此处需要将左下角的“HardWareclockSettoUTC”去掉勾选。然后点击下一步
2.2.系统分区
本系统需要分成4个分区，其中数据分区（/data）要求容量最大，其余的分区在满足系统正常运行的前提下保证使用的容量最小。本系统中每个节点的硬盘为八块1T，做完磁盘阵列后，系统硬盘的总容量大约为7T。系统分区建议表
系统分区建议
选择“PhysicalMachine”，点击下一步
在安装设置中选择“Expert”主菜单
在Expert菜单内选择“Partitioning”
选择“CustomPartitioning（forExpert）”,点击下一步
在左侧的树状结构中选择“HardDisks”中的sda；然后点击页面下端的“Add”按钮，界面跳转。
选择“Primary”，点击下一步
设置“CustomSize”为1GB，然后点击下一步
设置“FormatPartition”文件系统的格式为“EXT3”；MountPartition 选择“/boot”目录；然后点击“完成”
再一次点击“Add”按钮，界面跳转
选择“PrimaryPartition”，点击下一步
设置“CustomSize”为5GB，点击下一步
设置“FormatPartition”为“Swap”，“MountPartition”为“swap”，点击完成
第三次点击“Add”按钮，界面跳转
选择“PrimaryPartition”，然后点击下一步
设置“CustomSize”为5GB，点击下一步
设置“FormatPartition”格式为“Ext3”，“MountPartition”格式为“/”，点击完成
最后一次点击“Add”按钮，界面跳转。
选择“PrimaryPartition”，点击下一步
设置“CustomSize”为剩余的所有容量，点击下一步
设置“FormatPartition”文件系统格式为“XFS”，“MountPartition”为“/data”，注意：此处的“/data”需要用户手动输入。点击完成
在“ExpertPartitioner”主界面右下角点击“Accept”按钮。界面跳转回“InstallationSetting”界面
2.3.软件选择和系统任务
在“InstallationSetting”主界面选择“Expert”中的“Software”，
界面跳转，
按照下图进行勾选
勾选完成后，点击界面左下角的“Details…”按钮，界面跳转
在“Search”输入框内输入“VSFTP”，点击“Search”按钮，将查询的结果勾选，然后点击“Accept”按钮。
界面弹出提示框，请点击“Continue”按钮。界面将跳转回“InstallationSetting”界面
2.4.语言选择
在“InstallationSetting”界面，选择“Expert”主菜单中的“Language”，界面跳转
在语言栏选择“SimpledChinese”然后点击“Accept”
弹出提示框，点击“OK”按钮，界面将跳转回“InstallationSetting”界面
2.5.Kdump设置
在“InstallationSetting”界面，选择“Expert”主菜单中的“Kdump”，界面跳转
在服务器的安装过程中，Kdump中默认选中“enable_Kdump”，我们需要将Kdump更改为“Disable_Kdump”。然后点击“OK”按钮，界面将跳转回“InstallationSetting”界面
2.6.安装过程
直接点击右下角“Install”按钮
弹出提示框，点击“Install”界面将跳转到安装进度界面开始安装系统，(大约25~40分钟)。
安装结束后，系统会自动重启进入到配置root用户、密码页面。将密码修改为“root”之后，点击下一步
3.配置网卡IP
主节点的用户名为：mdw；从节点的用户名为：sdw1/sdw2/sdw3…。
进入网卡配置界面，选择“NetworkInterface”。（注意：关闭防火墙功能）要求配置的网段IP地址使数据库内部实现完全不共享的架构，并且支持多路数据并发。
服务器中网卡IP地址配置规则
注意：主节点（mdw）中拥有5块网卡，第五块网卡配置成对外访问的IP，例如：
下面以mdw主节点为例演示网卡的配置过程。其他三个子节点的网卡配置过程与主节点网卡配置的过程相似，只是子节点中不存在“”段的网卡，详细的配置请参考“服务器中网卡IP地址配置规则”。
选择第一块网卡，然后点击“Edit”按钮
按下图填写网卡IP，然后点击下一步。注意此处的IP地址是GP数据库对外连接是使用的IP，请用户记好。
选择第二块网卡，然后点击“Edit”按钮
按下图填写网卡IP地址，点击下一步
选择第三块网卡，点击“Edit”按钮
按下图填写网卡的IP，点击“下一步”
选择第四块网卡，点击“Edit”按钮
按下图填写网卡IP地址，点击下一步
选择最后一块网卡，点击“Edit”
按下图填写网卡IP，点击“下一步”
网卡配置结束，点击右下角“OK”按钮
点击“下一步”
选择“”，然后点击“下一步”按钮
选择“UseFollowingConfiguration”，点击“下一步”按钮
直接点击“下一步”按钮
弹出提示框，选择“Yes”继续
直接点击“下一步”按钮
点击“完成”按钮
系统重新启动
输入用户名：root,然后按“回车”键
输入密码：root，然后按“回车”键
4.GreenPlum中Master配置过程
SUSELinuxEnterprise11操作系统安装完成之后，在Master服务器中进行操作。首先，在Master节点中新建一个用户（用户名：gpadmin，密码：gpadmin），并且将系统的防火墙关闭、启动FTP服务；然后使用FlashXP将GreenPlum数据库配置所需要的文件上传到指定文件夹；最后使用工具配置GreenPlum数据库中的相关参数。
4.1.建立gpadmin用户
登录系统成功后，点击左下角“Computer”，选择“YaST”
在“Filter”中输入“user”，然后选择“UserandGroupManage…”点击左下角“Add”按钮
新建一个用户，用户名：gpadmin，密码：gpadmin
点击“Detail”按钮，在“UserID（uid）”中数据“3030”，然后点击下一步
4.2.关闭防火墙
在Suse系统中选择“Computer”，点击“YaST”
在“Filter”中输入“Firewall”命令，然后选右侧“Firewall”
将防火墙关闭，否则使用“FlashXP”工具连接“”时，无法连接成功
4.3.启动FTP
在Suse系统中选择“Computer”，点击“YaST”
在“Filter”中输入“ftp”，然后点击右侧的“FTPServer”
按照下图设置“FTPStart-Up”
设置完成后，点击“StartFTPNow”按钮，然后点击“finish”按钮
4.4.使用FlashXP上传GreenPlum数据
使用root用户名和密码登录到SUSE系统，然后logout
然后使用FlashXP软件上传所需文件
注意此处的IP地址是安装系统时，设置的第一块网卡的IP地址
4.5.使用工具配置GreenPlum数据库
输入密码：root时用户不可见，数据完成之后回车
查看home/gpadmin/Desktop目录下的文件是否存在，按回车键
ll命令显示所有的文件夹，按回车键
输入下图中划红线的命令，然后按“回车”键
一直按空格键直到显示如下图所示
输入“yes”同意许可条件
按回车键
输入yes
输入命令“chown–Rgpadmin/user/local/greenplum-db”
数据命令“chown–Rgpadmin”
输入命令“chown-Rgpadmin/data/”安装greenPlum软件
vi/etc/hosts，编辑etc目录下的hosts文件
在键盘上按“insert”键，或者直接输入“insert”命令，使用上下左右键进行选择，将这一行删除，删除时请按DEL键
在mdwmdw后面回车
然后按照下图输入，从“m dwmdw”开始输入
修改环境变量
注意：其余的子节（sdw1,sdw2,sdw3…）请参考MDW节点进行配置。都
需要将grennplum文件上传、修改etc/hosts文件和环境变量。
4.6.GreenPlum数据库配置详情
source/usr/local/greenplum-db/
root不显示
使用如下命令，对master机器进行无验证连接;
Gpssh-exkeys–fall_hosts期间需要输入作为验证root密码(root用户)退出putty，使用gpadmin账户登录，然后再次使用Putty,用户名gpadmin
修改.Bashrc文件，添加两行:
Source/usr/local/greenplum-db/
ExportMASTER_DATA_DIRECTORY=/data/gpseg-1/
使用如下命令：Gpssh-exkeys–fall_hosts期间需要输入作为验证gpadmin密码(gpadmin用户)
所有的服务器都安装greenplum-db软件，但是只有mdw需要做上述无验证连接
4.6.1.GrennPlum数据库的初始化
打开FlashXP将下图中的划红线部分的文件上传到中
上传的文件无需选择目录，直接点击上传即可
使用vi命令进行“gpinitsystem_config”文件的编辑，检查文件中的数据存放位置和备份文件存放位置。
检查数据文件夹的存放位置，如下图中红色框内所示
vigpinitsystem_config
使用“gpinitsystem-Cgpinitsystem_config”命令进行greenplum数据库的初始化。命令请参考下图中红色框内
初始化过程中，会出现“是否继续greenplum数据库的创建”选项，输入“y”或者输入“Y”进行确定。然后系统将继续进行greenplum数据库的创建
创建成功后，系统将会出现如下的提示，如下图中红色框内的提示信息。
4.6.2.修改GreenPlum数据库账户的权限
GP初始化完成之后，修改/data/gpseg-1/文件，在最后一行加上如下命令:hostallall（注意md5请小写，本人在测试过程中截图截错了！md5一定要小写）
重新读取配置文件
使用psql–dtemplate1进入系统的模板数据库，使用如下命令修改gpadmin账户权限:alterrolegpadminwithloginpassword‘gpadmin’;
附录A
常用命令
附录B
常见问题
常见问题1：解答：
常见问题2：解答：
常见问题3：
解答：
常见问题4：解答：
常见问题5：解答：
常见问题6：解答：
目录 .GreenPlum数据库概述........................................ .GreenPlum数据库架构原理.................................... 2.SUSELinuxEnterprise1164-bit操作系统安装过程..................... .初始化阶段 ................................................. .系统分区 ................................................... .软件选择和系统任务 ......................................... .语言选择 ................................................... .Kdump设置.................................................. .安装过程 ................................................... 3.配置网卡IP...................................................... 4.GreenPlum中Master配置过程...................................... .建立gpadmin用户 ........................................... .关闭防火墙 ................................................. .启动FTP.................................................... .使用FlashXP上传GreenPlum数据 ............................. .使用工具配置GreenPlum数据库 ............................... .GreenPlum数据库配置详情.................................... GrennPlum数据库的初始化............................... 修改GreenPlum数据库账户的权限........................ 附录A............................................................... 附录B...............................................................
Greenplum 日常简明维护手册 1.数据库启动：gpstart 常用参数：-a : 直接启动，不提示终端用户输入确认 -m:只启动master 实例，主要在故障处理时使用访问单个数据实例： PGOPTIONS='-c gp_session_role=utility' psql template1 -p 5432 启动某个segment instance ：pg_ctl stop/start -D /datadir/ 取端口号： select * from gp_segment_configuration 启动以后会在/tmp/ 下生成一个.lock 隐藏文件，记录主进程号。
2.数据库停止：gpstop： 常用可选参数：-a：直接停止，不提示终端用户输入确认 -m：只停止master 实例，与gpstart –m 对应使用 -f：停止数据库，中断所有数据库连接，回滚正在运 行的事务 -u：不停止数据库，只加载pg_hba.conf 和postgresql.conf中 运行时参数，当改动参数配置时候使用。 连接数，重启 3.查看实例配置和状态 select * from gp_segment_configuration order by content ; select * from pg_ ; 主要字段说明： Content：该字段相等的两个实例，是一对Ｐ（primary instance）和Ｍ（mirror Instance) Isprimary：实例是否作为primary instance 运行 Valid：实例是否有效，如处于false 状态，则说明该实例已经down 掉。 Port：实例运行的端口 Datadir:实例对应的数据目录
高并发分布式服务架构方案 下图是一个非常全面的架构蓝图，针对不同的应用系统需要的模块各有不同。此架构方案主要包括以下几个方面的设计：数据存储和读取，基础服务，应用层（APP/业务/Proxy），日志监控等，下面对这些主要的问题提供具体的各项针对性技术方案。 数据的存储和读取 分布式系统应该根据应用对数据不同的一致性、可用性等要求和数据的不同特性，采用不同的数据存储和读取方案，主要有以下几种可选方案： 1)内存型数据库。内存型的数据库，以高并发高性能为目标，在事务性方面没那么严格， 适合进行海量数据的存储和读取。例如开源nosql数据库mongodb、redis等。 2)关系型数据库。关系型数据库在满足并发性能的同时，也需要满足事务性，可通过 读写分离，分库分表来应对高并发大数据量的情况。例如Oracle，Mysql等。 3)分布式数据库。对于数据的高并发的访问，传统的关系型数据库提供读写分离的方案， 但是带来的确实数据的一致性问题提供的数据切分的方案；对于越来越多的海量数据，传统的数据库采用的是分库分表，实现起来比较复杂，后期要不断的进行迁移维护；对
于高可用和伸缩方面，传统数据采用的是主备、主从、多主的方案，但是本身扩展性比较差，增加节点和宕机需要进行数据的迁移。对于以上提出的这些问题，分布式数据库HBase有一套完善的解决方案，适用于高并发海量数据存取的要求。 基础服务 基础服务主要是指数据层之上的数据路由，Cache，搜索等服务。 1)路由Router。对于数据库切分方案中的分库分表问题，需要解决在请求对应的数据时 定位需要访问的位置，可根据一致性Hash，维护路由表至内存数据库等方案解决。 2)Cache。对于高并发的系统来讲，使用Cache可以减轻对后端系统的压力，所有Cache 可承担大部分热数据的读操作。当前用的比较多的是redis和memcache，redis比memcache有丰富的数据操作的API，redis对数据进行了持久化，而memcache没有这个功能，因此memcache更加适合在关系型数据库之上的数据的缓存。 3)搜索。搜索可以支持应用系统的按照关键词的检索，搜索提示，搜索排序等功能。开源 开源的企业级搜索引擎主要有lucene, sphinx，选择搜索引擎主要考虑以下三个方面： a)搜索引擎是否支持分布式的索引和搜索，来应对海量的数据，支持读写分离，提高 可用性 b)索引的实时性 c)搜索引擎的性能 Solr是基于Lucene开发的高性能的全文搜索服务器，满足以上三个方面的考虑，而且目前在企业中应用非常广泛。 应用层 应用层主要包括面向用户的应用，网站、APP等，还包括相关的业务处理的运算等。 1)负载均衡-反向代理。一个大型的平台包括很多个业务域，不同的业务域有不同的集群， 可以用DNS做域名解析的分发或轮询，DNS方式实现简单。但是因存在cache而缺乏灵活性；一般基于商用的硬件F5、NetScaler或者开源的软负载lvs在做分发，当然会采用做冗余(比如lvs+keepalived)的考虑，采取主备方式。Nginx是基于事件驱动的、异步非阻塞的架构、支持多进程的高并发的负载均衡器/反向代理软件，可用作反向代理的工具。
G r e e n P l u m数据库详 细安装过程 文件排版存档编号：[UYTR-OUPT28-KBNTL98-UYNN208]
目录
1.概述 1.1.GreenPlum数据库概述 1.2.GreenPlum数据库架构原理 本系统中GreenPlum由一个主节点（master）和四个从节点(segment)构成，主节点和从节点由一台千兆交换机进行连接。客户端（Client） 发送的命令通过主节点的主控作用，然后分发到从节点；从节点将用户 需要的结果汇总到主节点，由主节点进行整合然后再将结果返回给客户端。 主节点与从节点的链接规则是保证每台服务器中网口的IP地址不是 互联互通的，但是与其他的服务器之间可以通信。换句换说保障同一台 服务器中的IP地址不是处于同一网段，但是不同服务器中的相同网口属于同一网段。在此需要特别提醒用户Master中一共拥有五块网卡，第五块网卡是与client进行连接的网口。负责外部用户的访问和数据传输。 网线连接顺序 GP数据库网线的接线示意图 2.SUSELinuxEnterprise1164-bit操作系统安装过程 安装GreenPlum数据库的服务器，在安装SUSELinuxEnterprise11操作系统之前首先需要进行磁盘阵列的设置。本系统的GP数据库中磁盘阵列选择Raid5的方式（未完待续…）。在主节点服务器的安装过程中尤
其需要注意：主节点比从节点多一块网卡，在服务器的外面可以很容易的看到主节点的网口为5个，其余从节点的网口为4个。 2.1.初始化阶段 服务器的磁盘阵列做完之后，进入服务器的BIOS将服务器的硬盘分Raid5，Raid5做好后设置BIOS的启动项为光驱启动。然后将SUSE系统安装光盘放入服务器的光驱进入系统安装界面，选择第二项“Installation”，然后按回车键。 接收许可协议如下图中的红色框内，点击下一步 校验光盘系统完整性，完成后，点击下一步 选择安装模式“NewInstallation”，点击下一步 选择时区与时钟，Region选择“亚洲”（Asia），Time_Zone选择“北京”（Beijing）。注意：此处需要将左下角的“HardWareclockSettoUTC”去掉勾选。然后点击下一步 2.2.系统分区 本系统需要分成4个分区，其中数据分区（/data）要求容量最大，其余的分区在满足系统正常运行的前提下保证使用的容量最小。本系统中每个节点的硬盘为八块1T，做完磁盘阵列后，系统硬盘的总容量大约为7T。系统分区建议表 系统分区建议
?介绍 本文介绍Pivotal Greenplum Database数据库（以下简称：Greenplum数据库，或GPDB）的最佳实践。 最佳实践是指能持续产生比其他方法更好结果的方法或者技术，它来自于实战经验，并被证实了遵循这些方法可以获得可靠的预期结果。本最佳实践旨在通过利用所有可能的知识和技术为正确使用GPDB提供有效参考。 本文不是在教您如何使用Greenplum数据库的功能，而是帮助您在设计、实现和使用Greenplum数据库时了解需要遵循哪些最佳实践。关于如何使用和实现具体的Greenplum 数据库特性，请参考gpdb.docs.pivotal.io 上的Greenplum数据库帮助文档以 及https://www.doczj.com/doc/1915293235.html, 上的Sandbox和实践指南。 本文目的不是要涵盖整个产品或者产品特性，而是概述GPDB实践中最重要的因素。本文不涉及依赖于GPDB具体特性的边缘用例，后者需要精通数据库特性和您的环境，包括SQL访问、查询执行、并发、负载和其他因素。 通过掌握这些最佳实践知识，会增加GPDB集群在维护、支持、性能和可扩展性等方面的成功率。 第一章最佳实践概述 本部分概述了Greenplum数据库最佳实践所涉及的概念与要点。 数据模型 GPDB 是一个基于大规模并行处理(MPP)和无共享架构的分析型数据库。这种数据库的数据模式与高度规化的事务性SMP数据库显著不同。通过使用非规化数据库模式，例如具有大事实表和小维度表的星型或者雪花模式，GPDB在处理MPP分析型业务时表现优异。 跨表关联(JOIN)时字段使用相同的数据类型。 详见数据库模式设计（后续章节)
江西移动Greenplum 数据库安装
修改记录
目录 1物理环境部署................................................................................... 错误!未定义书签。 Greenplum物理架构设计.................................................... 错误!未定义书签。 磁盘硬件RAID设计........................................................... 错误!未定义书签。 网络IP规划 ......................................................................... 错误!未定义书签。2软件环境安装配置........................................................................... 错误!未定义书签。 操作系统安装配置............................................................... 错误!未定义书签。 操作系统参数设置............................................................... 错误!未定义书签。 操作系统安全配置............................................................... 错误!未定义书签。 操作系统用户组和用户....................................................... 错误!未定义书签。 网络配置............................................................................... 错误!未定义书签。 集群NTP服务时钟同步配置............................................... 错误!未定义书签。3数据库系统安装配置....................................................................... 错误!未定义书签。 Greenplum软件安装............................................................ 错误!未定义书签。 数据库初始化....................................................................... 错误!未定义书签。4数据库参数....................................................................................... 错误!未定义书签。 数据库参数设置................................................................... 错误!未定义书签。 调整连接控制参数............................................................... 错误!未定义书签。5Command center安装 ...................................................................... 错误!未定义书签。
EMC Greenplum数据库简介 Greenplum 是2002年开始成立研发团队的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如：Oracle, Teradata, Tandem, Microsoft SQL Server, Informix。 Greenplum数据库软件是业内首创的无共享、大规模并行处理（massively parallel processing (MPP)）的数据库软件产品，它包含大规模并行计算技术和数据库技术最新的研发成果：包括无共享/MPP，按列存储数据库，数据库内压缩，MapReduce，永不停机扩容，多级容错等等。该数据库软件被业界认可为扩展能力最大的分析型（OLAP）数据库软件。已有500多家世界级重大客户采用该软件，例如：NYSE,NASDAQ,FINRA,AIG，AMEX,CIA，德意志银行，美国联邦储备委员会，支付宝，NTT-DoCoMo,T-Mobile,Skype，WalMart，中国联通，太平洋保险等。这些客户中大多数Greenplum数据仓库所管理的数据量都超过100TB，其中，全球最大的有6500TB，中国最大的有1000TB。每一天，全球有数亿级的用户在直接、间接用到Greenplum发明的数据库平台。 Greenplum 分布式数据仓库软件特性介绍 Greenplum数据仓库软件是业界首创将大规模并行计算技术，应用到了数据库软件领域。该类技术同样应用在Google搜索引擎的中。
Greenplum数据仓库软件功能： 无共享/MPP核心架构 Greenplum数据库软件将数据平均分布到系统的所有节点服务器上，所以节点存储每张表或表分区的部分行，所有数据加载和查询都是自动在各个节点服务器上并行运行，并且该架构支持扩展到上万个节点。 混合的存储和执行（按列或按行） Greenplum发明支持混合按列或按行存储数据，每张表或表分区可以由管理员根据应用需要，分别指定存储和压缩方式。 基于这个功能，用户可以对任何表或表分区选择按行或按列存储数据和处理方式。这些是在建表或表分区的DDL语句中配置的，只需在建表或表分区时指定： 这个功能基于Greenplum的多态维数据存储技术。
分布式数据库设计报告
目录 1案例背景 (1) 需求分析 (1) 2 分布式数据库设计 (2) 设计目标 (2) 总体设计目标 (2) （4）可靠性： (3) 完成方式及周期 (3) 分布式数据库架构图 (4) 物理设计施工 (5) 3 总结 (5) 4所用设备汇总 (7) 5所使用软件 (7)
成品车间分布式数据库设计 1案例背景 随着成品车间信息化程度越来越高，我们的传统集中式数据库系统的缺点逐渐体现出来主要有: 1、所有数据处理、存储集中在一台计算机上完成，一旦机器损坏或系统崩 溃数据数据很难恢复。 2、单台机器写入/查询处理能力不足，一台机器既要读取数据，又要写入数 据，遇到大批量超过单台数据库的处理能力，就会出现卡顿，在生产时 间不敢批量制造/查询数据。 3、硬件性能瓶颈，包括(硬盘、CPU、内存)，使用升级硬件的方法效果有限。 4、出现故障没有备用服务器可以替代。 5、当前成品车间存在2种数据库，oracle，sql sever，交叉使用不方便管 理维护，出现问题排查困难。 6、由于数据库初期创建数据库/表比较混乱，现在对数据的统计管理需要在 两台服务器之间交叉进行，统计难度高，效率低。 需求分析 成品车间信息化程度越来越高，各个节点产生的数据量越来越大，对数据系统要求越来越高，我们所使用的传统集中式数据库已经无法从容应对越来越大的数据。 成品车间生产线数据库主要有oracle和sql server两种，分别分布在2台计算机中，柔性线、自动线、三相线交叉使用两种类型数据库，主要出现的问题有; 1、一旦其中一个数据库出现问题，那么就有很大的几率导致三条线体 的某个节点或全部节点失去数据服务，导致停线。 2、数据库出现故障，必须停线，故障修复之后才可以上线使用。
目录 第一章前言................................................................................................... 错误!未指定书签。 1.1文档目的................................................................................................ 错误!未指定书签。 1.2预期读者................................................................................................ 错误!未指定书签。 1.3参考资料................................................................................................ 错误!未指定书签。第二章设计规范 ........................................................................................... 错误!未指定书签。 2.1数据库对象数量 .................................................................................... 错误!未指定书签。 2.2表创建规范............................................................................................ 错误!未指定书签。 2.3表结构设计............................................................................................ 错误!未指定书签。 2.3.1字段命名 ........................................................................................... 错误!未指定书签。 2.3.2数据类型 ........................................................................................... 错误!未指定书签。 2.3.3数据分布 ........................................................................................... 错误!未指定书签。 2.3.4分区 ................................................................................................... 错误!未指定书签。 2.3.5压缩存储 ........................................................................................... 错误!未指定书签。 2.3.6索引设计 ........................................................................................... 错误!未指定书签。 2.4其他数据库对象设计 ............................................................................ 错误!未指定书签。 2.4.1schema............................................................................................... 错误!未指定书签。 2.4.2视图 ................................................................................................... 错误!未指定书签。 2.4.3临时表和中间表 ............................................................................... 错误!未指定书签。第三章SQL开发规范 .................................................................................... 错误!未指定书签。 3.1基本要求................................................................................................ 错误!未指定书签。 3.2WHERE条件................................................................................................ 错误!未指定书签。 3.3分区字段使用 ........................................................................................ 错误!未指定书签。 3.4表关联.................................................................................................... 错误!未指定书签。 3.5排序语句................................................................................................ 错误!未指定书签。 3.6嵌套子查询............................................................................................ 错误!未指定书签。 3.7UNION/UNION ALL..................................................................................... 错误!未指定书签。 3.8高效SQL写法的建议............................................................................ 错误!未指定书签。
GreenPlum数据库集群 安装说明及使用手册 开心十二月总结 ****年**月**日
目录 1体系结构介绍 (4) 2安装 (10) 2.1安装 (10) 2.1.1安装准备 (10) 2.1.2安装gp-db (11) 2.1.3配置通讯 (13) 2.1.4建立数据存储池 (17) 2.1.5同步系统时间 (17) 2.1.6验证安装是否成功 (17) 2.1.7初始化 (17) 2.1.8数据库的启停 (18) 2.2Master双机热备 (19) 2.3Segment节点互备 (20) 3GP数据库的使用 (22) 3.1pgAdminIII工具 (22) 3.1.1安装和第一次使用pgAdminIII (22) 3.1.2主窗体 (23) 3.1.3导航菜单 (23) 3.1.4工具栏介绍 (24) 3.1.5数据库与表的创建 (25) 3.1.6使用pgAdminIII备份数据库 (25) 3.2JDBC配置 (26) 3.3GP数据库两个重要概念 (27) 3.3.1什么是Schema (27)
3.3.2数据分布存储 (28) 3.4GP的SQL语法 (28) 3.4.1数据加载 (28) 3.4.2SQL并行查询 (32) 3.4.3聚合函数 (32) 3.4.4索引 (32) 3.4.5分区 (34) 3.4.6函数 (35) 4维护数据库 (39) 4.1数据库启动gpstart (39) 4.2数据库停止gpstop (41) 4.3查看实例配置和状态 (41) 4.4查看数据库运行状态gpstate (42) 4.5查看用户会话和提交的查询等信息 (43) 4.6查看数据库、表占用空间 (43) 4.7查看数据分布情况 (44) 4.8实例恢复gprecoverseg (44) 4.9查看锁信息 (44) 4.10数据库的备份与恢复 (44) 5调优、排错 (44) 6附件 (44) 6.1DBA常用命令 (44) 7Q&A (45) 7.1不支持触发器 (45) 7.2更新操作中的若干问题 (45)
第1章系统管理 1.1 GP服务启停 su - gpadmin gpstart #正常启动 gpstop #正常关闭 gpstop -M fast #快速关闭 gpstop –r #重启 gpstop –u #重新加载配置文件 1.2 登陆 psql gpdb psql -d gpdb -h gphostm -p 5432 -U gpadmin 1.3 查看segment配置 select * from gp_segment_configuration; 1.4 文件系统 select * from pg_filespace_entry; 1.5 列出所有数据库 psql –l
1.6 行表库最大尺寸 一个数据库最大尺寸？无限制（已存在有32TB 的数据库） 一个表的最大尺寸？32 TB 一行记录的最大尺寸？1.6 TB 一个字段的最大尺寸? 1 GB 一个表里最大行数？无限制 一个表里最大列数？250-1600 （与列类型有关） 一个表里的最大索引数量？无限制 当然，实际上没有真正的无限制，还是要受可用磁盘空间、可用内存/交换区的制约。事实上，当这些数值变得异常地大时，系统性能也会受很大影响。 表的最大尺寸32 TB 不需要操作系统对大文件的支持。大表用多个 1 GB 的文件存储，因此文件系统尺寸的限制是不重要的。 如果缺省的块大小增长到32K ，最大的表尺寸和最大列数还可以增加到四倍 1.7 存储空间 一个Postgres 数据库（存储一个文本文件）所占用的空间最多可能需要相当于这个文本文件自身大小5倍的磁盘空间。
第2章Psql操作 2.1 创建/删除用户 创建用户： createuser [-a] [-A] [-d] [-D] [-e] [-P] [-h 主机名] [-p port] 用户名参数说明： [-a]：允许创建其他用户，相当于创建一个超级用户； [-A]：不允许此用户创建其他用户； [-d]：允许此用户创建数据库； [-D]：不允许此用户创建数据库； [-e]：将执行过程显示到Shell上； [-P]：创建用户时，同时设置密码； [-h 主机名]：为某个主机上的Postgres创建用户； [-p port]：与-h参数一同使用，指定主机的端口。 createuser -h 172.28.18.51 -p 5000 -D -A -e testuser 创建超级用户：createuser -P -d -a -e testuser 删除用户： 命令：dropuser [-i] [-h] [-p] [-e] 用户名 参数说明： [ -i]：删除用户前，要求确认； [-h 主机名]：删除某个主机上的Postgres用户； [-p port]：与-h参数一同使用，指定主机的端口； [-e]：将执行过程显示到Shell上。 2.2 创建数据库 createdb -p 5432 -e -U gpadmin mydb
腾讯分布式数据库TDSQL金融级能力的架构原理概述
目录
TDSQL是什么：腾讯如何打造一款金融级分布式数据库 我们先初步了解TDSQL产品，以及它的适用场景。第一章包括四个方面：使用场景、发展历程、核心特性，以及兼容性。 首先，TDSQL是腾讯推出的一款兼容MySQL的自主可控、高一致性分布式数据库产品。这里我们强调一点，高度兼容MySQL——TDSQL完全兼容MySQL协议，并且做到完全自主可控、数据强一致性。第二是TDSQL具备分布式的特性，具备一个弹性扩展、高可用的架构。在互联网行业，海量的用户流量场景很常见，如果数据库不具备可伸缩性、可扩展性，是很难应对如：电商的大型促销，春节抢红包等突增流量的场景，这些其实都是对数据库应对海量用户流量的考验。
目前TDSQL已经服务超过500+的金融政企，行业覆盖银行、保险、证券、政务、互联网金融等各个领域。 我们再看一下TDSQL的前世今生。TDSQL最早可以追溯到2002年，那个时候其实还不叫TDSQL，它是腾讯计费平台部的一个数据库服务，当时使用了开源的MySQL。2002年-2007年随着公司业务的发展，腾讯所面临的用户量的压力也越来越大。这个时候我们提出了7×24小时不宕机的高可用设计方案，来保证数据库能提供7×24小时不间断连续高可用服务。那个时候，腾讯的增值业务日渐成规模，业务对数据也越来越敏感，对数据可用性的要求越来越高，甚至平时还要防备一些像运营商的光纤被挖断等各种各样的异常场景。
在2007年-2012年，这可能是互联网时代从互联网到移动互联网的发展的快速5年。当然，公司的业务也是突飞猛进。我们开始把这个高可用的数据库产品化。到2012年，TDSQL的雏形就已经出来了，作为一款内部产品，开始在公司内部提供金融级的数据强一致性、可靠性服务。 从2012年起，TDSQL已经在腾讯内部做得已经比较成熟，已经是一个知名的产品了，但是它一直没有对外做商业化。2014年恰逢一个很好的机会——微众银行的成立。微众银行做数据库选型的时候关注到了TDSQL，经过反复测试验证，发现当时的TDSQL已经完全具备了微众银行对数据可用性和一致性的要求。借此机会，TDSQL成功在微众银行投产，成为微众银行唯一的数据库，覆盖了银行的核心业务。 所以说2014年，TDSQL完成了商业化，也实现了私有化部署。2014年以后，TDSQL推广到了很多银行、金融机构，这过程中是借鉴了2014年TDSQL在微众银行成功实施的宝贵的经验。 因为在2014年微众银行的部署中，我们也踩了很多坑，也认识到在私有化部署环境的各种各样的挑战，并一一攻克了这些挑战。当2014年在私有化部署完成之后，再到2015年TDSQL上公有云，我们继续通过公有云服务打磨自己的产品。
Greenplum 数据仓库白皮书 一、G reenplum 公司简介 Greenplum公司是世界领先的数据仓库基础平台供应商。它的杰出创新数据仓库软件产品技术，引领着数据仓库领域和数据分析领域的发展方向。Greenplum 公司的产品有Greenplum Database，Greenplum Chrous—世界首创企业数据云平台(Enterprise Data Cloud platform)。它的这些产品和服务体现了云计算、虚拟化计算、数据间社会关系的技术，使得全球各类组织可以比从前更好地从数据里获取更深的和更有价值的知识。 每一天，全球有数亿级的用户在直接、间接用到Greenplum发明的数据仓库平台。 Greenplum 是2003年成立的，核心技术团队成员来自各个顶级数据库公司和大规模并行计算公司的资深软件架构师，例如：Oracle, Teradata, Tandem, Microsoft SQLServer, Informix, Netezza, Amazon, eBay, https://www.doczj.com/doc/1915293235.html,,Yahoo. Greenplum 创新研发的产品有： Greenplum Database Greenplum数据库软件是业内首创的大规模并行处理（massivelyparallel processing (MPP)）的数据库软件产品，它包含大规
模并行计算技术和数据库技术最新的研发成果：包括无共享/MPP，按列存储数据库，数据库内压缩，MapReduce，永不停机扩容，多级容错等等。 该软件产品被业界认可为扩展能力最大的分析型（OLAP）数据库软件。已有100多家世界级重大客户采用该软件，例如：NYSE,NASDAQ,AIG，德意志银行，美国联邦储备委员会，支付宝，淘宝，NTT-DoCoMo,T-Mobile,Skype，WalMart，中国电信等。 Greenplum Chorus 该产品是世界首创的企业数据云平台产品。它可以帮助客户构建数据仓库虚拟化计算环境，为各个不同的数据计算模型和任务创建自治的虚拟化数据仓库，把结构化，非结构化，数据量大小各异的各种数据都集中管理起来。同时，Greenplum数据库软件的并行化，为各个虚拟化数据仓库都提供了很高的处理速度，大大提高各个虚拟数据库上各个分析模型、任务的处理效率和分析质量。 Greenplum的产品线示意如下图：
1 概述 随着海量数据问题的出现，海量管理能力，多类型，变化快，高可用性，低成本，高端可扩展性等需求给企业数据战略带来了巨大的挑战。企业数据仓库、数据中心的技术选型变得尤其重要！所以在选型之前，有必要对目前市场上各种大数据量的解决方案进行分析。 2 主流分布式并行处理数据库产品介绍 2.1 Greenplum 2.1.1 基础架构 Greenplum是基于Hadoop的一款分布式数据库产品，在处理海量数据方面相比传统数据库有着较大的优势。 Greenplum整体架构如下图： SQL MapReduce 数据库由Master Severs和Segment Severs通过Interconnect互联组成。 Master主机负责：建立与客户端的连接和管理；SQL的解析并形成执行计划；执行计划向Segment的分发收集Segment的执行结果；Master不存储业务数据，只存储数据字典。 Segment主机负责：业务数据的存储和存取；用户查询SQL的执行。 2.1.2 主要特性 Greenplum整体有如下技术特点： ◆ Shared-nothing架构 海量数据库采用最易于扩展的Shared-nothing架构，每个节点都有自己的操作系统、数据库、硬件资源，节点之间通过网络来通信。 ◆ 基于gNet Software Interconnect 数据库的内部通信通过基于超级计算的“软件Switch”内部连接层，基于通用的gNet (GigE， 10GigE) NICs/switches在节点间传递消息和数据，采用高扩展协议，支持扩展到1000个以上节点。
◆ 并行加载技术 利用并行数据流引擎，数据加载完全并行，加载数据可达到4。5T/小时（理想配置）。并且可以直接通过SQL语句对外部表进行操作 ◆ 支持行、列压缩存储技术 海量数据库支持ZLIB和QUICKLZ方式的压缩，压缩比可到10：1。压缩数据不一定会带来性能的下降，压缩表通过利用空闲的CPU资源，而减少I/O资源占用。 海量数据库除支持主流的行存储模式外，还支持列存储模式。如果常用的查询只取表中少量字段，则列模式效率更高，如查询需要取表中的大量字段，行模式效率更高。 海量数据库的多种压缩存储技术在提高数据存储能力的同时，也可根据不同应用需求提高查询的效率 2.1.3 主要局限 ● 列存储模式的使用有限制，不支持delete/update操作。 ● 用户不可灵活控制事务的提交，用户提交的处理将被自动视作整体事 务，整体提交，整体回滚。 ● 数据库需要额外的空间清理维护（vacuum），给数据库维护带来额外的 工作量。 ● 用户不能灵活分配或控制服务器资源。 ● 对磁盘IO有比较高的要求。 ● 备份机制还不完善，没有增量备份。 2.2 Vertica 2.2.1 基础架构 与以往常见的行式关系型数据库不同，Vertica 是一种基于列存储（Column-Oriented）的数据库体系结构，这种存储机构更适合在数据仓库存储和商业智能方面发挥特长。 常见的RDBMS 都是面向行（Row-Oriented Database）存储的，在对某一列汇总计算的时候几乎不可避免的要进行额外的I/O 寻址扫描，而面向列存储的数据库能够连续进行I/O 操作，减少了I/O 开销，从而达到数量级上的性能提升。 同时，Vertica 支持海量并行存储（MPP）架构，实现了完全无共享，因此扩展容易，可以利用廉价的硬件来获取高的性能，具有很高的性价比。
GreenPlum集群环境搭建 1、简介 环境搭建准备：greenplum-4.3.8.2 1.1greenplum介绍 简单的说它就是一个与ORACLE, DB2一样面向对象的关系型数据库。我们通过标准的SQL可以对GP中的数据进行访问存取。 GREENPLUM与其它普通的关系型数据库的区别？ 本质上讲GREENPLUM是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同，这种数据库集群采取的是MPP架构。如下图所示 它的组件分成三个部分MASTER/SEGMENT以及MASTER与SEGMENT之间的高效互联技术GNET。其中MASTER和SEGMENT本身就是独立的数据库SERVER。不同之处在于，MASTER 只负责应用的连接，生成并拆分执行计划，把执行计划分配给SEGMENT节点，以及返回最终结果给应用，它只存储一些数据库的元数据，不负责运算，因此不会成为系统性能的瓶颈。这也是GREENPLUM与传统MPP架构数据库的一个重要区别。SEGMENT节点存储用户的业务数据，并根据得到执行计划，负责处理业务数据。也就是用户关系表的数据会打散分布到每个SEGMENGT节点。当进行数据访问时，首先所有SEGMENT并行处理与自己有关的数据，如果需要segment可以通过进行innterconnect进行彼此的数据交互。segment节点越多，数据就会打的越散，处理速度就越快。因此与SHARE ALL数据库集群不同，通过增加SEGMENT
节点服务器的数量，GREENPLUM的性能会成线性增长。 GREENPLUM适用场景？ GREENPLUM虽然是关系型数据库产品，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加，拥有非常良好的可扩展性。因此，它主要适用于面向分析的应用。比如构建企业级ODS/EDW，或者数据集市等等。 GREENPLUM运行的平台？ GREENPLUM运行在X86架构的硬件平台上，目前支持的操作系统包括32/64位的LINUX(REDHAT/SUSE)/SOLARIS/MAC OS GREENPLUM的前景？ GREENPLUM 诞生于2003年硅谷，2010/07 EMC收购了GREENPLUM，并把GREENPLUM 作为EMC面向分析云的战略核心产品，加以大力发展。该产品不仅在国际市场发展很快，在国内市场发展也很快。最著名的案例就是阿里巴巴集团，经过多种产品的精心选型，最终选择GREENPLUM作为它们的数据仓库平台存放数百TB的业务数据去高效支持各种分析应用。 如何学习GREENPLUM？ 正是由于产品发展速度很快，但是在相关人才上存在很大缺口。因此，我个人认为对于各位有兴趣的技术人员来说，是一个很好的职业发展机会。以个人经验来说，只要有其它关系型数据库的基础，尤其是POSTGRESQL或者INFORMIX基础的(因为GREENPLUM是在POSTGRESQL基础上开发出来的)，很容就可以上手学习并掌握GREENPLUM。 GREENPLUM的手册写的非常好，完全可以作为入门的教材使用。其软件本身也是软性LICENSE，用于学习研究完全免费，而且与生产环境并无不同，这与ORACLE完全一样。