Cacti流量监控系统搭建维护手册
中国联合网络通信有限公司广西壮族自治区分公司
2008年12月
安装篇 (3)
Cacti介绍 (3)
关于CactiEZ (3)
从CactiEZ安装Cacti流量监控系统 (3)
CactiEZ服务器的配置 (5)
网络配置 (5)
安装SSH服务 (6)
时区设置 (8)
设置NTP服务 (8)
Cacti流量监控系统的汉化 (11)
PHP页面的汉化 (11)
rrdtool的汉化 (12)
CactiEZ服务器的优化 (14)
关闭yum夜间自动更新功能 (14)
hosts.deny & hosts.allow (15)
关闭掉不使用的服务及定期作业 (16)
基础应用篇 (17)
添加需要监控的设备 (17)
创建需要监控的图表 (18)
图形树的创建 (19)
放置想要的图表 (21)
Cacti流量监控系统的用户管理 (22)
Cacti流量监控系统的相关设定 (23)
Settings (23)
Misc： (24)
高级应用篇 (25)
Threshold (25)
Monitor (26)
Weathermap (26)
Advanced Ping (34)
打造自己的模板 (36)
添加链路占用率 (36)
添加端口信息 (40)
CactiEZ默认登陆账号信息 (42)
登陆操作系统 (42)
首次登陆Cacti (42)
登陆webmin管理界面 (43)
配置NTOP (43)
配置nagios (43)
安装篇
Cacti介绍
Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。它通过snmpget来获取数据，使用RRDtool绘画图形。它提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看的树状结构、host以及任何一张图，同时也能自己增加模板，功能非常强大完善，界面友好。其官方网站：https://www.doczj.com/doc/a89946772.html,/
关于CactiEZ
CactiEZ是一个专门用作运行cacti的linux发行版，该版本由Jimmy Conner 制作发行，基于CentOS。安装后只会在系统中安装cacti和webmin所必须的软件，整个系统非常小（安装光盘只有310M），并且已经安装好了一些cacti的插件，如BackUp，Discovery，Flowview，Haloe，MacTrack，Monitor，NTop，RRDClean，Reports，Thold，Tools，Update等，其中有些需要用户自己启用才可使用。整个操作系统一旦安装完成，配置好IP后即可使用Cacti，为大家节省了安装配置时间，只不过需要占用一台服务器。
该发行版的主页地址为：https://www.doczj.com/doc/a89946772.html,/。
从CactiEZ安装Cacti流量监控系统
从https://www.doczj.com/doc/a89946772.html,/ 下载最新的CactiEZ稳定版ISO镜像文件（截至本文撰稿时是0.4版），刻录成启动光盘。然后设置服务器从光盘启动，放入刻录好的光盘，重启服务器即可。服务器会自动进入安装界面，然后回车，会自动完成Cacti的安装。
整个安装过程大概耗时20分钟左右。安装结束后，取出光盘，重启服务器。重起后进入登陆界面，默认系统root 用户的密码为：CactiEZ 。
CactiEZ服务器的配置
网络配置
默认情况下，CactiEZ是以DHCP自动获取IP地址的。如果您的机器需要配置静态IP 的话，使用以下命令：netconfig
回车，进入接口配置界面：
选择YES，回车：
根据提示，设置相应的IP和DNS，配置完成后，选择OK，回车。
接口配置修改后，必须重启相应的服务，修改的配置才会生效。
输入以下命令：service network restart
然后用ifconfig查看端口当前的配置，看是否修改成功。
安装SSH服务
使用命令yum install openssh-server安装SSH服务。根据提示，输入y，自动下载安装。
安装完毕后，我们就可以从远程登陆上去调测服务器了。(*^__^*) 嘻嘻……
首次登陆，使用root账户，密码是CactiEZ。
然后我们要做的两件事：一，增加非root账户；二，修改SSH配置文件，禁止root账户直接登陆，这样做是为了保证CactiEZ服务器的安全。
使用“useradd 账户名”，增加相应的账户。
使用“passwd 账户名”，为相应的账户设置密码。
接下来，修改SSH配置文件。
找到SSH配置文件所在，使用命令rpm –ql openssh-server
编辑sshd_config文件，使用命令vi /etc/ssh/sshd_config进入SSH配置文件的编辑模式。
在文件中找到PermitRootLogin这一行，将yes改为no,然后保存退出。
同理，要使配置生效，必须重启相应的服务。
这样一来，就只能以普通用户的身份登陆，需要时再切换至root用户。即使如此，设置密码时还是不要过于简单。
时区设置
首先，修改默认时区。Vi /etc/sysconfig/clock
将ZONE修改为“Asia/Shanghai”：
复制相应的时区文件，替换系统默认时区
对于中国服务器则执行：
# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
设置NTP服务
CactiEZ自带有NTP服务，但是默认情况下，并不向外部时钟源同步时间，而且配置文件过于简单，不利于控制。建议卸载重装。命令：yum remove ntp
卸载完成后，重新使用yum install ntp命令安装NTP服务。
用rpm –ql ntp 查看安装的文件，并从中找出配置文件所在，进行必要的修改。
这里只对常用的选项进行介绍，其余的可以在网上查找相关资料。
告诉服务器默认情况下，不提供NTP查询服务，不允许外部进行修改，不发送trap报文。这一项无需修改，按照默认的就好了。
配置你想提供时间同步服务的客户机所在的网络，nomodify不允许客户端修改服务器的配置，notrap不处理客户端发送的trap报文。
配置你的时间服务器的上层时钟源，一般可以从https://www.doczj.com/doc/a89946772.html,/上进行选取。
截图中给出了区公司网管中心NTP服务器的外部时钟源作为参考。
其余的选项都可以保持默认值。然后重启ntpd服务，使得配置文件生效。
查看对应的进程和端口是否启用，确保服务是正常的。
ps aux | grep ntp
ntp使用udp协议，记得开放其123端口。
由于CactiEZ默认安装有linux防火墙iptables，需要设置iptables，开放相关协议的端口。考虑到iptables的配置较为麻烦，如果不熟悉的话，可以先将相关规则清除掉，再通过其他机制增强CactiEZ服务器的安全性。
删除iptables规则，可用命令iptables –F。再用iptables –-list进行检查，确认。
查看端口情况，可以用命令：netstat -unl
查看NTP服务器的同步状态，使用ntpq -p 。
打*号的是当前提供时钟源服务的上层时间服务器。
了解服务器当前状态ntpstat
了解本地服务器和上层时间服务器之间的关系
从上图看出，我们的上层时间服务器位于第2层，但是在查询顶层服务器的时候出现了超时，有可能是该服务器做了限制查询的。
Cacti流量监控系统的汉化
这里所说的汉化并非完全意思上的中文化，我们所做的只是让Cacti尽可能多地支持中文的显示，方便我们查看相关的图标，但是整个Cacti的配置界面还是英文的。
PHP页面的汉化
CactiEZ到了0.4版，应该说已经做的比较好了。
默认情况下，直接输入中文，在大部分web页面都可以正常显示。但是，在测试中发现还是有一个位置不能正常显示中文，就是Data Source。（你目前看到的这个截图是已经汉化过的，所以可以正常显示中文。）
要汉化Data Source的页面，需要修改data_suorces.php.
具体命令如下：
Find / -name data_suorces.php //找到data_suorces.php所在路径
编辑data_suorces.php，删除了"htmlentities"函数即可。
修改前：
form_selectable_cell("" . (($_REQUEST["filter"] != "") ? eregi_replace("(" . preg_quote($_REQUEST["filter"]) . ")", "\\1", title_trim(htmlentities($data_source["name_cache"]),
read_config_option("max_title_data_source"))) :
title_trim(htmlentities($data_source["name_cache"]),
read_config_option("max_title_data_source"))) . "", $data_source["local_data_id"]);
修改后
form_selectable_cell("" . (($_REQUEST["filter"] != "") ? eregi_replace("(" .
preg_quote($_REQUEST["filter"]) . " )", "\\1", title_trim($data_source["name_cache"],
read_config_option("max_title_data_source"))) : title_trim($data_source["name_cache"],
read_config_option("max_title_data_source"))) . "", $data_source["local_data_id"]);至此，php页面的汉化基本完成。
在大多数情况下，这样程度的汉化能够满足我们的基本要求。
rrdtool的汉化
rrdtool的汉化是保证输出的图形可以正常显示中文。这需要重新编译rrdtool的源代码，并安装中文字体包。
a.安装编译器和中文字体包
因为现在Cacti还不支持中文(希望以后的版本默认就可以支持中文，这样就很省事情了，呵呵)，主要是rrdtool在绘图时不能正常现实中文字体，现在我们就要对rrdtool进行重新编译。
rrdtool支持中文需要修改源代码，重新编译。但是CactiEZ没有安装c编译器gcc、C++编译器gcc-c++和中文字体ttfonts-zh_CN，在编译之前，请用yum安装好这些包。
yum install gcc
yum install gcc-c++
yum install ttfonts-zh_CN （字体默认安装在/usr/share/fonts/）
b.下载和安装rrdtool依赖库
编译rrdtool需要先编译好依赖库freetype-2.1.10.tar.gz，libart_lgpl-2.3.17.tar.gz，libpng-1.2.10.tar.gz，然后修改rrdtool的源代码文件，再编译rrdtool。
整个过程如下：
cd ~
mkdir tmp
cd tmp
wget http://ftp.idilis.ro/mirrors/rrdtool/libs/freetype-2.1.10.tar.gz
wget http://ftp.idilis.ro/mirrors/rrdtool/libs/libart_lgpl-2.3.17.tar.gz
wget http://ftp.idilis.ro/mirrors/rrdtool/libs/libpng-1.2.10.tar.gz
注，实际编译安装时建议下载较新的源代码包。如果想稳妥一点，直接按本文说明安装即可tar -zxvf freetype-2.1.10.tar.gz
tar -zxvf libart_lgpl-2.3.17.tar.gz
tar -zxvf libpng-1.2.10.tar.gz
cd freetype-2.1.10
./configure --prefix=/usr ; make ; make install
cd ../libart_lgpl-2.3.17
./configure --prefix=/usr ; make ; make install
cd ../libpng-1.2.10
./configure --prefix=/usr ; make ; make install
cd ../
c. 下载rrdtool和修改源文件
wget http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.2.26.tar.gz
tar -zxvf rrdtool-1.2.26.tar.gz
cd rrdtool-1.2.26/src/
现在修改rrdtool的源文件，需要修改的文件是rrd_graph.c
修改rrd_graph.c：
vi rrd_graph.c
删除rrd_graph.c文件中以下两行：
setlocale(LC_TIME,"");
setlocale(LC_CTYPE,"");
在原来setlocale(LC_CTYPE,"")的位置增加以下内容：
setlocale(LC_ALL,"zh_CN.UTF-8");
现在修改完毕，可以开始编译了
d.编译新的rrdtool
编译前运行
yum install ruby //安装ruby的语言支持环境，编译rrdtool时需要；不安装，
编译也可以通过，最好是安装进去cd ../
./configure --prefix=/usr --exec-prefix=/usr/rrdtool1.2.26
make
make install
新版本rrdtool的可执行文件安装在/usr/rrdtool1.2.26/bin中，系统原有的在/usr/bin 中。需要修改cacti的设置，用新编译好的rrdtool版本替换原有版本。
e. 修改Cacti的rrdtool设置，使其支持中文设备名和图片中输出中文
登陆Cacti，在主页的左边点击setting，选择paths页 (console>>setting>>paths)
将RRDTool Binary Path修改为：/usr/rrdtool1.2.26/bin/rrdtool
还需要修改rrdtool的字体设置:
登陆Cacti，在主页的左边点击setting，选择paths页 (console>>setting>>paths)
将RRDTool Default Font Path修改为：/usr/share/fonts/zh_CN/TrueType/gkai00mp.ttf 点击save。
网管中心下载的是1.2.27版本的rrdtool源代码编译安装的，使用的字体是zysong.ttf。到这里，Cacti服务器的安装和汉化基本完成。
CactiEZ服务器的优化
关闭yum夜间自动更新功能
任何使用yum命令的操作完成之后，必须手工将其服务关闭。
默认情况下，CactiEZ服务器会在夜间实行自动更新功能。这对服务器的稳定性不利。尤其是，如果服务器自动升级了操作系统内核，很可能造成Cacti流量监控系统罢工。对于自动安装的系统，不清楚底层相关配置的话，自动升级引起的问题很可能让你束手无策。
所以，为了服务器的稳定性，强烈建议关闭yum自动更新功能。
注：即使使用手工的方式升级操作系统套件，但是坚决不能升级内核相关的东西。除非你很有信心可以自己搞定。
使用命令：service yum stop
并建议同时关闭yum的自启动项目，命令：chkconfig yum off
查看CactiEZ的自启动项目：chkconfig --list
这里，yum在所有的启动级别都是off，说明已经关闭yum的自启动项目，yum不会随服务器重启而自动开启。
hosts.deny & hosts.allow
如果你对iptables很熟悉并乐于用iptables来增强服务器的安全性的话，大可跳过本节。如果你觉得iptables比较麻烦，又不想自己的服务器完全裸露在网络中，可以尝试本节介绍的方法。但是这种方法提供的功能有限，不能完全取代iptables。
/etc/hosts.allow和/etc/hosts.deny两个文件是用来控制远程访问的，通过它可以允许或者拒绝某个ip或者ip段的客户访问linux的某项服务。
/etc/hosts.allow控制可以访问本机的IP地址，/etc/hosts.deny控制禁止访问本机的IP。两个文件的检查顺序如下：
先判断访问是否被允许 hosts.allow
->
允许就通过
不允许看访问是否被禁止 hosts.deny
->
如果2个文件都没提到该服务那就默认允许
两个配置文件的格式如下：
#服务进程名:主机列表:当规则匹配时可选的命令操作
server_name:hosts-list[:command]
例如，限制所有的ssh，除非从218.64.87.0——127上来：
hosts.allow:
in.sshd:218.64.87.0/255.255.255.128
hosts.deny:
in.sshd:ALL
其中IP地址范围的写法有若干中，主要的三种是：
1.网络地址——子网掩码方式：
218.64.87.0/255.255.255.0
2.省略的网络地址方式
218.64.（即以218.64打头的IP地址）
3.缩略子网掩码方式，既数一数二进制子网掩码前面有多少个“1”比如：
218.64.87.0/255.255.255.0《====》218.64.87.0/24
这里给出网管中心Cacti服务器的配置，供大家参考。
关闭掉不使用的服务及定期作业
CactiEZ默认安装了其他一些服务，有兴趣的同事可以自行研究。
如果只是用CactiEZ监控流量的话，以下服务均可关闭。
命令：service 服务名 stop
chkconfig 服务名 off
相关的服务有：
iptables 如果不用，可以有hosts.allow和hosts.deny替代
webmin linux图形化配置界面，感兴趣的同事可以看看，不过不怎么好用，建议关闭nagios 另一个服务监控系统（适用主机的），默认关闭，要启用必须手工打开
ntop 流量分析软件，默认关闭，要启用必须手工打开
注释掉定期作业中不需要的，默认的安装如下：
我们只保留定期查询流量的作业和备份的作业。将其余2个netflow相关的作业OVER掉。至此，终于可以进入Cacti流量监控系统的基础应用部分了。真累人呀~555
基础应用篇
添加需要监控的设备
要监控链路的流量，首先要将链路所属的设备添加进去。
创建设备：双击在左上角“console”在打开的页面中选择“Create devices for network”
在打开的页面的右上角中单击“ADD”添加设备，并在打开的页面中填写相关的信息：填好后再右下角点击“create”创建该设备监控。
（1）Description：该设备的描述。
（2）hostname：填写该设备的IP地址。
（3）Host Template：选Generic SNMP-enable Host
（4）Monitor Host：打上勾，就会在minitor插件中出现一个主机的图标。Cacti服务器就会在后台不停的ping这个主机，ip就是你先前填写在hostname中的那个。
（5）Downed Device Detection：检测设备down机的方式，如果是通过SNMP采集流量，一般选择ping和SNMP。如果单纯只是镜像某条链路或者主机，选择ping即可。
其他的默认就Ok。
（6）SNMP版本和团体字符视具体情况而定。其余默认OK。
注意，如果是要采集设备的流量，在最下面的Associated Data Queries应该有SNMP-Interface Statistics这个数据查询模板才对。
点击右边的Verbose Query，可以看到SNMP查询结果。在后面打造自己的图形模板时有些变量可能会用到。然后单击Save进行保存。
如果Cacti服务器可以找到相应的设备，那么在Devices界面，相应的设备状态应该是up 的。
创建需要监控的图表
点击相应的设备进入，点击右上角的“*Create Graphs for this Host”为主机创建图像。
在弹出的页面中选择需要监控的端口，在右下角下拉式菜单中选择“In/Out Bit(64-bit counters)”这样可以监控大于100M的流量。然后点击Create创建图表。
创建的图表，默认你是不能直接看到的，必须把它挂到图形树上。Graphs插件看到的是图形树上的东西，想看什么图表，就把什么图表挂上去。
图形树的创建
首先，我们来创建一棵树。在左边的菜单中单击“Graph Trees”，在打开的页面中点击
右上角“ADD”创建一棵树。
然后弹出一个菜单，给这棵树取名，例如“南宁城域网”。
下一项默认即可。点击Create，这棵树就生成了。
退回到图形树的界面，我们就看到这棵树。
在这里，我们看到很多树。其中，除了我们之前创建的“南宁城域网”这棵树，还有“Cacti 服务器”这棵树，还有“玉林城域网”，“钦州城域网”，“贵港城域网”等。
有了树，我们就可以创建树枝，这样做是为了图形查看方便的需要。
我们可以创建一个树枝叫“核心层”，创建一个树枝叫“汇聚层”，把核心层上联链路的图表挂在核心层的树枝上，把汇聚层上联链路的图表挂在汇聚层的树枝上。如果有特别关注的系统或者大客户电路，可以单独为其建立一棵树，如上图的“电信第二出口”，专门监控各地市的第二出口的电路。记住，树是把图表分类，树枝只是将图表分层显示而已。
树枝的创建也很简单，在上图的图形树中，任意选择一棵树单击进去。如玉林城域网
在右上角有个“Add”，单击它即可创建想要的树枝。
（1）Parent Item：这个选项是说树枝挂在哪里。默认就是root，树根。很形象，就是从树根长出树枝来，但是树枝的创建是没有限制的。有时为了细分图形，创建了一级的树枝，还需要再创建二级，三级的树枝。这个时候，就是通过这个选项告诉服务器，我要创建哪一级的树枝，并且挂在谁的下面。挂在root下肯定就是第一级的树枝，挂在第一级树枝下的就是第二级的了，以此类推。
（2）Tree Item Type
当创建树枝的时候选Header。（一般都选Header）
当想在这里直接添加图表或者主机时，选择Graph或Host。（不建议这样做，当图表很多的时候）
HAProxy的安装和部署 考虑公司当前服务器的并发量，最终还是选定了HAProxy来实现负载均衡，相较于其他的负载均衡系统，HAProxy的配置和使用还是比较简单的。 下面是自己安装和部署haproxy的记录，比较重要的一点是解决了haproxy + syslog-ng的日志输出问题。 PS: 这个问题费了我好大神:-| PLATFORM: SUSE Linux Enterprise Server 11 (x86_64) 1. haproxy的编译安装 获取haproxy的源代码 官方地址：http://haproxy.1wt.eu/ 目前最新的版本：http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz 命令：
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz 考虑到版本的更新，具体的安装属性可能会稍有改变，建议在安装前可以大致浏览下haproxy目录下的README和Makefile两个文件。 编译haproxy 进入解压后的haproxy的目录，用下列命令进行编译： make TARGET=os ARCH=arch CPU=cpu USE_xxx=1 ... 这里着重说明几个常用的选项。 TARGET 指定对目标操作系统在编译的时候进行优化，可选择如下值之一： Generic, linux22, linux24, linux24e, linux26, solaris, freebsd, openbsd, Cygwin, custom。 如果不确定目标系统，可以保留默认值generic。 CPU 指定对特定的CPU进行优化，可选择如下值之一：generic, i586, i686, ultrasparc, custom。默认值为generic。 ARCH 指定ARCH值可强制编译生成针对一个特定系统架构的程序。通常用于在一个系统架构的平台上生成针对另一个不同架构平台的程序，比如在一个64位架构的目标系统上编译生成一个32位的程序。 当前可选的值有：x86_64, i386, i486, i586, i686。 注：若选择上述其中的一个值，”-m32”或”-m64”会被添加到CFLAGS和LDFLAGS选 项中。
Kettle开发使用手册2017年4月
版本历史说明
1.Kettle介绍 1.1.什么是Kettle Kettle是纯Java编写的、免费开源的ETL工具，主要用于抽取(Extraction)、转换(Transformation)、和装载（Loading）数据。Kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例如Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。1.2.Kettle的安装 Kettle工具是不需要安装的，直接网上下载解压就可以运行了。不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。 运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示： 图1.1
2.Kettle脚本开发 2.1.建立资源库（repository仓库） Repository仓库是用来存储所有kettle文件的文件系统，由于数据交换平台服务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle开发环境也是要用到该资源库。建立资源库的方式是工具 --> 资源库- -> 连接资源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettle file repository选项，按确定，如图2.1所示： 图2.1 跟着在右上角选择一个目录，建议在kettle路径下新建repository文件夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示： 图2.2 建完后会kettle工具会自动连接到repository资源库，每次打开kettle 也会弹出一个窗口让你先连接到资源库。在连接到资源库的情况下打开文件就是资源库所在目录了，如图2.3所示。注意你在资源库建的目录结构要跟数据交换平台的目录结构一致，这样写好kettle脚本，保存后放的路径能跟交换平台的目录结构一致了。
nginx和haproxy一样也可以做前端请求分发实现负载均衡效果，比如一个tomcat服务如果并发过高会导致处理很慢，新来的请求就会排队，到一定程度时请求就可能会返回错误或者拒绝服务，所以通过负载均衡使用多个后端服务器处理请求，是比较有效的提升性能的方法；另外当单机性能优化到一定瓶颈之后，一般也会用负载均衡做集群，配置也很简单，下面是配置过程： 首先需要安装nginx服务器，我这里已经安装好了，比如这里有三个tomcat 服务器，地址如下： 192.168.1.23 8080 192.168.1.24 8080 192.168.1.25 8080 其中nginx安装在192.168.1.23上面，如果只有一个服务器测试，也可以在一个服务器上运行多个tomcat开多个端口来实现，这样也能提升性能首先看nginx配置，在nginx.conf中http {}块内并且server {}块之外添加如下配置： upstream my_service { server 127.0.0.1:8080 weight=2; server 192.168.1.24:8080 weight=1; server 192.168.1.25:8080 weight=1; } 上面的my_service是集群的名字，可以自己命名，server指定后端服务列表，weight是设置权重，权重越大，请求被分发过来的可能性就越大，这里本机权重设置了2，也就是说对到达的请求分配到本地上的会多一些配置这个之后，需要在server {}中添加location配置拦截请求并转发给后端的集群，最简单的配置如下： location / {
Kettle用户操作手册 1.kettle介绍 1.1 什么是kettle Kettle是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据；它的名字起源正如该项目的主程序员MATT所说：希望把各种数据放到一个壶里然后以一种指定的格式流出。 Spoon是一个图形用户界面，它允许你运行转换或者任务。 1.2 Kettle 的安装 要运行此工具你必须安装 Sun 公司的JAVA 运行环境1.4 或者更高版本，相关资源你可以到网络上搜索JDK 进行下载，Kettle 的下载可以到https://www.doczj.com/doc/a89946772.html,/取得最新版本。 1.3运行SPOON 下面是在不同的平台上运行Spoon 所支持的脚本： Spoon.bat: 在windows 平台运行Spoon。 Spoon.sh: 在Linux、Apple OSX、Solaris 平台运行Spoon。1.4 资源库 一个Kettle资源库可以包含那些转换信息，这意味着为了从数据库资源中加载一个转换就必须连接相应的资源库。在启动SPOON的时候，可以在资源库中定义一个数据库连接，利用启动spoon时弹出的资源库对话框来定义，如图所示：单击加号便可新增；
关于资源库的信息存储在文件“reposityries.xml”中，它位于你的缺省home 目录的隐藏目录“.kettle”中。如果是windows 系统，这个路径就是c:\Documents andSettings\
PXC5.6实验集群的安装与设置
目录 1.目的： (4) 2.集群构成： (5) 2.1.集群构成图： (5) 2.2.集群构成明细： (5) 3.安装设置操作步骤： (6) 3.1.安装Percona Yum Repository： (6) 3.2.安装EPEL源： (7) 3.3.安装PXC (7) 3.4.创建及设置数据目录 (8) 3.5.开通PXC相关IP端口 (9) 3.6.关闭SELinux (10) 3.7.设置https://www.doczj.com/doc/a89946772.html,f启动项文件 (10) 3.8.启动集群 (12) 4.通过HAProxy实现PXC集群负载均衡： (14) 4.1.安装HAProxy (14) 4.2.设置HAProxy (14) 4.3.启动HAProxy (16) 4.4.增加集群状态检查进程用Mysql用户权限 (16) 4.5.为集群每一个节点服务器安装xinetd (17) 4.6.配置xinetd (17) 4.7.通过HAProxy查看数据库集群状态： (18)
5.用Keepalived解决HAProxy单点故障： (20) 5.1.安装配置备份代理服务器 (20) 5.2.安装Keepalived (21) 5.3.在主HAProxy代理服务器中设置Keepalived (21) 5.4.在备份HAProxy代理服务器中设置Keepalived (23) 5.5.验证虚拟IP的漂移 (24) 6.问题排查及解决： (25) 6.1.ERROR 1047 (08S01): WSREP has not yet prepared node for application use (25)
Kettle操作文档 1.Kettle介绍。 (2) 2. Kettle下载。 (2) 3.使用规范和注意事项。 (3) 3.1.配置数据库的全局变量。 (3) 3.2.文件命名规范（不要用汉字）。 (3) 3.3.文件存放位置。 (3) 3.4.配置启动任务文件。 (3) 3.5.注意事项。 (4) 4. Kettle部署使用。 (4) 4.1.启动kettle。 (4) 4.2.创建转换文件。 (5) 4.2.1.使用标识字段实现新增数据。 (5) 4.2.2.使用时间戳实现新增或修改数据。 (11) 4.2.3.使用时间比较实现新增或修改数据。 (14) 4.2.4.使用对某一数据值比较实现新增或修改数据。 (17) 4.3.创建任务文件。 (19) 4.4.命令行启动任务。 (20)
1.Kettle介绍。 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于政府部门来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定,提供了图形化界面，使用很方便。Kettle中有两种脚本文件，transformation和job，transformation 完成针对数据的基础转换，job则完成整个工作流的控制。 2.Kettle下载。 Kettle可以在http://2.2.2.240/bbs/网站下载kettle压缩包，因kettle为绿色软件，解压即可使用。这个压缩包，公司加了一些功能，跟官网下载的不太一样，建议使用公司论坛上的压缩包。 资料网站：https://www.doczj.com/doc/a89946772.html,/。 注：解压路径尽量不要有中文。 .kettle:存放kettle的一些环境变量信息，资源库的信息。 jre6:存放java运行库文件（1.6版本）。 launcher：存放启动的文件以及启动的配置信息。 lib：存放kettle的库文件。 libext:存放用到的外部库文件。 libswt:存放用到的界面库文件。 plugins:存放插件文件。 resources:存放编写的转换和任务文件，以及日志和任务 配置信息。 ui：存放用到的的图片和配置信息。 Kitchen.bat:任务文件执行器（命令行模式）。 Pan.bat:转换文件执行器（命令行模式）。 set-pentaho-env.bat:设置kettle运行的环境变量。 Spoon.bat:打开设计工具（界面方式）。 Spoon.ico,spoon.png:工具的图标。 start.bat:启动存放在resources目录下的任务配置文件。 说明.txt:使用的规范和注意事项。
使用rchs集群套件基于conga界面配置apache高可用集群 电源设备采用“virtual machine fencing” Conga是一个基于web界面的c/s架构的配置集群的工具 c 集群节点作为被服务管理集群配置的客户端节点 s 专门用于管理集群、配置集群的一个服务端节点 在S服务端上安装luci的服务端软件，打开该软件提供的一个web界面，进行集群的配置（配置的步骤跟使用rhel5上的system-config-cluster雷同），唯一的区别是，服务端（本机）本身并不参与集群，并不属于集群中的成员。 在c客户端上安装ricci服务，该服务会与服务端的luci建立连接，接受服务端的集群管理操作。客户端才是集群中的成员。 准备： FQDN、静态IP 、hosts文件 clients | |----------------| node1 node2 https://www.doczj.com/doc/a89946772.html, 192.168.29.11 https://www.doczj.com/doc/a89946772.html, 192.168.29.12 资源： vip 192.168.29.10 httpd OS ：rhel6 准备： 静态IP、FQDN、hosts 暂时关闭iptables ,selinux
[Base] name=Base baseurl=file:///soft/el63 enabled=1 gpgcheck=0 [HighAvailability] name=LoadBalancer baseurl=file:///soft/el63/HighAvailability enabled=1 gpgcheck=0 [ResilientStorage] name=ResilientStorage baseurl=file:///soft/el63/ResilientStorage enabled=1 gpgcheck=0 [ScalableFileSystem] name=ScalableFileSystem baseurl=file:///soft/el63/ScalableFileSystem enabled=1 gpgcheck=0 一、在宿主机上模拟fence设备 # yum install fence-virt.x86_64 fence-virtd.x86_64 fence-virtd-libvirt.x86_64 fence-virtd-multicast.x86_64 -y fence-virt 实际用于fence设备工具：实际用于关机、重启、启动客户机的工具 fence-virtd 模拟fence设备的服务：负责接受集群中的节点（客户机）fence指令 fence-virtd-libvirt.x86_64 <----操作虚拟化的接口库 fence-virtd-multicast.x86_64 组播的方式在宿主机（fence-virtd服务）和客户机（集群节点）之间传达电源指令《---以模块的形式存在 软件安装完毕后，存在一个配置文件/etc/fence_virt.conf 向导配置 # fence_virtd -c
Kettle培训手册 Etl介绍 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 kettle部署运行 将kettle2.5.1文件夹拷贝到本地路径，例如D盘根目录。 双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面：
稍等几秒 选择没有资源库，打开kettle主界面
创建transformation，job 点击页面左上角的解并到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation 文件保存后后缀名为ktr 点击页面左上角的解并到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb 创建数据库连接
在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行数据库连接配置。 Connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置：
HAProxy安装及配置详解与算法 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy 运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整 合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。 其支持从4层至7层的网络交换，即覆盖所有的TCP协议。就是说，Haproxy甚至还支持Mysql的 均衡负载。如果说在功能上，能以proxy反向代理方式实现WEB均衡负载，这样的产品有很多。包括Nginx，ApacheProxy，lighttpd，Cheroke等。 但要明确一点的，Haproxy并不是Http服务器。以上提到所有带反向代理均衡负载的产品，都 清一色是WEB服务器。简单说，就是他们能自个儿提供静态(html,jpg,gif..)或动态(php,cgi..) 文件的传输以及处理。而Haproxy仅仅，而且专门是一款的用于均衡负载的应用代理。其自身并不能提 供http服务。
但其配置简单，拥有非常不错的服务器健康检查功能还有专门的系统状态监控页面，当其代理的后端服务器出现故障,HAProxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。自1.3版本开始还引入了frontend,backend,frontend根据任意HTTP请求头内容做规则匹配，然后把请求定向到相关的backend。 1.安装 官方版本获取地址：http://haproxy.1wt.eu/，不过官方页面已经打不开了，请自行搜索！ 上面中的26是linux系统内核，通过命令#uname-a可查看，我使用的是CentOS #tar xzvf haproxy-1.4.24.tar.gz #cd haproxy-1.4.24 #make TARGET=linux26PREFIX=/usr/local/haproxy #make install PREFIX=/usr/local/haproxyb 2.配置 安装完毕后，进入安装目录配置文件，默认情况下目录里是没有.cfg配置文件的，可以回到安装文件目录下将examples下的haproxy.cfg拷贝到usr/local/haproxy下。 #cd/usr/local/haproxy #vi haproxy.cfg 默认文件内容如下：(注意！！标示开始的为默认的配置文件没有的)
技术资料，【Kette3.0 用户手册】
Kettle 3.0 用户手册
目录
Kettle 3.0 用户手册......................................................................................................................1
Kettle 3.0 用户手册......................................................................................................................6
1. Kettle 介绍................................................................................................................................6
1.1
什么是 kettle.............................................................................................................6
1.2
Kettle 的安装............................................................................................................6
1.3
运行 Spoon ...............................................................................................................6
1.4
资源库 ....................................................................................................................... 6
1.5
资源库自动登录 ....................................................................................................... 7
1.6
定义 ........................................................................................................................... 8
1.6.1 转换...................................................................................................................8
1.6.2 任务...................................................................................................................8
1.7
选项 ........................................................................................................................... 9
1.7.1 General 标签 ...................................................................................................10
1.7.2 Look Feel 标签 ...............................................................................................11
1.8
搜索元数据 ............................................................................................................. 12
1.9
设置环境变量 ......................................................................................................... 13
2. 创建一个转换或任务.............................................................................................................13
3. 数据库连接(Database Connections) ......................................................................................14
3.1
描述 ......................................................................................................................... 14
3.2
设置窗口 ................................................................................................................. 14
3.3
选项 ......................................................................................................................... 14
3.4
数据库用法 ............................................................................................................. 15
4. SQL 编辑器(SQL Editor) .......................................................................................................16
4.1
描述 ......................................................................................................................... 16
4.2
屏幕截图 ................................................................................................................. 16
4.3
局限性 ..................................................................................................................... 16
5. 数据库浏览器(Database Explorer) ........................................................................................17
5.1
屏幕截图 ................................................................................................................. 17
5.2
描述 ......................................................................................................................... 17
6. 节点连接（Hops） ................................................................................................................18
6.1
描述 ......................................................................................................................... 18
6.2
转换连接 ................................................................................................................. 18
6.3
任务连接 ................................................................................................................. 18
6.4
屏幕截图 ................................................................................................................. 18
6.5
创建一个连接 ......................................................................................................... 19
6.6
拆分一个连接 ......................................................................................................... 19
6.7
转换连接颜色 ......................................................................................................... 19
7. 变量（Variables）..................................................................................................................20
?深圳市神盾信息技术有限公司，2008
第 1 页/共 202 页
个人简历 基本信息 姓名：现居地址：武汉 性别：男联系电话： 学历：大专电子邮件： 求职意向 到岗时间：随时到岗 工作性质：全职 目标职能：Linux运维工程师、系统管理员、Linux系统技术支持 求职状态：目前正在找工作 专业技能 1.熟悉主流Linux操作系统，例如redhat(centos)等，熟练使用Linux命令，能排除日常的错误等。 2.熟悉Linux shell环境，熟练使用shell脚本编程，并熟悉运用grep、awk、sed等脚本辅助工具。 3.熟练配置Linux系统的常见服务DHCP、DNS、SAMBA、VSFTP、Mail、Rsync、Squid、Ldap等。 4.熟悉WEB服务器系统的配置和软件服务器搭建如Apache/Nginx、Tomcat。 5.熟悉MySQL的基本SQL语句，并掌握MySQL的备份与还原，主从复制，读写分离，能使用脚本安装MySQL，Oracle。 6.熟悉cacti,nagios,zabbix等开源监控软件的安装，塔建与使用。 7.熟悉自动化Linux管理工具puppet，批量装机工具如kickstart,cobbler。 8.熟悉LVS+Keepalived、HAProxy、Heartbeat负载均衡，高可用的原理以及安装部署。 9.熟悉TCP/IP协议，熟悉Iptables基本配置和管理。 10.熟悉虚拟化VMware搭建及管理，了解KVM,XEN虚拟化技术和云计算平台。 11.有良好的英语阅读能力，能读阅读相关英语技术文档。 工作经历 时间/公司2015.6-2016.3 XXXX科技有限公司 岗位：Linux运维工程师 。 1负责网站平台的更新升级和对用户使用的问题进行解决，协助分析系统bug 跟踪处理进度，负责服务器日常维护，负责搭建及维护监控平台，编写并及时更新工作手册； ??2. 登录服务器检查数据库mysql运行情况;? ?3. 每日检查mysql备份及Linux系统资源运行状况； 4. 负责系统平台上线及更新并进行系统新功能的测试，并编写测试报告运维报告相关文档；? ?5. 编写常用脚本提高运维的准确和效率率，如mysql备份脚本； 6定期对机房主机设备进行健康检查8. 搭建监控平台nagios，并且负责后期的维护开发；? 7. 定期统计相关数据，比如系统访问量、访问人数； 项目经验
Haproxy使用tproxy实现透明代理 实验环境 Server1为代理服务器，有两个网卡 eth0:192.168.1.55用于对外服务 eth1:10.0.0.1gw10.0.0.254用于内网通讯 Server2为应用服务器，一块网卡 eth0:10.0.0.2gw10.0.0.1 service的网关一定要配成service的内网IP 准备工作 1.检查系统内科是否已支持tproxy 2.安装haproxy 编译参数 make TARGET=linux26USE_LINUX_TPROXY=1 make install PREFIX=/usr/local/haproyx 安装完成后，检查haproxy是否支持tproxy Haproxy.cfg global daemon stats socket/var/run/haproxy.stat mode600 log127.0.0.1local4 maxconn40000 ulimit-n80013 pidfile/var/run/haproxy.pid defaults log global mode http contimeout4000 clitimeout42000 srvtimeout43000 balance roundrobin listen VIP-222 bind192.168.1.222:80 mode http option forwardfor source0.0.0.0usesrc clientip cookie SERVERID insert nocache indirect server server110.0.0.2:80weight1cookie server1check
Kette 1 (2) 1.1 (2) 1.2 (3) 2 (3) 2.1 (3) 2.2) (4) 3 (5) 3. 1"Merge" (5) 3.2Sorted Merge (5) 3.3 (7) 3.4) (9) 4 (10) 4.1)split field to rows (10) 4.2) (11) 4.3 (12) 4.4 (12) 4.5 (13) 4.6) (14) 4.7 (14) 4.8 (15) 4.9) (16) 4.10) (17) 4.11)number range (18) 5flow (20) 5.1)switch/case (20)
5.2) (21) 6statistics (22) 6.1) (22) 7Uitlity (23) 7.1)If field value is null (23) 7.2)Null if... .. (25) 8 (26) 8.1)Check if a column exists (26) 8.2File exists (27) 8.3)Table exists (28) 8.4 (29) 8.5 (31) 8.6 (32) 9 (34) 9.1) Modified Java Script Value (34) 9.2)SQL (35) 9.3)Regex Evaluation (36) 1 11
"""1" """" "" 1.2 "" "sql" 2 2.1 "" """"
"""" 2.2) ""kettle "" "" "" "Specify datebase fileds" "Datebase fileds""enter filed mapping" add
HAProxy用法详解 一，HAProxy简介 （1）HAProxy是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP （第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。 （2）HAProxy实现了一种事件驱动、单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户端(User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个CPU时间片(Cycle)做更多的工作。 （3）HAProxy 支持连接拒绝: 因为维护一个连接的打开的开销是很低的，有时我们很需要限制攻击蠕虫（attack bots），也就是说限制它们的连接打开从而限制它们的危害。这个已经为一个陷于小型DDoS攻击的网站开发了而且已经拯救 了很多站点，这个优点也是其它负载均衡器没有的。 （4）HAProxy 支持全透明代理（已具备硬件防火墙的典型特点）: 可以用客户端IP地址或者任何其他地址来连接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补丁后才可以使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。 性能： HAProxy借助于OS上几种常见的技术来实现性能的最大化。 1，单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。 2，O(1)事件检查器(event checker)允许其在高并发连接中对任何连接的任何事件实现即时探测。 3，在任何可用的情况下，单缓冲(single buffering)机制能以不复制任何数据的方式完成读写操作，这会节约大量的CPU时钟周期及内存带宽；
Kettle 培训手册 一、Etl 介绍 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT 来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。 Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针 对数据的基础转换，job则完成整个工作流的控制。 二、kettle 部署运行 将kettle2.5.1文件夹拷贝到本地路径，例如D 盘根目录。 双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面： 稍等几秒
选择没有资源库，打开kettle主界面 创建transformation，job
点击页面左上角的创建一个新的transformation，点击保存到本地路 径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation 文件保存后后缀名为ktr 点击页面左上角的创建一个新的job，点击保存到本地路径，例如保 存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjb 创建数据库连接 在transformation页面下，点击左边的【Main Tree】，双击【DB连接】，进行 数据库连接配置。 connection name自命名连接名称 Connection type选择需要连接的数据库 Method of access选择连接类型 Server host name写入数据库服务器的ip地址 Database name写入数据库名 Port number写入端口号 Username写入用户名 Password写入密码 例如如下配置：