万方数据
………………………‘Ｍ黔㈣∞蚓僻ＴＥＬＥ洲ｕ眦＾嗍
宽，对ＩＤＣ机房有访问有一定影响，但通过
ＤＮＳ
Ｃａｃｈｅ技术，减少爬虫对ＤＮＳ的访问频
率，可避免ＤＮＳ成为网络瓶颈，提高抓取速
度，如图２所示。
爬虫技术的主要特点为根据审计条件
抓取网页的相关内容，对于一些大网站及静
态网页为主的抓取内容，采取深度策略抓
取，便于在最短时间内获得最大量内容；对于一蝼动态网页或小网站．采取广度策略抓
圈１网站内容拨测系统框架
取，同时对多个网站进行抓取，减小对各个
拨测的网站应包括企业自有业务网站、合作业务网
小网站的压力，避免造成恶意攻击。缺点主要表现站、业务推广渠道网站和企业提供接入的网站（含下
为：（１）对于带账号密码才能访问的ＢＢＳ论坛现阶级接入服务商接人的网站）。政府监管部门和接入服
段的网络爬虫技术还不能实现内容抓取，目前只能
务商可根据管理需求和网站接人类型，采取不同的通过匿名访问方式获取数据；（２）根据网络覆盖率大
数据采集方法。下面主要针对目前比较常用的爬虫、
小，对搜索服务器的性能和数量都有比较高的要求；
软探针、旁路和网关过滤四种数据采集技术手段进
（３）占用ＩＤＣ机房带宽，对ＩＤＣ机房有访问有一定
行分析和比较。
影响；（４）通过网站页面中的超链接进行网络搜索，难以发现网络“孤岛”，如图３所示。
２．１爬虫技术
网络爬虫是一个自动提取网页的技术，从Ｉｎ—
ｔｅｒｎｅｔ网上下载网页，在应用爬虫技术进行网站内容拨测时，可通过对ＩＰ地址范围和访问深度的限定，使网络爬虫程序从一个或若干初始网页的ＵＲＬ开
始，获得初始网页上的ＵＲＬ，在抓取网页的过程中，
不断从当前页面上抽取新的ＵＲＬ放入队列，直到满足系统的停止条件。网络爬虫能够对于抓取回来的网页根据不同审计条件，能够抓取静态网页、动态网页等相关内容，能够进行图片，ＭＰ３、Ｆｌａｓｈ、视频等文件的抓取，并根据类型进行归类汇总，以网页快照的方式展示抓获内容，实现网站内容的自动识别、自动
分类、自动报警。
网络爬虫使用多线程技术，占用ＩＤＣ机房带
图２爬虫系统示意
图３孤岛的形成
２．２软探针方式
软探针技术主要是通过在各种Ｗｅｂ服务器上
做插件，接收和过滤用户的各种ｇｅｔ（浏览）和ｐｏｓｔ（发帖）请求，获取网页内容，并能够完成对ＢＢＳ、基于
Ｗｅｂ的聊天室、ｓＰ短信等交互发布信息的栏目进行
审计和过滤，并可以实现对上述信息的全量获取；同时可以对获取的信息根据需要进行分类和记录。软探针技术的实现方式如图４所示，其技术主要特点表现为：（１）对指定的敏感词进行过滤；（２）记录ＢＢＳ、论坛、自写短信等发布的信息；（３）能够对账
号、信息、ＩＰ地址进行跟踪追查。通过获取内容的整
２０１０年５月第５期
万方数据
ｆ技术广角……?…………………
●ｅｃｈｎｏ｜ｏｇｙ
ＩＦ’ａｎｏｒａｍａ
图４软探针实现方式示意
理和汇总，能够对站点发帖规律、站点信息被过滤情况、站点受欢迎程度等通过报表形式体现出来，以及对于同—个用户账号在一段时间内发布的帖子、发送的短信及这些信息的发送时间、发送ＩＰ地址等信息进行汇总，对于不同ＢＢＳ、论坛中的同名帖子进行汇总。
软探针技术的优点主要表现为：（１）通过Ｗｅｂ服务器插件方式能够接收和过滤用户的各种ｇｅｔ（浏览）和ｐｏｓｔ（发帖）请求；（２）对ＢＢＳ、基于ｗｅｂ的聊天室、ＳＰ短信等交互发布信息的栏目进行审计和过滤，可以实现对上述信息的百分之百的过滤控制；（３）便于部署适用于任何操作系统Ｕｎｉｘ／Ｌｉｎｕｘ／Ｗｉｎ—ｄｏｗｓ。其缺点主要表现为：一是Ｗｅｂ服务器插件方式进行部署，会对Ｗｅｂ主机的性能产生～定影响；二是Ｗｅｂ服务器版本多，升级快，稳定性性比较难保障。因此该技术一般只适用于经营虚拟主机业务的接人服务商使用。
２．３旁路技术
旁路技术是能够根据预先制定的策略收集网络链路流量数据。按实现方式可以端口镜像和分光两种，即使用时是通过交换机流量镜像端口还是分光分路设备对链路上所有的数据报文进行处理，提取流量监测所需的协议字段甚至全部报文内容。
端口镜像（ＰｏｒｔＭｏｎｉｔｏｒｉｎｇ）：通过在网络的核心层或汇聚层交换机上设置端口镜像，将交换机上联端口的出流量复制（镜像）一份到指定的前置机上，
即可采集到所有用户访问网络的请求。
目前，绝大部分中高端交换机均支持端
口镜像功能，如ＣｉｓｃｏＣａｔａｌｙｓｔ序列、３Ｃｏｍ
ＣｏｒｅＢｕｉｌｄｅｒ序列、华为的￥８０００序列、
Ｆｏｕｎｄｒｙ的ＢｉｇＩｒｏｎ４０００／８０００序列、Ｅｘ—
ｔｒｅｍｅ的ＢＤ６８００／ＡＰ３８００序列等。
分光器（ＯｐｔｉｃａｌＳｐｌｉｔｔｅｒ）：对于某些节点，宽带接入服务器通过光口ＧＥ链路
直接与核心路由器（一般为ＣｉｓｃｏＧＳＲ）
相连，宽带接入服务器及ＧＳＲ均不支持
端口镜像，这时采用分光器进行流量采
集是最合适的方法。另外，当某些节点的
核心交换机、汇聚层交换机没有足够的ＧＥ端口，不适合采用端口镜像进行流量采集时，希望在出口采集网络流量，就可以采用分光器方式进行流量采集。分光器是一种无源光器件，通过在物理层上进行光复制来进行用户访问请求数据的采集。
旁路技术可以实时对流量数据进行采集记录，经过汇聚和预处理将流量信息发送到后端数据库。通过分析软件可进行实时监视，图表显示分析统计结果或导出报表文件；通过设置流量探针的数据捕获功能还能够利用对网络流量进行实时采集或镜像，用于报文的协议分析。
旁路技术是为流量监测目的专门设计的技术方案，能够做到高速端ｒ丁的限速流量采集，提供对ＧＥ甚至２．５ＧＰＯＳ链路的支持。探针采用无源分光器或镜像方式接入网络，不影响原有设备的传输和性能。流量采集过程不需要现网设备的参与，路由器交换机可全力用于路由和转发。旁路技术不依赖于设备本身的流量统计功能，就能够精确记录所有报文的流量信息，还可根据用户要求定制灵活高效的数据采集策略，最终满足用户对流量监测的需求。
数据采集探针的安装很简单。可以用于高速（千兆）的网络而不影响网络性能；数据采集探针适合部署在汇聚层、骨干层或某些网间互连的重要或关键链路。如果价格合理也可以部署在接人层到汇聚层的边缘。由于探针必须放置在物理链路上，因此不同
类型的端口需要不同接口的探针，目前主要端口类万方数据
………………………Ｍ瓣㈣舢ＹｏＦＴＥＬ￡洲ｕ㈣
型有ＦＥ、ＧＥ、ＯＣ一３ＰＯＳ／ＡＴＭ、２．５ＧＰＯＳ等。
探针方法需要部署新的设备，并且一个探针可以同时监测一条或几条链路的流量信息。对于全网流量的监测需要采用分布式方案，在每条链路部署一个探针，再通过后台服务器和数据库，收集所有探针的数据，做全网的流量分析和长期报告。探针的最大特点是能够提供丰富的从物理层到应用层的详细信息。但是硬件探针的监测方式受限于探针的接口速率，一般只针对１０００兆以下的速率。而且探针方式重点是单条链路的流量分析，而基于网络设备的监控技术更偏重全网流量的分析，图５为通过旁路方式部署采集网络流量的示例。
旁路监听技术的主要特点为：（１）保证对ＩＤＣ机房内的设施没有任何影响；（２）不需要对机房的服务器进行任何改动工程实施非常简单；（３）能够对大型的ＩＤＣ机房进行有效的管理；（４）能够适应机房内的多种操作系统；（５）独特的过滤能力；（６）高效、安全的布控方式和手段。
２。４网关过滤技术
网关过滤技术是指通过独立过滤子系统或内嵌在网关设备内的过滤模块实现对网络内容的分析和过滤。通过网关过滤技术可实行流量管理、防ＤＤＯＳ攻击等其他网络管理功能。其技术特点主要表现为网络控管功能较强，能够对各种协议的访问行为采集，并能够对互联网基础协议的应用级内容进行简单的分析和控制。其缺点主要为，性能对高带宽支持有限，无法实现太多的内容分析功能和开发成本
函５旁路技术部署示意
呈里！Ｑ茎曼旦璺曼旦一万方数据
ｆ技术广角………??……?………?．＿ｅｃｈｔａｒｏ！ｏｇｙ
ｐｓ＝ｒｌｏｒａｍａ
较高，可扩展性较差。
２．５各种技术手段的比较
各种数据采集手段的比较如表１所示：
３网站内容拨测结果分析
３．１网站内容识别类型的要求
对采集到的网站内容，数据分析系统应能够实现对网址、文本内容、图片内容、音频内容和视频内容的自动或人工的识别和处理。具体处理要求如下：（１）网址分析功能应能分析网页中是否存在不良网站（如黑名单网站等）的网址链接。
１（２）文本内容分析功能应能对采集到的网页内容进行分析，发现其中的不良文字内容。文本内容分析功能应能对采集到的网页中的附件文本进行分析，发现其中的不良文字内容。至少可分析处理网页中链接的以下格式文件中的文本内容：，ｒ）（Ｔ、ＲＴＦ、ＤＯＣ、ＰＤＦ。附件文本的采集分析功能为可选功能。
（３）图片内容分析功能应能对采集到的网页图片进行识别分析，发现其中的不良图片内容。可分析处理的图片格式应至少包括：ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰ、’１１ｆ’ｆ’ｏ
（４）音频内容分析功能应能对采集到的网页音频进行识别分析，发现其中的不良音频内容。可分析处理的音频格式应至少包括：ＷＡＶ、ＰＣＭ、萋ＬＡＣ、ＭＰ３、ＷＭＡ、ＲＡ、ＡＡＣ。
（５）视频内容分析功能应能对采集到的网页视频进行识别分析，发现其中的不良音频内容。可分析处理的视频格式应至少包括：ＡＶＩ、ＭＰＥＧ、ＤｉｖＸ、ＭＯＶ、ＷＭＶ、ＲＭＶＢ、ＡＳＦ、ＦＬＶ、３ＧＰ。
３．２网站类型分类
对采集到的网站相关信息，可通过网站标题关键字匹配方式、网站备案信息比对和网站协议类型等对网站进行分类。通过对网站的分类，获得不同类别网站的数量和数量变化情况，以及网站的点击率、点击率排名，可对互联网行业的发展趋势进行动态分析和预测，为企业的精细化运营提供有力的支撑。
３．２．１关键字匹配
通过网页信息的数据采集，可获得网站的标题信息，通过关键字设定的方式，可将网站分为综合类，新闻类，小说类，旅游类，育儿类等。
３．２．２根据网站备案信息进行分类
表１数据采集技术比较
爬虫软探针旁路方式网关
实现方法网络爬虫是一个自动通过在各种Ｗｅｂ服务器上做通过分光或镜像方式在网关设备上实行对网
提取网页的程序，从插件，或网站页面嵌码，接收获得网络数据络内容的分析和过滤；
Ｉｎｔｅｒｎｅｔ网上下载网和过滤用户的各种ｇｅｔ（浏
页。览）和ｐｏｓｔ（发帖）请求；
能够对文字、图片、视可以实现交互信息的百分之能够实现对所有内容、无法实现太多的内容分网站类型：网站内容抓取频、音频等所有网站百的过滤控制协议的分析处理。析功能
内容进行抓取；匿名
访问方式获取数据
对协议的分析（如ＶＯＩＰ，ＷＡＰ等）不可以可以可以可以
对网络性能的影响占用ｔＤＣ机房带宽．会对Ｗｅｂ主机的性能产生一基本无影响性能对高带宽支持有限
对ＩＤＣ机房有一定影定影响
响
网站点击率的统计无法实现。在一个统计周期内，访问被在一个统计周期内，访在一个统计周期内。访问
统计对象的不重复访问者之问被统计对象的不重被统计对象的不重复的
和。复的源ＩＰ地址之和。源ＩＰ地址之和
万方数据
万方数据