当今搜索引擎技术及发展趋势
随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就象大海捞针一样，搜索引擎技术恰好解决了这一难题（它可以为用户提供信息检索服务）。目前，搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。
搜索引擎（Search Engine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术。据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9T，并且仍以每4个月翻一番的速度增长。用户要在如此浩瀚的信息海洋里寻找信息，必然会“大海捞针”无功而返。搜索引擎正是为了解决这个“迷航”问题而出现的技术。
搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务，搜索引擎站点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。
一、分类
按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类：
1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。
2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：“天网”、悠游、OpenFind等。
3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。
二、性能指标
我们可以将WEB信息的搜索看作一个信息检索问题，即在由WEB网页组成的文档库中检索出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率（Recall）和精度（Pricision）衡量一个搜索引擎的性能。
召回率是检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统（搜索引擎）的查全率；精度是检索出的相关文档数与检索出的文档总数的比率，衡量的是检索系统（搜索引擎）的查准率。对于一个检索系统来讲，召回率和精度不可能两全其美：召回率高时，精度低，精度高时，召回率低。所以常常用11种召回率下11种精度的平均值（即11点平均精度）来衡量一个检索系统的精度。对于搜索引擎系统来讲，因为
没有一个搜索引擎系统能够搜集到所有的WEB网页，所以召回率很难计算。目前的搜索引擎系统都非常关心精度。
影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制
三、主要技术
一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。
1.搜索器
搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。目前有两种搜集信息的策略：
从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一
些非常流行、包含很多链接的站点（如Yahoo！）。将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。
搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup 文章、FTP文件、字处理文档、多媒体信息。
搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。
2.索引器
索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。
索引表一般使用某种形式的倒排表（Inversion List），即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系（proximity）。
索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时，必须实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量
3.检索器
检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。
检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。
4.用户接口
用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。
用户输入接口可以分为简单接口和复杂接口两种。
简单接口只提供用户输入查询串的文本框；复杂接口可以让
用户对查询进行限制，如逻辑运算（与、或、非；、-）、相近关系（相邻、NEAR）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。
四、未来动向
搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术，所以具有综合性和挑战性。又由于搜索引擎有大量的用户，有很好的经济价值，所以引起了世界各国计算机科学界和信息产业界的高度关注，目前的研究、开发十分活跃，并出现了很多值得注意的动向。
1.十分注意提高信息查询结果的精度，提高检索的有效性
用户在搜索引擎上进行信息查询时，并不十分关注返回结果的多少，而是看结果是否和自己的需求吻合。对于一个查询，传统的搜索引擎动辄返回几十万、几百万篇文档，用户不得不在结果中筛选。
2.基于智能代理的信息过滤和个性化服务
信息智能代理是另外一种利用互联网信息的机制。它使用自动获得的领域模型（如Web知识、信息处理、与用户兴趣相关的信息资源、领域组织结构）、用户模型（如用户背景、兴趣、行为、风格）知识进行信息搜集、索引、过滤（包括兴趣过滤和不良信息过滤），并自动地将用户感兴趣的、对用户有用的信息提交给用户。
3.采用分布式体系结构提高系统规模和性能
搜索引擎的实现可以采用集中式体系结构和分布式体系结构，两种方法各有千秋。但当系统规模到达一定程度（如网页数达到亿级）时，必然要采用某种分布式方法，以提高系统性能。搜索引擎的各个组成部分，除了用户接口之外，都可以进行分布：搜索器可以在多台机器上相互合作、相互分工进行信息发现，以提高信息发现和更新速度；索引器可以将索引分布在不同的机器上，以减小索引对机器的要求；检索器可以在不同的机器上进行文档的并行检索，以提高检索的速度和性能。
4.重视交叉语言检索的研究和开发
交叉语言信息检索是指用户用母语提交查询，搜索引擎在多种语言的数据库中进行信息检索，返回能够回答用户问题的所有语言的文档。如果再加上机器翻译，返回结果可以用母语显示。
该技术目前还处于初步研究阶段，主要的困难在于语言之间在表达方式和语义对应上的不确定性。但对于经济全球化、互联网跨越国界的今天，无疑具有很重要的意义。
五、学术研究
目前搜索引擎领域的商业开发非常活跃，各大搜索引擎公司都在投巨资研制搜索引擎系统，同时也不断地涌现出新的具有鲜明特色的搜索引擎产品，搜索引擎已经成为信息领域的产业之一。NEC美国研究所的Steve Lawrence和C. Lee Giles 1998年和1999年连续两年在《自然》和《科学》杂志上撰文对搜索引擎技术的研究进行评述。著名的信息检索会议TREC也从1998年开始增加了Web Track课题，以考察Web文档与其它类型文档在检索性质上的不同之处，并将测试在大规模的Web库（如100G 字节）上进行信息检索的算法性能。
由美国Infornotics公司主办的搜索引擎国际会议从1996年开始，每年举行一次，对搜索引擎技术进行总结、讨论和展望，参加者有著名的搜索引擎公司、大学和研究机构的学者，对搜索引擎技术起到了很好的推动作用。另外象IEEE主办的国际万维网会议、人机交互会议已有越来越多关于搜索引擎技术研究的文
章发表。
搜索引擎的三大定律
第一定律相关性定律
听起来象是一篇学术论文，的确，就连第一，第二定律的提法以前也没有过，但是第一，第二定律的内容确早已在业界和学术界得到了公认。其实这第一定律是早在互联网出现之前就被学术界广泛研究过的，那就是所谓的相关性定律。这个领域那时叫情报检索，或信息检索，也有叫全文检索的。
那时的相关性都是基于词频统计的，也就是说，当用户输入检索词时，搜索引擎去找那些检索词在文章（网页）中出现频率较高的，位置较重要的，再加上一些对检索词本身常用程度的加权，最后排出一个结果来(检索结果页面) 。早期的搜索引擎结果排序都是基于本文的第一定律的，如Infoseek，Excite，Lycos 等，它们基本上是沿用了网络时代之前学术界的研究成果，工业界的主要精力放在处理大访问量和大数据量上，对相关性排序没有突破。
词频统计其实根本没有利用任何跟网络有关的特性，是前网
当今搜索引擎技术及发展趋势 随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就象大海捞针一样，搜索引擎技术恰好解决了这一难题（它可以为用户提供信息检索服务）。目前，搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。 搜索引擎（Search Engine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术。据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9T，并且仍以每4个月翻一番的速度增长。用户要在如此浩瀚的信息海洋里寻找信息，必然会“大海捞针”无功而返。搜索引擎正是为了解决这个“迷航”问题而出现的技术。 搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务，搜索引擎站点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。 一、分类 按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类： 1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：“天网”、悠游、OpenFind等。 3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。 二、性能指标 我们可以将WEB信息的搜索看作一个信息检索问题，即在由WEB网页组成的文档库中检索出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率（Recall）和精度（Pricision）衡量一个搜索引擎的性能。 召回率是检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统（搜索引擎）的查全率；精度是检索出的相关文档数与检索出的文档总数的比率，衡量的是检索系统（搜索引擎）的查准率。对于一个检索系统来讲，召回率和精度不可能两全其美：召回率高时，精度低，精度高时，召回率低。所以常常用11种召回率下11种精度的平均值（即11点平均精度）来衡量一个检索系统的精度。对于搜索引擎系统来讲，因为没有一个搜索引擎系统能够搜集到所有的WEB网页，所以召回率很难计算。目前的搜索引擎系统都非常关心精度。 影响一个搜索引擎系统的性能有很多因素，最主要的是信息检索模型，包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制
搜索引擎检索技巧
搜索引擎 搜索引擎(search engine),1995年开始搜索引擎以一定的策略从网络收集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。 搜索引擎站－－－“网络门户”
1、搜索引擎的工作原理 信息的收集处理 信息的检索输出
2、搜索引擎的分类 搜索引擎按其工作方式主要可分为三种: 目录索引类搜索引擎（Search Index/Directory） 机器人搜索引擎(全文搜索引擎)（Full Text Search Engine）元搜索引擎（Meta Search Engine）
2、搜索引擎的分类（续） 目录式搜索引擎 目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。信息大多面向网站，提供目录浏览服务和直接检索服务。 该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。 这类搜索引擎的代表是：yahoo!、Galaxy、Open Directory……
2、搜索引擎的分类（续） 机器人搜索引擎 由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。服务方式是面向网页的全文检索服务。 该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。 这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：百度等。
1 南昌航空大学 Nanchang Hangkong University 毕 业 论 文 题目 _搜索引擎原理及发展趋势__________________ 学院 _江西工业工程职业学校 _____________________ 专业 __________计算机网络________________________ 姓名 周文飞___________学号 036811100078 指导老师 李国忠______________职称________________ __2012__年_5__月_5_ 日 _
目录 第一章搜索引擎的概述 3 1.1 搜索引擎3 1.2 搜索引擎的发展史3第二章搜索引擎基本常识9 2.1 搜索引擎工作原理9 2.2 搜索引擎分类9 2.3 全文搜索引擎10第三章使用搜索引擎的一些基本规则和技巧12 3.1 搜索引擎的一些基本规则12 3.2 搜索引擎的一些基本技巧12第四章搜索引擎的评测16 4.1搜索引擎缺陷16 4.2搜索速度16第五章搜索引擎的未来发展动向及趋势18 5.1搜索引擎的未来发展动向18 5.2搜索引擎趋势19 结束语23致谢24参考文献25 2
第一章搜索引擎的概述 1.1 搜索引擎 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。 1.2搜索引擎的发展史 互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。 1990年，加拿大麦吉尔大学（University of McGill）计算机学院的师生开发出Archie。当时，万维网（World Wide Web）还没有出现，人们通过FTP来共享交流资源。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。 起源 所有搜索引擎的祖先，是1990年由Montreal的McGill University三名学生（Alan Emtage、Peter Deutsch、Bill Wheelan）发明的Archie（Archie FAQ）。Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。发展（1） Excite 的历史可以上溯到1993年2月，6个Stanford University（斯坦福大学）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目，他们还发布了一个供 3
.html .asp/.aspx .php .jsp Html语言变量、函数、组建、流程、循环、结构 代码结构进行优化 URL 统一资源定位符号universal resources locator 网络地址 Filetype Intitle Inurl 美萍点播系统VOD down:43 Site: 在站内进行检索 Intext: Seo搜索引擎优化-》sem搜索引擎营销-》网络营销 【项目背景介绍】 信息社会，信息以爆炸式的方式增长，网络环境下，搜索引擎是我们通往目的地的必备武器，但是在浩如烟海的网络信息里面，很多网友都只会简单的搜索，往往不能够很好的达到搜索的目的，因此也无法完成对海量信息的综合处理。作为电子商务专业学生，如何高效的完成信息检索，无论是对个人依托网络进行的学习还是今后的网络商务工作，都十分重要。 【项目工具简介和环境要求】 互联网机房 能正常访问互联网、IE插件正常 【项目延伸思考题】 搜索引擎的商用价值 各类搜索引擎通用的高级搜索命令 提高网站被检索可能性的建议 【项目教学难点】 网站备案机制 网站支付流程的合理性 网站联系信息的真实性判断 【项目实施步骤】 项目简介—快速测试—软件包传送—学生自我摸索（安装、调试、搜索等）—手把手—应用场合分析—新模式联想 随着网络技术尤其是WWW站点的快速发展和普及，人们通过Internet获取全球信息的可能性越来越大。可以说，我们所需要的信息，绝大部分都可以通过因特网获取。但是网络信息内容庞杂、分散无序，各种有价值、所需的信息资源淹没在信息的“汪洋大海”中，给人们查询和利用网络信息资源带来了极大的不便。为了更有效地开发和利用网络信息资源，人们研制了许多网络信息检索工具，其中WWW是Internet上增长最快、使用最方便灵活的多媒体信息传输与检索系统，越来越多的用户将自己的信息以WWW的方式在网上发布。WWW服务器已称为互联网上数量最大和增长最快的信息系统，因而可以检索WWW网址网页以及新闻论坛、BBS文章的检索工具——搜索引擎称为查询网络信息的最主要的检索工具。 有人说，会搜索才叫会上网，搜索引擎在我们日常生活中的地位已是举足轻重。你也许是个刚买了“猫”兴冲冲地要上网冲浪，也许已经在互联网上蛰伏了好几年，无论怎样，要想在浩如烟海的互联网信息中找到自己所需的信息，都需要一点点技巧。对于企业而言，学习搜索，提高技巧，就能找到更多的潜在客户。
搜索引擎基本工作原理 目录 1工作原理 2搜索引擎 3目录索引 4百度谷歌 5优化核心 6SEO优化 ?网站url ? title信息 ? meta信息 ?图片alt ? flash信息 ? frame框架 1工作原理 搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。 1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重
复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。 3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。 搜索引擎基本工作原理 2搜索引擎 在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库 的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP 地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，
期末课程论文 论文标题：搜索引擎的现状与发展趋势 课程名称：信息检索技术 课程编号：1220500 学生姓名：潘飞达 学生学号：1100310120 所在学院：计算机科学与工程学院 学习专业：计算机科学与技术 课程教师：王冲 2013年7月1 日
【摘要】 搜索引擎包括图片搜索引擎、全文索引、目录索引等，其发展历史可分为五个阶段，目前企业搜索引擎和网站运营搜索引擎运用范围较广。在搜索引擎的未来发展中，呈现出个性化，多元化，智能化，移动化，社区化等多个趋势。 【关键词】 发展过程、发展趋势、检索技巧、个性化、智能化 1 搜索引擎简介 搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。百度和谷歌等是搜索引擎的代表。 其工作作原理分为抓取网页，处理网页和提供检索服务。 抓取每个独立的搜索引擎都有自己的网页抓取程序，它顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。 搜索引擎是根据用户的查询请求，按照一定算法从索引数据中查找信息返回给用户。为了保证用户查找信息的精度和新鲜度，搜索引擎需要建立并维护一个庞大的索引数据库。一般的搜索引擎由网络机器人程序、索引与搜索程序、索引数据库等部分组成。 系统结构图 2搜索引擎的工作原理 第一步：爬行 搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛WWW 文档 网络机器人程序 建立Lucence 索引 从数据库中搜索信息 Tomcat 服务器 Lucence 索引数据库 WWW 浏览器 WWW 浏览器 JSP 网络机器人程序
百度搜索引擎的使用方法和技巧 学生姓名： 学院：信息技术学院 专业：信管(电) 班级： 学号： 指导教师： 完成日期： 2015年3月28日 辽东学院 Eastern Liaoning University
一、简单搜索 1. 关键词搜索 只要在搜索框中输入关键词，并按一下“搜索”，百度就会自动找出相关的网站和资料。百度会寻找所有符合您全部查询条件的资料，并把最相关的网站或资料排在前列。 小技巧：输入关键词后，直接按键盘上的回车键（即Enter健），百度也会自动找出相关的网站或资料。 关键词，就是您输入搜索框中的文字，也就是您命令百度寻找的东西。可以是任何中文、英文、数字，或中文英文数字的混合体。可以命令百度寻找任何内容，所以关键词的内容可以是：人名、网站、新闻、小说、软件、游戏、星座、工作、购物、论文、、、 例如：可以搜索[windows]、[918]、[F-1赛车]。 可以输入一个关键词，也可以输入两个、三个、四个，您甚至可以输入一句话。 例如：可以搜索[博客]、[原创爱情文学]、[知音，不需多言，要用心去交流；友谊，不能言表，要用心去品尝。悠悠将用真诚，尊敬和大家来建立真正的友谊]。 注意：多个关键词之间必须留一个空格。 2. 准确的关键词 百度搜索引擎严谨认真，要求一字不差。 例如：分别输入 [舒淇] 和 [舒琪] ，搜索结果是不同的。 分别输入 [电脑] 和 [计算机] ，搜索结果也是不同的。 因此，如果您对搜索结果不满意，建议检查输入文字有无错误，并换用不同的关键词搜索。 3. 输入两个关键词搜索 输入多个关键词搜索，可以获得更精确更丰富的搜索结果。 例如，搜索[悠悠情未老]，可以找到几千篇资料。而搜索[悠悠情未老]，则只有严格含有“悠悠情未老”连续5个字的网页才能被找出来，不但找到的资料只有几十篇，资料的准确性也比前者差得多。 因此，当你要查的关键词较为长时，建议将它拆成几个关键词来搜索，词与词之间用空格隔开。 多数情况下，输入两个关键词搜索，就已经有很好的搜索结果。 4. 减除无关资料 有时候，排除含有某些词语的资料有利于缩小查询范围。 百度支持“-“功能，用于有目的地删除某些无关网页，但减号之前必须留一空格，语法是“A -B”。
搜索引擎发展状态及未来趋势 【摘要】 搜索引擎包括图片搜索引擎、全文索引、目录索引等，其发展历史可分为五个阶段，目前企业搜索引擎和网站运营搜索引擎运用范围较广。在搜索引擎的未来发展中，呈现出个性化，多元化，智能化，移动化，社区化等多个趋势。 【关键词】 发展起源、索引、数据库、网站运营、未来趋势 【参考文献】 《个性化搜索引擎原理与技术》《搜索引擎的设计与实现》搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。其工作作原理分为抓取网页，处理网页和提供检索服务。抓取每个独立的搜索引擎都有自己的网页抓取程序，它顺着网页中的超链接，连续地抓取网页。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。 搜索引擎的发展起源可以追溯到第一个Gopher搜索工具Veronica。后来的搜索引擎的发展分为五个阶段。第一阶段，出现World wide Web Wanderer，用于追踪互联网发展规模。刚开始它只用来统
计互联网上的服务器数量，后来则发展为也能够捕获网址。第二阶段，出现了以概念搜索闻名的Excite以及元搜索引擎Dogpile。第三阶段，即yahoo的出现。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。Yahoo以后陆续有Google等提供搜索引擎服务，但不可否认的是，Yahoo几乎成为20世纪90年代的因特网的代名词。第四阶段，一种新的搜索引擎形式出现了，即元搜索引擎。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第五阶段的代表是智能检索的产生：它利用分词词典、同义词典，同音词典改善检索效果，进一步还可在知识层面或者说概念层面上辅助查询，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。 搜索引擎目前包括图片搜索引擎、全文索引、目录索引、元搜索引擎、垂直搜索引擎等。全文索引引擎是名副其实的搜索引擎，国外代表有Google，国内有百度、搜狐等。它们从互联网提取各个网站的信息，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。搜索引擎的自动信息搜集功能分为定期搜索和提交网站搜索。它的特点是搜全率比较高。目录索引，就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。与全文搜索引擎相比，目录索引有许多不同之处。首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。其次，搜索引擎收录网站时，只要网站本身
百度搜索引擎搜索技巧 信息时代让人们畅享着富足信息盛宴带来的便利，可是如何才能从海量的信息中找寻自己最满意的目标信息呢？正常的信息大家一般都很容易从搜索引擎中查找到，但大家应该也有过这样的经历，有些时候自己想要的信息可能并未如愿地出现在搜索结果中或者要翻了好几页才能找到自己想查找的信息。 可能有些时候确实是搜索引擎的收录中并没有这样的相关信息，但是也有很多时候是因为我们没有掌握全面的搜索引擎搜索技巧，特别是在组合搜索和特殊符号方面应用的不到位。 1、加号（+）、分隔号（|）和空格的应用 这三个都属于并行搜索，就比如知识+文化、知识文化、知识|文化，这三种的搜索方式都是用于搜索同时包含关键词“知识”和“文化”的信息，当然也搜索只包含关键词“知识”或者只包含关键词“文化”的信息。 2、减号（-）的应用 减号应用于排除含有某些词语的资料有利于缩小查询范围。 百度支持“-”功能，用于有目的地删除某些无关网页，但减号之前必须留一空格。例如，要搜寻关于“武侠小说”，但不含“古龙”的资料，可使用：武侠小说-古龙 3、双引号（“”）和中括号（[]）的应用 这两种符号属于精确匹配的搜索方式，双引号（“”）个人认为价值更大，这就是我们有时会听说的完全匹配，比如在搜索框中输入“厦门思明区和湖里区网络购物”，那么在搜索结果中的那些信息就一定会出现跟引号里一模一样的这句话。 如果用中括号[]，我们也以刚才的那几个字[厦门思明区和湖里区网络购物]来举例，那么在出现的搜索结果中，那些信息的数量肯定比上面用双引号来的多。因为这种搜索方式虽然括号中的那些字在搜索出来的信息中也会全部出现，但是中括号里的这些字不一定是以整体方式出现的，这句关键词也会以零散的方式出现的搜索结果的信息中。比如，搜索结果的信息中可能出现：<物…网络购…门…湖里区和思明区…厦>这样的次序出现，当然还有其他组合的次序可以出现，但这几个字的每一字至少会出现一次在搜索结果的信息页中。 上面的这两种搜索方式如果不太理解，也可以自己具体去搜索比较一下，就会清楚多了。而且上面的这些符号有些也可以组合使用的，比如：你要查信息中同时出现（厦门思明区）、（和湖里区）、（网络购物），而且这括号里的三组词要完全匹配，那么你可以在搜索框中这样输入：“厦门思明区”+“和湖里区”+“网络购物”，那么你就可以得到你想要的结果了。 4、特殊字符串（site）、（intitle）、（inurl）的应用
详细介绍常用的几类搜索引擎技术 因特网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就像大海捞针一样，搜索引擎技术恰好解决了这一难题，它可以为用户提供信息检索服务。目前，搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。 搜索引擎（Search Engine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术。 据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9TB，并且仍以每4个月翻一番的速度增长。例如，Google 目前拥有10亿个网址，30亿个网页，3.9 亿张图像，Google支持66种语言接口，16种文件格式，面对如此海量的数据和如此异构的信息，用户要在里面寻找信息，必然会“大海捞针”无功而返。 搜索引擎正是为了解决这个“迷航”问题而出现的技术。搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。 目前，搜索引擎技术按信息标引的方式可以分为目录式搜索引擎、机器人搜索引擎和混合式搜索引擎；按查询方式可分为浏览式搜索引擎、关键词搜索引擎、全文搜索引擎、智能搜索引擎；按语种又分为单语种搜索引擎、多语种搜索引擎和跨语言搜索引擎等。 目录式搜索引擎 目录式搜索引擎（Directory Search Engine）是最早出现的基于ＷＷＷ的搜索引擎，以雅虎为代表，我国的搜狐也属于目录式搜索引擎。 目录式搜索引擎由分类专家将网络信息按照主题分成若干个大类，每个大类再分为若干个小类，依次细分，形成了一个可浏览式等级主题索引式搜索引擎，一般的搜索引擎分类体系有五六层，有的甚至十几层。 目录式搜索引擎主要通过人工发现信息，依靠编目员的知识进行甄别和分类。由于目录式搜索引擎的信息分类和信息搜集有人的参与，因此其搜索的准确度是相当高的，但由于人工信息搜集速度较慢，不能及时地对网上信息进行实际监控，其查全率并不是很好，是一种网站级搜索引擎。 机器人搜索引擎 机器人搜索引擎通常有三大模块：信息采集、信息处理、信息查询。信息采集一般指爬行器或网络蜘蛛，是通过一个URL列表进行网页的自动分析与采集。起初的URL并不多，随着信息采集量的增加，也就是分析到网页有新的链接，就会把新的URL添加到URL列表，以便采集。
全文搜索引擎的设计与实现 前言 面对海量的数字化信息，搜索引擎技术帮助我们在其中发现有价值的信息与资源。我们可以通过google、百度这样的搜索引擎服务提供商帮助我们在Internet上搜索我们需要的信息。但是在一些没有或不便于连入Internet的内部网络或者是拥有海量数据存储的主机，想要通过搜索来发现有价值的信息和资源却不太容易。所以开发一个小型全文搜索引擎，实现以上两种情况下的信息高效检索是十分有必要的。本设计着眼于全文搜索引擎的设计与实现，利用Java ee结合Struts,Spring,Hibernates以及Ajax等框架技术，实现基于apache软件基金会开源搜索引擎框架Lucene下的一个全文搜索引擎。 正文 搜索引擎技术起源1990年，蒙特利尔大学学生Alan Emtage、Peter Deutsch和Bill Wheelan出于个人兴趣，发明了用于检索、查询分布在各个FTP主机中的文件Archie，当时他们的目的仅仅是为了在查询文件时的方便，他们未曾预料到他们的这一创造会成就日后互联网最的广阔市场，他们发明的小程序将进化成网络时代不可或缺的工具——搜索引擎。1991年，在美国CERFnet、PSInet及Alternet网络组成了CIEA （商用Internet 协会）宣布用户可以把它们的Internet子网用于商业用途，开始了Internet商业化的序幕。商业化意味着互联网技术不再为科研和军事领域独享，商业化意味着有更多人可以接触互联网，商业化更意味着潜在的市场和巨大的商机。1994年，Michael Mauldin推出了最早的现代意义上的搜索引擎Lycos，互联网进入了搜索技术的应用和搜索引擎快速发展时期。以上是国际互联网和搜索引擎发展历史上的几个重要日子。互联网从出现至今不过15年左右时间，搜索引擎商业化运作也就10年左右。就在这短短的10年时间里，互联网发生了翻天覆地的变化，呈爆炸性增长。于此同时也成就了google、百度这样的互联网巨头。今天，当我们想要在这片广阔的信息海洋中及时获得想要查找的信息时，已经离不开搜索引擎了。 相关技术
工程技术 Computer CD Software and Applications 2012年第14期 — 24 — 搜索引擎技术与发展综述 孙宏，李戴维，董旭阳，季泽旭 （中国电子科技集团第十五研究所信息技术应用系统部，北京 100083） 摘 要：随着信息技术的飞速发展和互联网的广泛普及，信息检索技术越来越受到重视。阐述了搜索引擎的产生与发展，并对搜索引擎的核心技术、评价指标和工作原理进行了深入研究。介绍了一些著名的搜索引擎。在此基础上，对搜索引擎的发展方向进行了预测。 关键词：信息技术；信息检索；搜索引擎 中图分类号：TP311.52 文献标识码：A 文章编号：1007-9599 （2012） 14-0024-03 一、引言 信息技术如今迅速发展，Internet 也得到了广泛的普及，网络上的信息量正在以指数趋势上升。其信息来源分布广泛，种类繁多。如果不能对信息进行有序化管理，用户将很难从如此海量的信息中提取出他们需要的信息。目前，搜索引擎已经成为人们获取信息的主要手段之一。搜索引擎就是在繁琐复杂的互联网信息中通过特定的检索策略，对信息进行搜索与分类，通过分析用户提交的请求，按照用户的要求和习惯进行组织，从而达到用户快速检索特定信息的目的。目前搜索引擎提供的搜索方式主要有整句、主题词、自由词等等，用以适应不同用户的需求。 二、搜索引擎的产生与发展 蒙特利尔大学的Alan Emtage 实现了最初的搜索引擎，称为Archie 引擎，Archie 引擎可以在特定的网络中进行相关的信息检索。由于其工作原理与现代搜索引擎非常接近，我们通常认为他 开创了现代搜索引擎领域。搜索引擎的发展大致经历过了三代： （1）第一代搜索引擎是1994年Michael Mauldin 将John Leavitt 的“网络爬虫”程序接入到其索引程序中的Lycos 。由于 结构和技术相对不成熟，它的搜索速度比较慢，更新速度也不能满足用户的检索要求。 （2）美国斯坦福大学的David Filo 和美籍华人杨致远合作开发成功了第二代搜索引擎，它创立了一些用户关心的目录，用户可以通过目录进行检索。 （3）Google 的正式推出标志着第三代搜索引擎的诞生。其集成了搜索、分类、多语言支持等功能，同时提供了摘要、排序、快照等功能，另外与强大的硬件系统配合，大大改变了互联网用户检索网络信息的方式。第三代搜索引擎主要结构如图-1所示。 查询接口的作用是用户进行交互，即提取用户的输入，并将检索结果返回。 检索器依据用户的需求，可以方便地索引库中查找相应的文档，按照相关度规则进行重排后返回。 索引器负责对文档建立索引，使文档以便于检索的方式重新组织。 分析器负责对收集器收集的信息进行分析和整理。 信息收集器的主要任务是对互联网上的各种信息进行收集，同时记录信息URL 地址（网络 爬虫完成这项工作）。 图1 搜索引擎结构图 三、搜索引擎的工作原理 搜索引擎不是搜索互联网，它搜索的是预先整理好的索引数据库；同样，搜索引擎也不能理解网页上的内容，它只能匹配网页上的文字。搜索引擎的工作流 程如图-2所示。 图2 搜索引擎的工作流程 搜索引擎的工作流程可主要分为四个步骤：通过网络爬虫（Spider ）从互联网上根据相关算法（深度优先、广度优先）抓取网页，抓取网页后对网页中的信息进行加工，加工后将处理后的信息保存到索引数据库中。当用户在索引数据库中搜索查询相 关的信息资源时，搜索结果通过搜索引擎的处理后，对返回结果进行排序，展现给用户。即： （1）利用网络爬虫从互联网上抓取网页：利网络爬虫，按照某种搜索策略，沿着URL 链接爬到其他网页，重复这些过程，并把所有爬过的网页抓取回来。 （2）建立索引数据库：对爬取到的网页进行分析，提取相关关键信息，得到每一个网页针对页面中文字及链接中每一个关键词的重要性，屏蔽掉不重要的词语后，用信息建立网页索引数据库。 （3）处理用户的查询请求：系统接收到用户要查询的关键字后，调用检索器进行搜索，并将返回的结果进行相关度排序，最后按照优先度降序的方式存储在返回结果集合中。 （4）将查询结果返回给用户：搜索结果以网页的形式将结果集中的返回给用户。方便用户查看。 按照上面的步骤就可以简单的架构一个搜索引擎系统供用户使用。目前有很多开源的搜索引擎产品已经完成了上述相关内容，使用者只需要进行相应的配置就可以使用，大大的简化了搜索引擎的开发。目前，比较流行的开源搜索引擎有Nutch 、Solr 等等。 四、搜索引擎的核心技术 搜索引擎的核心技术包括索引技术和检索技术。 （一）索引技术 顺序查找，即通过线性匹配文本进行查找是一种不使用索引进行检索的例子。它无需对文档中的信息进行预处理。这种检索方式在文本较大时检索速度会变得非常慢，通常情况下不使用这种检索方式。
专精深搜索引擎的发展 趋势 Document serial number【NL89WT-NY98YT-NC8CB-NNUUT-NUT108】
专、精、深——搜索引擎的发展趋势中国互联网络信息中心的最新数据显示：截止至2009年6月底，中国的互联网人群规模为亿，其中约%的网民使用搜索引擎，年增长率高达34%。这说明随着计算机、互联网以及其它通讯技术的不断发展，人们对从网上获得信息的依赖程度越来越高。 据iResearch公司的调查报告指出，08年国内搜索引擎用户搜索内容最多是与“学习和工作”有关的资料，占%。如此高的比例，是源于网民的文化程度较高，50%以上的网民具有大专以上文凭，故而对于专业方面的信息需求量非常大。然而现今大多使用的搜索引擎搜索出的不相干结果很多，缺乏对内容的有效评判，并且存在大量的死链接和重复链接，让用户浪费了大量的时间去查找有用的结果。如何在浩瀚的信息海洋中快速地、有效地、准确完整地找到用户所需要信息是目前网民最为关心的。 “深度搜”）的出现修正了传统意义上搜索引擎的杂乱，它更专业、搜索结果更精准、对搜索内容的挖掘更深。 专业 全新打造的高质量专业信息搜索平台“深度搜”，已收集到世界上绝大部分中英文权威性学术期刊，包括自然科学，医药卫生，工程技术，人文及社会科学等领域的数万种期刊，近亿篇文献。除此之外，还有美国专利，欧洲专利，世界专利，中国专利，以及中英文百科全书。 精确 “深度搜”抛弃现今大部分搜索引擎使用的关键词、字符串匹配技术，采用全信息匹配技术，在不同层次，用不同组合，对搜索内容进行匹配，将最相关的搜索结果排在最前, 不会漏掉任何一个相关的搜索结果。“深度搜”可以用几个字，几句话，甚至整篇文章进行搜索，对搜索
SEO实战密码：搜索引擎工作原理三个阶段简介 搜索引擎工作过程非常复杂，接下来的几节我们简单介绍搜索引擎是怎样实现网页排名的。这里介绍的内容相对于真正的搜索引擎技术来说只是皮毛，不过对SEO人员已经足够用了。 搜索引擎的工作过程大体上可以分成三个阶段。 （1）爬行和抓取：搜索引擎蜘蛛通过跟踪链接访问网页，获得页面HTML代码存入数据库。 （2）预处理：索引程序对抓取来的页面数据进行文字提取、中文分词、索引等处理，以备排名程序调用。 （3）排名：用户输入关键词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。 爬行和抓取 爬行和抓取是搜索引擎工作的第一步，完成数据收集的任务。 1．蜘蛛 搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。 搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。 蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址。 和浏览器一样，搜索引擎蜘蛛也有标明自己身份的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辨识搜索引擎蜘蛛。下面列出常见的搜索引擎蜘蛛名称：· Baiduspider+（+https://www.doczj.com/doc/6d7709275.html,/search/spider.htm）百度蜘蛛 · Mozilla/5.0 （compatible; Yahoo！ Slurp China; https://www.doczj.com/doc/6d7709275.html,/help.html）雅虎中国蜘蛛 · Mozilla/5.0 （compatible; Yahoo！ Slurp/3.0; https://www.doczj.com/doc/6d7709275.html,/help/us/ysearch/slurp）英文雅虎蜘蛛 · Mozilla/5.0 （compatible; Googlebot/2.1; +https://www.doczj.com/doc/6d7709275.html,/bot.html）Google蜘蛛 · msnbot/1.1 （+https://www.doczj.com/doc/6d7709275.html,/msnbot.htm）微软 Bing蜘蛛 · Sogou+web+robot+（+https://www.doczj.com/doc/6d7709275.html,/docs/help/webmasters.htm#07）搜狗蜘蛛 · Sosospider+（+https://www.doczj.com/doc/6d7709275.html,/webspider.htm）搜搜蜘蛛 · Mozilla/5.0 （compatible; YodaoBot/1.0;
Network & Communication?网络与通信智能搜索引擎发展现状及关键技术 文/艾丽娟 【关键词】智能 搜索引擎 技术 1 引言 随着信息技术的迅速发展和 Internet 的广泛普及，信息搜索成为广大网络用户获取互联网信息的主要手段。在网络上信息量成几何级数的增长，人们将怎样在网络上搜索自己需要的信息。传统的搜索引擎技术在日益庞大的信息量面前逐渐显得力不从心。在这样的状况下，智能搜索引擎技术应运而生，也成为当前搜索引擎技术发展的主要方向。 2 搜索引擎发展历史及现状 目前公认的第一代搜索引擎是以 Yahoo 为代表的人工目录分类导航检索的网站搜索，它开始了互联网搜索的时代。这是最为传统的搜索引擎，主要缺陷在于检索结果的相关性差，检索结果杂乱无章且数量庞大，与用户所想检索的结果差异太大，无法做到较为精确的检索。 第二代搜索引擎是以 Google为代表的，基于关键词和特殊算法的搜索，是依靠机器抓取的、建立在超链分析基础上的大规模网页搜索，相较于第一代搜索引擎提高了查准率、查全率和检索速度。但是仍然不能满足网民的检索需求，用户在信息检索过程中有仍存在查全率、查准率低，检索多媒体信息的能力差等。 由此可见，第一、第二代搜索引擎使用的技术难以满足用户快速准确查找信息的需求。造成这种情况的本质在于搜索引擎对要检索的信息仅采用机械的关键词匹配来实现，无法对所检索的内容进行处理和理解达到智能检索的目的。将信息检索从基于关键词层面提高到基于知识(或概念)理解层面，是解决问题的根本和关键。正是基于此需求，近年来研究人员一直致力于改进 Pagerank算法（在孟涛的文 章中有较全面的综述），由此来提高搜索结果 的质量。 从第一代搜索引擎到第二代搜索引擎是 质变过程，而到第三代搜索引擎则是量变与质 变的结合，不仅提升了检索技术，还向着智能 化的方向发展。自从进入第三代搜索引擎，全 球都在不断探索和完善搜索引擎技术，经过多 年的探索和市场历练，现今已露端倪。这一端 倪包括两个趋势：一是以 Goog le为主要代表 技术驱动型理念，还包括雅虎、搜狐等；二是 以 J wm guagua (精武门呱呱 )为主要代表的 服务驱动型理念。以上两种类型的理念体现了 第三代搜索引擎的智能化、人性化特征，不再 局限于机械的关键词检索，可以直接对用户输 入的检索词进行语义分析整合，满足了用户更 快、更准、更方便的查询需求。 3 智能搜索引擎的关键技术 智能化搜索引擎具有信息服务的智能化、 人性化特征，可以为用户提供更快、更准确的 搜索服务，一般包括人工智能、模式识别、语 义分析、神经网络等智能搜索。目前面对这用 户对搜索引擎的要求不断提高，要求智能搜索 的技术在不断更新，相关的算法不断的优化。 现在的搜索引擎主要还是以文字内容为基础， 其主要方法有两种：一是基于词典匹配，该方 法是将待分析的汉字与事先造好的词典中的词 条进行匹配，在待分析汉字串与词典中已有的 词条匹配则成功，或切分出一个单词。词典匹 配方法计算较为简单，其准确度较大程度上取 决于词典的完整性和更新情况；二是基于统计 方法，该方法需要分析大量的文字样本，计 算统计出字与字相邻出现的概率，几个字相邻 出现越多形成一个词的可能性就越大。基于统 计的方法优势是对新出现的词反应更快速，也 有利于消除歧义。以上两种方法各有优劣，实 际应用中则是混合使用两种方法来达到快速高 效，又能识别生词、新词，消除歧义。 而为了更好的应用以上两种方法，并要 求智能引擎能够进行自然语言理解和处理关键 词的含义，机器学习和数据挖掘技术的发展显 得至关重要。目前机器学习逐渐成为人工智能 研究的核心之一，它的应用已经遍及人工智能 的各个领域。数据挖掘又可称为数据库中的知 识发现，指的是从存放数据库、数据仓库货其 他信息库中的大量数据中获取有效的、新颖的、 潜在有用的、最终可理解的模式的过程[5]。 4 结束语 Internet 的信息量爆炸性递增，搜索引擎 在用户和信息源之间架起了沟通的桥梁，为 人们迅速、方便地获取有效信息提供检索服务， 起到信息导航的目的。当前的智能化搜索引擎 能够实现信息服务的智能化、人性化、高效化， 为用户检索互联网信息提供了方便，其发展是 一个长期的过程。目前的搜索引擎主要提供基 于文字内容的信息检索服务，而对于进一步提 高检索结果的相关、个性化检索服务、支持多 媒体检索、支持自然语言检索、增强检索界 面的友好程度等还有非常多的工作需要去做， 搜索引擎要真正地实现智能化并不仅仅局限于 概念上那么简单。但是我们要坚信，在科学技 术的不断发展和推动下，一些高性能的满足不 同需求的搜索引擎将会不断被开发出来。 参考文献 [1] 浅析第三代搜索引擎的发展[J].包 瑞.晋图学刊，2010年第4期(总第 119期). [2] 第三代搜索引擎的研究现状及其发展趋 向探析[J].张立彬1,杨军花1,杨琴茹 2.情报理论与实践,2008(5):785—789. [3] 搜索引擎的未来发展[J].韩进军,安 园园.医学信息学杂志,2007(5):431— 434. [4] 数据挖掘[EB/OL].http://baike.aidu. com/view/7893.htm 2010-01-08. 作者单位 广西大学计算机与电子信息学院 广西南宁市 530004 网络出版时间：2013-06-13 18:16 网络出版地址：https://www.doczj.com/doc/6d7709275.html,/kcms/detail/10.1108.TP.20130613.1816.201310.19_005.html Electronic Technology & Software Engineering 电子技术与软件工程? 19