蜘蛛的爬行原理

lamm_csl

蜘蛛的爬行原理
为了完成查询服务，需要有相应的元素来进行表达，这些元素主要有:原始网页文档、URL和标题、编号、所含的重要关键词的集合以及它们在文档中出现的位置信息、其他一些指标，如重要程度、分类代码等。
用户通过搜索引擎看到的不是一个“集合”.而是一个“列表”。如何从集合生成一个列表，是服务子系统的主要工作。服务子系统是在服务进行的过程中涉及的相关软件程序，而网页处理子系统事先为这些软件程序准备了相应的数据。服务子系统的工作原理，主要有4个方面。
1.查询方式和匹配
查询方式指的是系统允许用户提交查询的形式。对于普通用户来说，最自然的方式就是“需要查询什么就输人什么”。例如，用户输人‘。搜索引擎”，可能是他想了解有关搜索引擎的定义、概念和相应的知识;也可能是他想了解目前有哪些搜索引擎，如何进行搜索等内容;也有可能用户关心的是间接的信息。目前用一个词或者短语来进行查询，依然是主流的查询模式。这种模式比较简单且容易实现。
词的识别是搜索引擎中非常关键的一部分，通过字典文件对网页内的同进行识别。对于西文信息来说，需要识别词的不同形式，例如:单复数、过去式、组合词、词根等，对于一些亚洲语言(中文、日文、韩文等)需要进行分词处理。识别出网页中的每个词，并分配唯一的wordlD号，用于为数据索引中的索引模块服务。
例如，当用户输人“搜索引擎教程”进行搜索时，系统首先将这个短句进行分词处理。将其分为“搜索引擎教程”，然后删除那些没有查询意义或者在每篇文档中都会出现的词，最后形成一个用于参加匹配的查询词表，该词表的数据结构是一个用对应的分同作为索引的一个倒排文件，它的每一个元素都对应倒排文件中的一个倒排表。这样系统就完成了查询和文档的匹配。
2.索引库的建立
索引库的建立是数据索引中结构最复杂的一部分。一般需要建立两种索引:文档索引和关键词索引。文档索引分配每个网页一个唯一的doCID号，根据doclD索引出在这个网页中出现过多少个wordlD。每个wordID出现的次数、位置、大小写格式等，形成doclD对应wordID的数据列表;关键词索引其实是对文档索引的逆索引，根据wordlD索引出这个词出现在哪些网页(用wordlD表示)，出现在每个网页的次数、位置、大小写格式等，形成w o rd I D对应docID的列表。
3.结果排序
结果就是将查询结果的集合在屏幕上以列表的方式显示出来。所谓列表，就是按照某种评价方式，确定出查询结果集合中元素的顺序，让这些元素以某种顺序呈现出来，这就是相关性。相关性是形成这种查询顺序的基本因素。有效地定义相关性本身是很困难的，从原理上讲它不仅和查询词有关，而且还和用户的背景.以及用户的查询历史有关。不同需求的用户可能输人同一个查询，同一个用户在不同的时间输人的相同的查询可能是针对于不同的需求的。
一般来讲，结果排序的方法是基于词汇出现的频率，也就是说在一篇文档中包含的查询词越多，则该文档就越应该排在前面。这样一种思路有一定的道理，而且在倒排文件数据结构上很容易实现。当我们通过关键同的提取过程，形成一篇文档的关键词的集合后，很容易同时得到每一个词在该文档中出现的次数，即词频，而倒排文件中每个倒排表的长度则对应着一个词所涉及的文档的篇数，即文档频率。然而，由于网页编写的自发性、随意性较强，仅仅针对词的出现来决定文档的顺序，在Web上做信息检索表现出明显的缺点.需要有其他技术的补充。这方面最重要的成果就是PageRank。通过在网页处理阶段为每篇网页形成一个独立于查询同(也就和网页内容无关)的重要性指标，将它和查询过程中形成的相关性指标结合形成一个最终的排序，是目前搜索引擎给出查询结果排序的主要方法。
搜索的处理过程是对用户的搜索请求进行满足的过程，通过用户输人搜索关键字，搜索服务器对应关键词字典，把搜索关键词转化为wordID，然后在索引库中得到。locID列表，对docID列表进行扫描和wordlD的匹配，提取满足条件的网页，然后计算网页和关键同的相关度，根据相关度的数值返回给用户。
4.文档摘要
搜索引擎给出的结果是一个有序的条目列表，每一个条目有3个基本的元素:标题、网址和摘要。其中的摘要需要从网页正文中生成。
一般来讲，搜索引擎在生成摘要时可以归纳为两种方式:一种是“静态”方式，即独立于查询，按照某种规则，事先在预处理阶段从网页内容提取出一些文字，如截取网页正文的开头512个字节(对应256个汉字)，或者将每一个段落的第一个句子拼起来，等等。这样形成的摘要存放在查询子系统中一旦相关文档被选中与查询项匹配，就读出返回给用户。这种方式的优点是实现起来比较容易，缺点是摘要可能和查询的内容无关;另一种是“动态摘要”方式，即在响应查询的时候，根据查询词在档中的位置，提取出周围的文字来，在显示时将查询词标亮。这是目前大多数搜索引擎采用的方式。为了保证查询的效率，需要在预处理阶段分词的时候记住每个关键词在文档中出现的位置。
本文由：聚酯纤维吸音板厂www.szhzfz.com 电热水龙头厂家www.nbfsg.com 发布 转载请注明出处 谢谢！