倒排索引

henrydear

用户输入搜索词后，靠排名程序实时对这么多页面分析相关性，计算量太大，也不可能在一秒甚至零点几秒的时间返回排名结果。因此，抓取来的页面就需要进入另一个环节进行处理，也就是所谓的预处理，预处理后为最后的查询排名做好准备。

和爬行抓取一样，预处理也是在后台提前完成的，用户其实感觉不到这个过程，为什么搜索引擎会每周更新一次排名，就是因为预处理需要接近一周的时间来完成。

第一、提取文字

目前搜索引擎都是以文字为基础。蜘蛛抓取的HTML代码中除了用户在浏览器看到的文字外还有大量HTML格式标签、DIV+CSS标签、JavaScript程序等无法用于排名的内容。所以搜索引擎第一步就是要去除从HTML代码中抓取的标签、程序等，提取可以用于排名处理的页面文字内容。除了可见文字，搜索引擎也会提取一些特殊的包含文字信息的代码，如Meta标签中的文字、alt标签、FLASH文件代替的文字、链接的锚文本等等。

第二、中文分词

分词是中文搜索引擎特有的步骤。搜索引擎储存和处理页面以及用户搜索都是以词为基础的。英文中语言与单词之间有空格分开，所以搜索引擎可以直接把句子划分为单词集合。中文就不一样搜索引擎就必须先要搞清楚哪几个字组成一个词，那些字本身是个词。比如“SEO博客”可以将词分为“SEO”和“博客”两个词。

那种中文分词方法基本有两种，一种是词典匹配，另一种是基于统计。

词典匹配的方法是指，将待分析的一段汉字与一个事先造好的词典中的词条进行匹配，如果发现词典中已有词条那么说明匹配成功，或者说将其切分出一个单词。这种方法匹配比较简单，基本准确度很高，取决于词典的完整性和更新情况。

中文分词的作用非常重要，其准确性往往影响排名的相关性。比如百度搜索“搜索引擎优化”，百度会认为这是一个词组，但是在Google中会把这个词组分成搜索、引擎、优化三个词。因为SEO是根据因为单词来的，三个词组成的。所以这也是对于同一个关键词排名在不同搜索引擎中表现不同的原因之一。

搜索引擎对页面的分词取决于词库的规模、准确性和分词算法的好坏，而不是取决于页面本身如何，所以SEO人员对分词所能做的很少。唯一能做的是在页面上用某种形式提示搜索引擎，某几个字应该当做一个词处理，锚文本非常大的作用就在于此。再比如尤其可能产生歧义的地方比如标题、h1标签及黑体中出现关键词，这时候要对特定词组加粗、变色或者倾斜处理告诉搜索引擎这是一个词。比如：熊向阳博客，熊向阳是个名字一个词，博客是一个词，俩词组合一起你加粗处理，百度自然会把他们当做一个词来处理。

第三、去停止词

无论是英文还是中文，页面中都会出现一些频率很高却对内容没有影响的词，比如“的”、“地”、“得”之类的词，“啊”、“哈”、“呀”之类的感叹词，“从而”、“以”、“却”之类的副词或介词等等。这些词在搜索引擎眼里统称为停止词，因为他们对页面主要意思没什么影响。

搜索引擎在索引页面之前会去掉这些停止词，使索引数据更为突出，便于节省计算时间。

第四、消除噪声

很多页面中有很多内容对页面主题没什么贡献，相关性不大，比如版权声明、广告等。再比如一些文章分类、历史存档这些导航内容，这些页面本身与分类、历史这些词语没有任何关系。另外还有回帖与主题无关和回答的问题与主题无关，这些词统称为噪声词，因此对这些词语进行索引基本毫无意义，因为对页面内容都没有意义反而起着分散页面主题的作用，对其索引简直是浪费时间。这就是为什么说那些论坛或者博客回帖说顶一个、学习了这些质量不高的原因。

第五、去重

这是很重要的一步，搜索引擎还需要对页面进行去重处理。搜索引擎并不喜欢重复内容，同一篇文章同时出现多个网站会让他感到反感，因为它知道如果留下这些重复文章用户体验太差，因此，会在这个环节删除重复内容，这个过程被称之为“去重”。

典型的指纹计算方法入MD5计算发（信息摘要算法第五版）。这类指纹算法的特点是，输入（特征关键词）有任何微小的变化，都会导致计算出的指纹有很大差距。

从这里大家可以看出，针对简单的增加“的”、“地”调换段落顺序这种所谓的伪原创，并不能逃脱搜索引擎出重算法，因为文章中本身的特征词没有变化，算不得伪原创。这里建议大家如果可以尽量只截取对方文中某几段，或者一部分内容。如此一来会提高伪原创质量，有几率逃脱去重这一关。

第六、正向索引

正向索引简称为索引。经过前五步之后，接下来搜索引擎将提取文中关键词，按分词程序划分好的词，同时记录每个词在页面中出现的频率、出现的次数、格式（如加粗、倾斜、黑体、H标签、加颜色、锚文字等）、位置（如页面第一段文字或者最后一段等）。然后把这些词语记录为串关键词集合，那么这些词的相关信息如格式、权重等也会记录在案。实际在搜索引擎中每个关键词也被转换为ID形式记录，然后每个文件ID对应一串关键词ID。这种每个文件ID对应一个串关键词ID这样的数据结构被称之为正向索引。比如文章A对应 1、2、3这三个关键词，文章B对应2、4、5这三个关键词。

第七、倒排索引

正向索引还不能直接运用到关键词排名，假设用户搜索关键词2，那么搜索引擎讲扫描索引库中所有文件，这样时间太长无法满足用户返回结果的速度，所以这里运用到了倒排索引，把关键词ID映射到文章ID，比如关键词2对应文章A、文章B，如此一来大大缩短搜索引擎扫描索引库中的文件，缩短扫描时间。

第八、链接的计算

到了这一步基本就是计算链接了，页面中有哪些导入链接，这些链接都指向哪里，哪些链接又指向这个页面，链接用的是URL还是锚文字，这些复杂的链接关系网就形成了页面的链接权重，此时锚文本将被作为重要排名依据，当量广泛的锚文本将被列入计算关键词排名的步骤中。