如何应对这些蜘蛛陷阱呢

58962669

在网页中使用少量Flash增强视觉效果提高用户体验是很正常的，比如用Flash做成的广告、图标等等。当然这些小的Flash和图片只是HTML代码中很小的一部分，页面上还有其他以文字为主的内容，所以对搜索引擎抓取和收录没影响。但是，如果首页全部以Flash表现，比如一个片头动画占满整个页面，没有任何文字内容，只有一个点击进入主页的按钮，其余没有任何进入栏目页的入口，像这样的网站搜索引擎是无法读取Flash文件中的文字内容和链接的。并且蜘蛛无法通过Flash进入网站内页HTML版本的文字页面，自然搜索引擎就不能索引任何文字信息，不利于蜘蛛爬行。
如果，Flash效果是必须的，那么你需要在Flash以外的部分添加一个进入首页的链接，必须要放在Flash文件以外的HTML代码中，可以适当的放在最下面，这样一来搜索引擎追踪这个链接可以抓取后面的HTML版本页面。
2.SESSION ID
有些网站使用SESSION ID（会话ID）跟踪用户访问，就是说每个用户访问该网站时就会产生一个SESSION ID，这个ID将加在URL中。也就是说当搜索引擎蜘蛛每一次访问也会被当成一个新的用户，那么URL中会加一个不同的SESSION ID,如此一来搜索引擎蜘蛛每次访问同一个页面但是返回的确是不同的URL，那么就会把搜索引擎搞糊涂。当搜索引擎遇到这种情况的时候就会常识判断字符串是SESSION ID还是正常参数，如果判断出是SESSION ID就会去掉它，收录正常的URL，但也有时候判断不出来，这样的话就会收录大量重复页面不同URL，不利于优化。
建议跟踪用户访问应该使用cookies而不生成SESSION ID。或者程序判断访问者是搜索引擎蜘蛛还是普通用户，如果是搜索引擎蜘蛛，则不生成SESSION ID。跟踪搜索引擎访问是没什么意义的，蜘蛛既不会填表，也不会把商品放入购物车。
3.跳转
除301转向以外，搜索引擎对其他形式的跳转都比较敏感，如302跳转、Javaｓｃｒｉｐｔ跳转、Flash跳转、Meta Refresh跳转。有些网站用户访问首页时会被自动转向到某个目录下的页面。大部分这种首页转向看不出任何理由和目的，这样的转向搜索引擎极度反感。
如果必须转向，我的www.kuxiukeji.net就设置了,301跳转是搜索引擎推荐的、用于网址更改的跳转（其实这个跳转方便了搜索引擎索引计算避免大量不必要的索引），可以把页面权重从旧网址转移到新网址。其他跳转均被视为搜索引擎作弊，将遭到惩罚。
4.动态URL
动态URL指的是数据库驱动的网站所生成的、带有问好、等号、及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行，因为目前搜索引擎技术还是达不到的，也就是很难识别此类URL。据谷歌工程师透露，目前谷歌针对此类URL还是能够识别的，其他搜索引擎目前技术还没有达到。