如何避免蜘蛛陷阱

wenjin123

蜘蛛陷阱是指网站设计技术对搜索引擎不太友好，不利于蛛蛛爬行和抓取的技术。在这里我要说一下应该从哪几方面避免蛛蛛陷阱！
1 Flash
特别要注意避免网站首页和导航栏使用flash，这是来得的蜘蛛陷阱，搜索引擎无法读取flash中的文字内容和链接就不能爬行其它页面了。
2 Session ID
每个用户访问网站时都会生成独特唯一的Session ID，加在URL中。搜索引擎蛛蛛的每一次访问也会被当成一个新的用户，URL中会加上一个不同的Session ID，这样搜索引擎蜘蛛每次访问时所得到的同一个页面的UTL将不一样，后面带着一个不一样的Session ID。这样会造成大量的重复的内容，对网站优化不利。
3 跳转
搜索引擎除了301转向，对其它形式的跳转都比较敏感，如302跳转、JavaScript跳转、Flash跳转、Meta Refrdsh跳转。
4 框架结构
对搜索引擎来说，女人街访问一个使用框架的网址所抓取的HTML只包含调用其他HTML文件的代码，并不包含任何文字信息，搜索紫苑根本无法个网址的内容是什么。虽然蜘蛛可以跟踪框架中所调用的其它HTML文件，但是这些文件经常是不完整的页面，比如没有导航只是正文。搜索引擎也无法判断框架中的页面内容应该属于主框架，还是属于框架调用的文件。
5 动态URL
动态URL指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行，应该昼避免。
6 JavaScript链接
虽然有的搜索引擎在技术上可以JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对一些权重比较低的网站，搜索引擎觉得没有必要，不会费那个劲。
7 要求登录
一部分网站内容放在需要用户登录之后才能看到的会员区域，女人街这部分内容搜索引擎动无法看到。
8强制使用Cookies
有些网站为了实现某种功能，如雇用户登录信息、跟踪用户访问路径等，强制用户使用Cookies，用户浏览器如果没有启用Cookies，页面显示不正常。搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器，强制使用Cookies只能造成搜索引擎蜘蛛无**常访问。