浅谈吸引蜘蛛的办法

ryanzlf

在高速公路上经常会有清道工人清理道路。这样才能保证高速公路时刻畅通。搜索引擎蜘蛛的爬行路径和高速公路一样，要经常清理路径，才能保证搜索引擎能够正常索引网站。

有些链接对用户来说很简单，但是对搜索引擎可能是不友好的，搜索引擎是自动的，所以不会像人类访问者那样填写注册表单。如果链接到站点上的页面所需的操作不仅仅是沿着 HTML 锚标记走，那么这个链接可能会对搜索引擎隐藏。

这意味着 JavaScript、Flash、frames 和 cookie 也会造成问题。如果您的 Web 页面没有这些技术就根本无法显示，那么页面就不会被爬行器编入索引。另外，如果用户需要这些技术才能使用链接，那么搜索引擎就无法沿着链接前进。

即使您避免使用这些惹麻烦的技术，仍然可能会给爬行器造成阻碍。爬行器对 HTML 代码的正确性要求非常严格 —— 浏览器就要宽容多了。在浏览器中看起来很好的页面却可能阻碍爬行器，这会使爬行器看不到或误解整个页面或部分页面。HTML 检验服务和 Firefox 浏览器可以发现这些错误。
清理了爬行器路径之后，必须确保爬行器是受欢迎的。最明显的建议是，当爬行器到达时，确保站点正在运行，能够做出响应。因为不知道爬行器什么时候会访问您的站点，频繁地停机（即 “维护时间窗”）会有风险，如果爬行器在站点停机时到来，它就会认为站点是失效的，从而转到其他站点去。
如果你的网站的相应数据速度非常慢，这是搜索引擎爬虫非常不喜欢的网站。如果一个网站，搜索引擎访问速度很慢的话，那么这个网站被收录的页面必定很少，因为在相同时间搜索引擎可以在其他网站索引到更多的页面。
本文由： 橡胶支座http://www.hsguangfa.com 负责整理，转载请注明，谢谢