模拟蜘蛛爬行检查死链阳

ad23695421

　　随着网站内容的不断增加，免不了会有一些链接失效，此称为死链接。死链接的危害是很大的，会让人对你网站的管理失去信心，从而失去一部分访客。但要手工一条一条检查，简直是天方夜谭!www.DeadLinks.com 十个不错的死链检查工具，1分钟之内就能检查你整个网站所有的链接情况。
　　在网址输入框中输入您的网站或博客主页地址，则小蜘蛛会读你的HTML代码，并检查损坏的链接。同时蜘蛛则会**成两类链接，内部(同一个主机上)和外部(将外部的链接到不同的网域)。一旦放入你的入口网址，蜘蛛将访问您的网站和并且检查所有链接的状态。当完成，您会看到一个报告显示，不仅仅包括404的状态，还包括发现的所有死链接。
　　注：蜘蛛不能抓取框架内的链接或JavaScript或Flash内的链接 。
　　常见问题解答:
　　什么是蜘蛛的用户代理?
　　蜘蛛的用户代理是： “网上链接校验( http://www.dead-links.com/ )
　　蜘蛛的IP地址是什么?
　　蜘蛛的IP地址是216.93.174.12 。
　　我怎样才能确认蜘蛛留在我服务器上的日志文件?
　　根据任何2条日志信息，您可以确认蜘蛛已访问过您的服务器。
　　在抓取大量的网页时，是否有什么限制?
　　蜘蛛有这样一个限制，每个域25页和150外部文件，最高执行时间为15分钟。
　　如果蜘蛛在访问期间发现一个链接指向http://www.dead-links.com，同一个域页数限制增加至150个，和外部的网址增加到500 ，同时也增加了执行时间。
　　蜘蛛是否也遵守robots.txt协议?
　　我们正在研发中，该议定书是尚未确定。
　　我可以拦截蜘蛛访问我的网站吗?
　　是的，无论是阻止用户代理或蜘蛛的IP地址，您都可以这样做。
　　什么是mime类型?
　　访问信息： MIME类型。
　　.
　　什么是网址是什么?和查询字串?
　　访问：资讯的网址和查询字符串。
　　蜘蛛是否认识frame， Javascrip， Java语言，影像地图中的链接吗?
　　现在，机器人并不承认这种链接或重定向：
　　•frames内的链接
　　• JavaScript中的链接
　　• Java applets的内部链接
　　•Flash对象的内部链接
　　• iframes中的内部链接
　　•影像地图的内部链接
　　•使用重定向元刷新标记
　　在您的搜索引擎排名，这些情况产生的负面影响，这是很重要的。
　　所以，如果蜘蛛在抓取您的网站是没有任何问题，说明您的网站，搜索引擎优化的非常好。
　　蜘蛛报告说，我的网站中有0个链接，是怎么回事呢?
　　原因可能是您所使用了上述的哪种技术或链接。
　　是否有任何教程，以优化我的网站搜寻引擎?
　　是的，请访问：搜索引擎的指引。
　　在第一个字段中放入你的链接(指向您网站的链接) 。
　　第二，在文本框中输入您需要做链接分析的网站链接清单。蜘蛛不需要您的链接伙伴的HTML代码就可以一个又一个抓取指向你网站的链接。
　　那您就必须置入确切可以找到的链接地址。
　　蜘蛛不能访问置于frames，JavaScript ， Flash或服务器脚本中的链接。
　　来源:厦门搜索引擎优化(SEO)观察室
http://www.zqyxbj.com
http://www.sjkfw.com