发现百度蜘蛛爬行的一个小小规律

ghcomputer

百度蜘蛛爬行会在IIS 日志里面留下记录，一般正常爬行的日志为 可能有些站长注意到有些，对于这个代码没有一个确切的定论，一般认为是非正常爬行，该页很大可能不被收录，原因有很多种，我猜测是因为和其他网页相似度高或者页面关键词累积。但是该它会对该页面进行再次考察，蜘蛛过不了多长时间就会再次爬行到这个页面检查是否有改正，如果符合它的收录要求的话，日志上。