百度是通过什么辨别网站内容更新了没有

hsutom

搜索引擎主要通过访问网页的http状态码识别网站是否有内容更新。
我们访问网页的时候都会发送一个访问请求，http作为远程服务器端的应答；打开一个新网页时，http返回200状态码，同时网页会被保存到本地，记录访问时间A。当我们到时间B的时候再次访问网站，按下F5刷新下页面的时候，浏览器会发送一个叫 If-Modified-Since的报头，如果服务器端的这个页面在A时间到刷新结束的时候还是没有更新的话，那么他会返回一个叫304的HTTP状态代码。表示该页面没有更新，浏览器只需要读取缓存即可。
搜索引擎识别网页是否更新采用同样的工作原理，网页快照等同于保存到电脑的缓存，搜索引擎每次通过网页快照来对比我们网站发送的HTTP状态代码，如果是200那就表示网页上有新的内容了，如果是304，搜索引擎就直接走掉了。继续去F5其他的页面，这样快速的发送if-modified-since报头，快速的查看返回的HTTP状态代码，就可以识别互联网上那些页面更新了，那些页面没有更新。