URL被重定向不能爬取信息？使用Scrapy解决301.302

jnPvp958

状态码301,302是什么意思

301 Moved Permanently（永久重定向） 被请求的资源已永久切换到新位置，而且以后所有对这一资源的引用都会使用本响应返回的若干个URI之一。

第一种解决方法

在Request中把Scrapy的dont_filter=True，由于Scrapy是默认过滤掉重复的请求URL，添加上参数以后尽管被重定向了也可以请求到正常的数据

# example

Request(url, callback=self.next_parse, dont_filter=True)

第二种解决方法

在scrapy框架中的 settings.py文件里加上

HTTPERROR_ALLOWED_CODES = [301]

第三种解决方法

运用requests模块碰到301和302问题时



爬虫代理IP提取扣扣337292404