请选择 进入手机版 | 继续访问电脑版

苏苏网赚论坛

 找回密码
 立即注册
查看: 223|回复: 0

URL被重定向不能爬取信息?使用Scrapy解决301.302

[复制链接]
发表于 2019-6-26 11:35:59 | 显示全部楼层 |阅读模式
状态码301,302是什么意思

301 Moved Permanently(永久重定向) 被请求的资源已永久切换到新位置,而且以后所有对这一资源的引用都会使用本响应返回的若干个URI之一。

第一种解决方法

在Request中把Scrapy的dont_filter=True,由于Scrapy是默认过滤掉重复的请求URL,添加上参数以后尽管被重定向了也可以请求到正常的数据

# example

Request(url, callback=self.next_parse, dont_filter=True)

第二种解决方法

在scrapy框架中的 settings.py文件里加上

HTTPERROR_ALLOWED_CODES = [301]

第三种解决方法

运用requests模块碰到301和302问题时



爬虫代理IP提取扣扣337292404
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!七年老站!

GMT+8, 2019-12-7 18:21 , Processed in 0.074073 second(s), 21 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2019 苏苏网赚论坛 版权所有 | 7年老品牌

快速回复 返回顶部 返回列表