请选择 进入手机版 | 继续访问电脑版

苏苏网赚论坛

 找回密码
 立即注册
查看: 469|回复: 0

java爬虫代理如何实现

[复制链接]
发表于 2019-6-24 14:24:57 | 显示全部楼层 |阅读模式
无论是使用java、Python爬取数据,都会出现IP被封的情况,所以就需要使用代理IP替我们操作。我一般会利用Java的HttpClient包,来加入动态代理功能,我使用的是河马IP代理,当然你也可以选择其他的代理提供商。
1、先声明一个代理类
2、声明一个HttpClient 对象,设置好超时时间
3、设置河马IP代理
4、测试当前的代理是否有用
5、得到服务器是否对我们进行屏蔽,如果返回的是SC_FORBIDDEN,代表被屏蔽的,那么我们就一个一个代理去试,也就是调用第四步的函数去判断当前的代理是否有用

咨询KOU:337292404
热帖推荐
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!十年老站!

GMT+8, 2024-3-29 16:52 , Processed in 0.140400 second(s), 23 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2022 苏苏网赚论坛 版权所有 | 10年老品牌

快速回复 返回顶部 返回列表