请选择 进入手机版 | 继续访问电脑版

苏苏网赚论坛

 找回密码
 立即注册
查看: 31|回复: 0

爬虫如何爬取糗事百科搞笑图片的

[复制链接]
发表于 2019-7-4 13:56:49 | 显示全部楼层 |阅读模式
本文关键词:糗事百科,河马爬虫代理

糗事百科里面高效的段子和图片可真是不少。想看更多吗?今天我们就来看看,爬虫是怎么帮助你看到更多百科搞笑的图片的,选择热图,右键检查,查找我们需要爬取的内容位置。

代码如下:

import os

import requests

import re

def get_img_url(page_content):

s = r'src="(.+?\.jpg)"'

return re.findall(s,page_content)

xiubai_url = r'http://www.qiushibaike.com/imgrank/'

pic_list = get_img_url(requests.get(xiubai_url).content)

#print pic_list

i = 0

for pic_url in pic_list:

fd = open(str(i) + '.jpg','w+')

print fd

pic = requests.get('http:' + pic_url)

if pic.status_code is not 200:

fd.close()

continue

else:

fd.write(pic.content)

i += 1

fd.close()

通过以上代码,我们就可以获取到糗事百科的搞笑图片了。河马爬虫代理,智能链路优质IP线路,最优化资源使用、最大化吞吐率、最小化响应时间,保护用户的隐私信息,实现100%高匿。扣扣:闪闪起而酒儿思凌思
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!七年老站!

GMT+8, 2019-8-20 18:43 , Processed in 0.069122 second(s), 21 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2019 苏苏网赚论坛 版权所有 | 7年老品牌

快速回复 返回顶部 返回列表