爬虫如何爬取糗事百科搞笑图片的

jnPvp958

本文关键词：糗事百科，河马爬虫代理

糗事百科里面高效的段子和图片可真是不少。想看更多吗？今天我们就来看看，爬虫是怎么帮助你看到更多百科搞笑的图片的，选择热图，右键检查，查找我们需要爬取的内容位置。

代码如下：

import os

import requests

import re

def get_img_url(page_content):

s = r'src="(.+?\.jpg)"'

return re.findall(s,page_content)

xiubai_url = r'http://www.qiushibaike.com/imgrank/'

pic_list = get_img_url(requests.get(xiubai_url).content)

#print pic_list

i = 0

for pic_url in pic_list:

fd = open(str(i) + '.jpg','w+')

print fd

pic = requests.get('http:' + pic_url)

if pic.status_code is not 200:

fd.close()

continue

else:

fd.write(pic.content)

i += 1

fd.close()

通过以上代码，我们就可以获取到糗事百科的搞笑图片了。河马爬虫代理，智能链路优质IP线路，最优化资源使用、最大化吞吐率、最小化响应时间，保护用户的隐私信息，实现100%高匿。扣扣：闪闪起而酒儿思凌思