请选择 进入手机版 | 继续访问电脑版

苏苏网赚论坛

 找回密码
 立即注册
查看: 103|回复: 0

利用python 爬虫scrapy框架爬取教育部高考名单数据!

[复制链接]
发表于 2019-6-20 11:58:45 | 显示全部楼层 |阅读模式
现在要爬取一部分正规大学的名单,这些名单是教育部正是公布的具有招生资格的名单,

除了这些学校以外,其他的所谓的招生单位,什么学籍,毕业证书国家是不承认的。

我们要爬取的网址是https://daxue.eol.cn/mingdan.shtml
爬取完毕之后,我们进行一些基本的数据分析,这个小项目采用的是scrapy,关键代码

import scrapy
from scrapy import Request,Selector

class SchoolSpider(scrapy.Spider):
name = 'School'
allowed_domains = ['daxue.eol.cn']
start_urls = ['https://daxue.eol.cn/mingdan.shtml']

def parse(self, response):
select = Selector(response)
links = select.css(".province>a")

for item in links:
name = item.css("::text").extract_first()
link = item.css("::attr(href)").extract_first()

if name in ["河南","山东"]:
yield Request(link,callback=self.parse_he_shan,meta={"name" : name})
else:
yield Request(link,callback=self.parse_school,meta={"name" : name})
注意到几个问题,第一个所有的页面都可以通过第一步抓取到



河南等学校


对于两种不同的排版,我们采用2个方法处理,细节的地方看代码就可以啦!
尤其是下面对字符串的处理,
# 专门为河南和山东编写的提取方法
def parse_he_shan(self,response):
name = response.meta["name"]
data = response.css(".table-x tr")
for item in data:
school_name = item.css("td:not(.tmax)::text").extract()

if len(school_name)>0:
for s in school_name:
if len(s.strip())>0:
if len(s.split("."))==1:
last_name = s.split(".")[0]
else:
last_name = s.split(".")[1] # 最终获取到的名字
yield {
"city_name": name,
"school_name": last_name,
"code": "",
"department": "",
"location": "",
"subject": "",
"private": ""
}

# 通用学校提取
def parse_school(self,response):
name = response.meta["name"]

schools = response.css(".table-x tr")[2:]

for item in schools:

school_name = item.css("td:nth-child(2)::text").extract_first()
code = item.css("td:nth-child(3)::text").extract_first()
department = item.css("td:nth-child(4)::text").extract_first()
location = item.css("td:nth-child(5)::text").extract_first()
subject = item.css("td:nth-child(6)::text").extract_first()
private = item.css("td:nth-child(7)::text").extract_first()
yield {
"city_name":name,
"school_name":school_name,
"code":code,
"department":department,
"location":location,
"subject":subject,
"private":private
}



查看专科学校和本科学校数量差别
因为河南和山东数据的缺失,需要踢出这两个省份
import pymongo
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

client = pymongo.MongoClient("localhost",27017)
schools = client["school"]
collection = schools["schools"]

df = DataFrame(list(collection.find()))

df = df[df["code"]!=""]
# 汇总本科和专业
df.groupby(["subject"]).size()
结果显示,数量基本平衡
subject专科
1240本科
1121dtype: int64

查看各省排名

rank = df.groupby(by="city_name").size()
rank = rank.sort_values(ascending=False)

# 设置中文字体和负号正常显示
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plt.figure(figsize=(12,8),dpi=80)
plt.subplot(1,1,1)

x = np.arange(len(rank.index))
y = rank.values
rect = plt.bar(left=x,height=y,width=0.618,label="学校数目",align="center",color="#03a9f4",edgecolor="#03a9f4",)

plt.xticks(x,rank.index,rotation=45,fontsize=9)
plt.yticks(np.arange(0,180,10))

plt.xlabel("城市")
plt.ylabel("大学数量")

plt.legend(loc = "upper right")

## 编辑文本

for r in rect:
    height = r.get_height() # 获取高度

    plt.text(r.get_x()+r.get_width()/2,height+1,str(height),size=6,ha="center",va="bottom")

plt.show()

爬虫代理IP提取QQ337292404
p
回复

使用道具 举报

广告合作|最大的网赚客中文交流社区!七年老站!

GMT+8, 2019-12-12 00:26 , Processed in 0.076182 second(s), 22 queries , Gzip On.

Powered by Discuz! X3.1 VIP版

© 2012-2019 苏苏网赚论坛 版权所有 | 7年老品牌

快速回复 返回顶部 返回列表