使用Python批量获取学生期末考试成绩

小程序：扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序

以下是我们学校对于期末考试成绩临时查询的一个网站

我突发奇想，可不可以通过爬虫的方式批量获取成绩信息

于是说干就干

首先观察网页的请求

通过查看，我们可以很明显看到网站查询是通过对https://wxzx.cqyti.com/wxProject/ScoreQuery.do进行post请求而来的，令人惊讶的是网页上要填写的姓名和辅导员根本没有post上去

这大大降低了我们爬取数据的难度！！！

我们可以看到，只post了三个数据分别是

所以我们只需要通过循环生成xh所对应的学号在带上固定的“year”和“term”即可

首先载入所需要的库

import requests
import re

定义请求的url和伪装请求头

#定义请求的url
url = 'https://wxzx.cqyti.com/wxProject/ScoreQuery.do'
#定义请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'
}

接下来就是获取数据了

首先我们需要打开一个文本文件用于写入最终的结果

我们定义一个sum来提示我们已经录入了多少

#post的数据
file = open("E:/成绩.txt", "w")
sum = 0 #用于提示总共记录了多少学生
for i in range(2019211600,2019211711):
head = '学号为%d的同学的成绩\n'%(i) #准备好同学的学号用于写入 print (head) #用于提醒正在记录的同学的学号
data = {'xh' : str(i) , 'year' :'2019-2020' , 'term':'' } #定义data 将生成的学号放入 # 发起post请求
res = requests.post(url=url ,headers=headers,data =data)
data_get = res.json()

接下来我们来分析一下所保存的data文件

我们可以很清楚的看到我们所需要的信息就在data_get中的"xskscj”内的 "scorename"与"value"中因此我们可以直接从data_get中切片选取

#写入文本
k = 0 #初始化k的值，用于接下来遍历字典 file.write(head) #将学号写入文本
for ii in data_get['xskscj']: #通过循环遍历字典将成绩和学号写入文本 kecheng = data_get['xskscj'][k]['scorename']
fenshu = data_get['xskscj'][k]['value']
k=k+1
jieguo = kecheng + ':' + str(fenshu)+'分 '
print(jieguo) file.write(jieguo)
file.write('\n')
print('录入成功')
sum= sum + 1 # 用于计算录入的同学总数
print('共计录'+ str(sum) + '名同学')

最后记得关闭文本文件

file.close() #关闭文本文件

最后经过简单的调试就ok啦