QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码

主题

帖子

荣誉

VIP至尊会员

Rank: 15Rank: 15Rank: 15

积分
519
查看: 1778|回复: 71

[作品展示] 使用Python爬取正方教务系统在校成绩

[复制链接]
最佳答案
6 
累计签到:95 天
连续签到:3 天
mgsky1 发表于 2018-2-16 22:17:47 177871 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 mgsky1 于 2018-2-19 22:51 编辑

今天刚完工的,跟着@小甲鱼 的教程,用所学的知识完全是可以实现的,度娘上的参差不齐,还有人投机取巧去除验证码的,但是这个不一定管用,至少我们学校是行不通的~就没怎么参考度娘的。这段代码托管在Github,后面有链接。
关键点有两个:
1、抓包,看请求头,看看浏览器到底提交了什么给服务器,正方的系统是用Asp.Net写的,有一个ViewState很关键
2、可持续的Cookie,如果没有Ta的话,因为服务器健忘,就会忘了你是谁了
这段程序用到了
1、cookiejar与opener的绑定
2、pickle持久化存储,终于体会到了腌泡菜的感觉
3、简单正则
4、BeautifulSoup
5、PrettyTable 主要用于输出更美观

效果图
游客,如果您要查看本帖隐藏内容请回复


今天把思路稍微写了一下,包括整个的前期的分析过程,最后的BeautifulSoup4的分析感觉写的不咋地,毕竟当时也是根据文档和需求摸索的,
游客,如果您要查看本帖隐藏内容请回复


各位看官觉得好的,又有Git账号的,点个Star哦~
楼层
跳转到指定楼层
最佳答案
190 
累计签到:143 天
连续签到:1 天
°蓝鲤歌蓝 发表于 2018-2-16 22:34:07 | 显示全部楼层
最佳答案
2 
累计签到:182 天
连续签到:11 天
孤独的嫖客 发表于 2018-2-16 22:37:29 | 显示全部楼层
本帖最后由 孤独的嫖客 于 2018-2-16 23:41 编辑

瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组,欢迎大牛进群接受指导。什么性能,什么语言,都是浮云。够简洁,就Python!(非培训机构,一起学习,祝大家新春快乐!)


                               
登录/注册后可看大图

更新一下:
小甲鱼老师视频入门OK,0基础确实合适,但是爬虫/web开发/数据分析等方向,建议还是看时间就近的视频比较好
我看了你的代码
用的包都是老包了
直接用request包的Session()就可以保存会话,
urllib这包已经过时了,当然不否认还可以用
最佳答案
0 
累计签到:3 天
连续签到:1 天
LEIpeng 发表于 2018-2-16 23:10:30 | 显示全部楼层
感谢分享
最佳答案
29 
累计签到:175 天
连续签到:1 天
像番茄加两个蛋 发表于 2018-2-17 08:42:39 | 显示全部楼层
感谢分享
最佳答案
0 
累计签到:138 天
连续签到:2 天
郭先森 发表于 2018-2-17 12:25:36 | 显示全部楼层
最佳答案
6 
累计签到:95 天
连续签到:3 天
mgsky1  楼主| 发表于 2018-2-17 23:26:18 From FishC Mobile | 显示全部楼层
我觉得这个是不是要放到作品展示区好点⊙▽⊙
最佳答案
6 
累计签到:95 天
连续签到:3 天
mgsky1  楼主| 发表于 2018-2-17 23:31:18 From FishC Mobile | 显示全部楼层
孤独的嫖客 发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组,欢迎大牛进群接 ...

多谢建议哦~一起进步(^_^)
最佳答案
0 
累计签到:3 天
连续签到:1 天
laoxing 发表于 2018-2-17 23:41:26 | 显示全部楼层
最佳答案
0 
累计签到:9 天
连续签到:4 天
哈n0 发表于 2018-2-18 01:06:34 | 显示全部楼层
最佳答案
0 

尚未签到

shiwenhu 发表于 2018-2-18 16:17:49 | 显示全部楼层
谢谢楼主分享
最佳答案
0 
累计签到:2 天
连续签到:2 天
KarRoystine 发表于 2018-2-18 20:59:26 | 显示全部楼层
gh
最佳答案
0 
累计签到:25 天
连续签到:1 天
qiuyouzhi 发表于 2018-2-19 07:52:21 | 显示全部楼层
谢谢
最佳答案
1 
累计签到:133 天
连续签到:1 天
mintaka 发表于 2018-2-19 14:06:55 | 显示全部楼层
6
最佳答案
0 
累计签到:1 天
连续签到:1 天
w666666 发表于 2018-2-19 16:40:13 | 显示全部楼层
6666666666666厉害了
最佳答案
0 
累计签到:5 天
连续签到:1 天
lujin608 发表于 2018-2-19 20:11:08 | 显示全部楼层
孤独的嫖客 发表于 2018-2-16 22:37
瞅瞅看,
爬虫向朋友欢迎加入692858412Python基础/爬虫,是一个Python语言学习小组,欢迎大牛进群接 ...

嗯嗯,嗯嗯,
最佳答案
0 
累计签到:1 天
连续签到:1 天
M-Xinlei 发表于 2018-2-19 23:14:18 | 显示全部楼层
感谢分享
最佳答案
2 
累计签到:182 天
连续签到:11 天
孤独的嫖客 发表于 2018-2-19 23:53:03 | 显示全部楼层

槑,你咋来了
最佳答案
0 

尚未签到

cf_hu 发表于 2018-2-20 01:08:19 | 显示全部楼层
谢谢分享
最佳答案
0 

尚未签到

Revolver 发表于 2018-2-20 10:01:51 | 显示全部楼层
学习一下

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐 上一条 /1 下一条

    移动客户端下载(未启用)
    微信公众号

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备11014136号

Copyright 2018 鱼C论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.3 Copyright
© 2001-2018 Comsenz Inc.    All Rights Reserved.

小黑屋|手机版|Archiver|鱼C工作室 ( 粤公网安备 44051102000370号 | 粤ICP备11014136号

GMT+8, 2018-6-20 00:36

快速回复 返回顶部 返回列表