【爬虫】url不变：对_doPostBack分页的解决方法

脑子

前几天爬网页的时候遇到点问题，对翻页之后URL不变的网页很迷茫，查看源码后发现是采用_doPostBack分页，折腾了几天得出结果，记录一下。

问题详见我前几天发的求助帖：http://bbs.fishc.com/thread-105390-1-1.html

====================================================================================================
对于_doPostBack分页的解决方法，就是 DO POST BACK！

也就是采用post的方法来访问网页：
比如，对于以下这个网址：http://www.science-weekly.cn/MoreList.aspx?id=1

踩点后有发现：
1.审查翻页按钮：
使用了_doPostBack分页：


2.network：
翻页的时候form data里参数在改变：
第四页：

第三页：


于是post formdata中的几个参数：
1.viewstate:疑似乱码，其实是base64编码，可以在网上找个在线解码的网站研究下规律：

每页的viewstate的值是一样的，都是第一页内容的base64编码。

2.__EVENTTARGET:一直不变，是List1$AspNetPager1

3.__EVENTARGUMENT:就是需要翻到的页数

即：

1. def open_url(url,page_num,viewstate):
   
2.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36'}
   
3.     values={'__VIEWSTATE':viewstate,'__EVENTTARGET':'List1$AspNetPager1','__EVENTARGUMENT':page_num}
   
4.     data = urllib.urlencode(values)
   
5.     req=urllib2.Request(url,data,headers)
   
6.     page=urllib2.urlopen(req)
   
7.     html=page.read()
   
8.     return html

复制代码

那viewstate上哪找呢？
不变的URL指向第一页，那就在第一页中的源码中找就好啦：


这样就可以实现URL不变的翻页了！