[已解决]爬虫选择器用哪一个比较好？？

kerwin_lui

爬虫四大选择器：

1. 正则表达式
2. xpath
3. BeautifulSoup
4. pyquery CSS选择器

讨论：
最近在学习爬虫，不知道各位大神在爬虫的时候最常使用的是哪个选择器？（哪个最实用）
能否列举一下自己遇到过的哪些坑，让新入门的菜鸟可以有个前车之鉴，，避免重蹈覆辙！！

感谢~~

最佳答案

月排行榜 / 总排行榜

Charles未晞

2018-5-25 19:38:23

css和xpath有些地方挺相似的。。。
XML Path Language没在爬虫里用过，批量转VOC的label的时候用过，效率还行吧。。。
爬虫个人选择：
正则/beautifulsoup。。。据说正则比较快，但beautifulsoup很容易上手。。。因为都是我自己写着玩的，所以也没什么直观的感觉。。。不是商用或者数据量极大的话beautifulsoup应该是最实用的。。。
网页的抓包分析，各种加密算法等等斗智斗勇的活动很多，没必要死磕正则。
Emmm，逃离案发现场。。。

跳转到最佳答案楼层

alltolove

正则

Charles未晞

css和xpath有些地方挺相似的。。。
XML Path Language没在爬虫里用过，批量转VOC的label的时候用过，效率还行吧。。。
爬虫个人选择：
正则/beautifulsoup。。。据说正则比较快，但beautifulsoup很容易上手。。。因为都是我自己写着玩的，所以也没什么直观的感觉。。。不是商用或者数据量极大的话beautifulsoup应该是最实用的。。。
网页的抓包分析，各种加密算法等等斗智斗勇的活动很多，没必要死磕正则。
Emmm，逃离案发现场。。。

kerwin_lui

Charles未晞 发表于 2018-5-25 19:38
css和xpath有些地方挺相似的。。。
XML Path Language没在爬虫里用过，批量转VOC的label的时候用过，效率 ...

哈哈，你都成我专属老师了，谢谢

清风揽月shine

没有最好 只有更好  相互结合使用 棒棒的