python小练习（054）：爬取大众点评网美食版块+数据库储存+大数据分析（四）

jerryxjr1220

python小练习（053）：爬取大众点评网美食版块+数据库储存+大数据分析（三），传送门

真正好的数据清洗，包括数据去重、规范数据格式、数据信息确认等等环节。

今天我们来简略地介绍一下数据清洗中很重要的一个环节--数据去重。

我们爬下来的那么多数据中，有很大一部分其实是重复的数据，还有很多空数据，这些数据都需要被清理掉，这样才不会对后续的统计产生大的偏差。

我们还是利用我们的SQLiteSpy数据库小工具来进行演示。

假设我们有一张如下图的表


我要去除重名，首先得按照原表格新建一张。

因为主键是不会重复的，所以我们用max（id）的方法可以获得唯一记录，命令如下：


这样就可以把筛选出的记录复制（插入）到新表中，然后删除旧表即可。


整个去重的过程大致如此。

由于这个大数据采集的项目，被另一个大项目拿去做数据源分析了，所以不便再公开出来。不过大致的大数据采集流程和方法我都已经说得很详细了。

所以，对于这个项目的分享就此终结。感谢各位的关注！

jerryxjr1220

对爬下来的大众点评的数据也同样做了去重和简单的数据清洗。
最终得到44849条有用数据。

来看看上海最贵的10家餐厅，你去过几家？


可以看到前10家里面，有3家是蛋糕的私人订制服务。

剩下的7家里No 1的是在外滩的Ultra Violet餐厅，人均消费5377 ，果然不是我这种小人物去的地方。

排名第2的竟然是一家在奉贤郊区的餐厅，出于好奇特地去看了一下评论。
原来这个餐厅里另有会所，据说什么服务都有的，去的都是什么人，老司机都懂的 ，那么价格也就不足为奇了。

剩下的都是坐落在上海最繁华地带的高档餐厅，其中日本餐占了3座，怀石料理为代表的日本海鲜料理价格确实不菲。

好吧，我承认这10家我都没去过。。。

jerryxjr1220

排除私人订制蛋糕和甜点以后，上海最贵的前20餐厅排行中，日本料理占到了12席
有钱人都喜欢吃天价日料吗？

ljfdufe

吴三石

上海人真是壕呀

jerryxjr1220

吴三石 发表于 2016-12-30 14:33
上海人真是壕呀

真正去吃的未必是上海人，只是餐厅在上海罢了

ooxx7788

楼主的帖子很好，不过算法题对我们这种非专业自学爱好者来说有点难了！
不过还是支持楼主！

jerryxjr1220

ooxx7788 发表于 2017-3-6 18:22
楼主的帖子很好，不过算法题对我们这种非专业自学爱好者来说有点难了！
不过还是支持楼主！

我也不是学计算机的，可以说和计算机完全无关，也只是兴趣而已。
对于计算机编程来说，其实算法是基础，无论是游戏还是应用或者爬虫