鱼C论坛

 找回密码
 立即注册
查看: 3717|回复: 26

[作品展示] [python爬虫练习] 爬取鱼C论坛朋友圈,看看谁的朋友最多

[复制链接]
发表于 2016-12-22 13:33:52 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
爬虫还是很有趣的,可以利用爬虫做很多事情,今天我们就来看看鱼C论坛上谁的朋友最多。

(本程序仅仅为了做测试和练习爬虫,并不想增加服务器负担,所以我设置了爬取上限50位,当然爬取更多也是一样可行的。如果要爬取大量数据的话,可以增加多线程爬取,以提高效率。当然在爬取过程中,可以把用户信息一并抓下来,不过我只是测试并没有抓取。)

贴一下爬到的数据:
  1. '沉ジ寞': ['牡丹花下死做鬼', '小甲鱼', '拈花小仙', '沉思者', '福禄娃娃', 'Angel丶L', '怡静', 'makefile', '~风介~'], '小布丁': [], '怡静': ['小甲鱼', '牡丹花下死做鬼', 'Crazy迷恋.', '竹林小溪', '福禄娃娃', 'ygrong_2008', '狂潮丶', '红头发', 'qiusuo', '永驻零一', '友来友网', '沉ジ寞', '情缘', '小布丁', '渔夫钓小鱼', '拈花小仙', 'comeheres'], '无名侠': ['康小泡', '小甲鱼', '拈花小仙', '牡丹花下死做鬼', '黑龍', '~风介~', '怡静', 'Minhal', '漩涡鸣人', '沉ジ寞', '福禄娃娃', '430524tian', 'chishubiao', '小名明SIU', '正在写代码', '101℃太阳', 'Angel丶L'], '竹林小溪': ['牡丹花下死做鬼', '怡静', '小甲鱼', '黑龍', '康小泡', 'Angel丶L', '拈花小仙', 'Crazy迷恋.', '红头发', '福禄娃娃', '~风介~', '颓废的青春', 'zer0', '沉思者', 'chishubiao', '渔夫钓小鱼', '压寨宝宝'], 'Angel丶L': ['牡丹花下死做鬼', '拈花小仙', '小甲鱼', '~风介~', '康小泡', '沉ジ寞', 'freeparty', '竹林小溪', '大黑鱼', '怡静', '小靚同学Leon', '小人', '百日维新', 'fayisan', 'Pathfinder', 'comeheres', '永远前进的人'], '永驻零一': ['怡静', '战狼破晓', '我在你身邊', 'wwwxinyu1990', '℡.xiao敏'], 'Crazy迷恋.': ['怡静', '牡丹花下死做鬼', '福禄娃娃', '竹林小溪', '沉思者', '狂潮丶', '我在你身邊', '红头发', '编程难', 'S_18', 'aces', 'zer0', 'メ㊣逆ご帅☆', '渔夫钓小鱼', '许小恩', 'jinzhe', 'wkwkwk'], 'メ㊣逆ご帅☆': [], 'freeparty': ['小甲鱼', 'Angel丶L', '怡静', '拈花小仙', '牡丹花下死做鬼', 'wei_Y', '百日维新', '挥舞乾坤', '仰望天上的光', '雪是梅之香', 'machimilk', '贝壳', '小靚同学Leon', 'chishubiao', '~风介~', '康小泡', 'Minhal'], '仰望天上的光': ['小甲鱼', '拈花小仙', 'wuxiaojun', '牡丹花下死做鬼', 'longdeqidao', '小甲鱼的徒弟', '福禄娃娃', '沉思者', '湮汐', '欣欣celin', '大黑鱼', '追忆lh', 'yuexinBW', 'aces', 'tsembrace', '怡静', 'gwcome'], '我在你身邊': ['怡静', '牡丹花下死做鬼', 'Crazy迷恋.', '高凯', '静封五百万年', '大苹果', '渔夫钓小鱼', '脾气不坏', '竹林小溪'], 'Minhal': [], '友来友网': ['怡静', '小布丁', '福禄娃娃', '沉思者', '生活!', '起什么名字', '湮汐', 'Cfree', '拈花小仙', '正在写代码', 'aces', 'zer0', '为梦而生', 'Skyline', '野蛮酋长', 'FangDaRen', '永远前进的人'], 'sidfate': ['拈花小仙', '~风介~', '小甲鱼', 'aces', '喜欢散步', 'Qyears', '康小泡', 'Angel丶L', '宋桓公', 'yu457001', 'elvo'], '情缘': ['怡静', '喵﹍咕', 'laiwenyou', '仰望天上的光', 'メ㊣逆ご帅☆'], '红头发': ['牡丹花下死做鬼', '怡静', '竹林小溪', '福禄娃娃', 'comeheres', 'Crazy迷恋.', 'yinyuepingguo', '霸气外露', '拈花小仙', 'Angel丶L', '正在写代码', '小布丁', 'Seandor', '仰望天上的光', 'Minhal', '康小泡', '~风介~'], 'machimilk': ['拈花小仙', 'zlh', '黑龍', '欣欣celin', '灭·世', 'freeparty', 'Angel丶L', '康小泡', '~风介~', 'sunCoder', '〃忝書γě渎ぐ', 'lixiaoshuai', '694861283'], '秋舞斜阳': [], '福禄娃娃': ['牡丹花下死做鬼', '沉ジ寞', '小甲鱼', '正在写代码', '狂潮丶', 'Crazy迷恋.', '0c那似暮霭', '乱闯', '拈花小仙', '风萧水寒', '红头发', '竹林小溪', 'comeheres', '怡静', '冻死的鱼鱼', '仰望天上的光', 'my_angel', 'zhaopengfei', 'Ez疯'], '百日维新': ['小甲鱼', '拈花小仙', '怡静', '康小泡', '雪是梅之香', 'hacker.jin', '大黑鱼', 'freeparty', '小人', '破灬王', 'Angel丶L', '花生', 'Minhal', '喵﹍咕', '小甲鱼的二师兄', '牡丹花下死做鬼', 'wei_Y'], '小生我怕怕': [], 'wei_Y': ['~风介~', '破渔网兜兜', '不二如是', '小甲鱼', '戴宇轩', '康小泡', '挥舞乾坤', '无符号整形', 'lightninng', '拈花小仙', '瞬秒爆加速', '小甲鱼的二师兄', '小人', 'bevin', 'freeparty', '小树', 'SixPy'], '不二如是': ['~风介~', 'wei_Y', '小甲鱼', '无符号整形', '小树', 'silypho', 'qwe1231069', '拈花小仙', 'zzzz76', 'alltolove', '小人', '康小泡', 'Minhal', 'joker11111', '零度非安全', '水巷00001111', '会魔法的魔法'], '格式天下': ['拈花小仙', '莫名其妙', '福禄娃娃', '狂潮丶', '永远前进的人', '~风介~', '守夜人', 'lukelqz', '︶ㄣ痕迹の天涯', '季末、梨花雨落', '源代码', 'shenyaowen', '怡静', '565123', '海马濑人', '丿夏夜灬彬刂', '心空草'], '无符号整形': ['~风介~', '拈花小仙', '小甲鱼', '不二如是', 'SixPy', '康小泡', 'Minhal', 'wei_Y', '冬雪雪冬', '迷雾少年', 'zlh', 'shuofxz', 'hldh214', '阁龙1427', '人zai旅途', '〃忝書γě渎ぐ', '小树'], '拈花小仙': ['machimilk', '仰望天上的光', '牡丹花下死做鬼', 'メ㊣逆ご帅☆', '小甲鱼', '格式天下', '565123', 'comeheres', '小布丁', '黑夜', '会、飞的鱼', 'sidfate', 'my_angel', '浮砂', '~风介~', 'Angel丶L', '沉ジ寞', '怡静', '青玄'], 'ygrong_2008': [], '杞人': ['牡丹花下死做鬼', '无所无谓', '海柯', '堕落づ天使', '空间微粒', 'ever.g', 'bui159', '怡静', '划过天空的猪', 'BuffereReader', 'cmaomao', 'huangliyao', '拈花小仙', '福禄娃娃', 'h2323734288', '五号智能', '正在写代码'], '565123': ['拈花小仙', '怡静', '仰望天上的光', '小布丁', '高凯', '福禄娃娃', '青春@无限', '浅唱忧伤', 'liaharward', '格式天下', 'wuxiaojun', '喵﹍咕', 'lukelqz', '无知', '丿夏夜灬彬刂', '小新110'], '黑夜': [], '会、飞的鱼': ['拈花小仙', '牡丹花下死做鬼', '怡静', '福禄娃娃', 'MD君', 'freeparty', 'C瓶', 'Minhal', '沉思者', '李全杰', '枫叶情', 'Angel丶L', '玩酷子弟lv', 'cuibaowenown2', '黑夜', '仰望天上的光'], '~风介~': [], '青玄': ['拈花小仙', '小甲鱼', '牡丹花下死做鬼', '沉ジ寞', 'freeparty', '隨鈊乄鎍慾', '欣欣celin', 'springwindyike', 'Angel丶L', '福禄娃娃', '大黑鱼', '零度非安全', '康小泡', '小靚同学Leon', '沉思者', 'elvo'], '牡丹花下死做鬼': ['怡静', '小甲鱼', '拈花小仙', '竹林小溪', 'Angel丶L', '沉ジ寞', 'Crazy迷恋.', '福禄娃娃', '小布丁', '红头发', '黑龍', '无名侠', '仰望天上的光', '我在你身邊', '康小泡', '杞人', '青春@无限'], '渔夫钓小鱼': ['怡静', '牡丹花下死做鬼', 'D.调dē哗丽', '我在你身邊', '竹林小溪', '拈花小仙', '福禄娃娃', 'aces', 'chishubiao', '南风烟雨五庄观', '脾气不坏', 'Crazy迷恋.', '如阳光般刺眼'], 'qiusuo': ['怡静', 'gj8438'], '狂潮丶': [], '康小泡': ['~风介~', '小甲鱼', 'chishubiao', '拈花小仙', '无符号整形', '小甲鱼的二师兄', '牡丹花下死做鬼', 'freeparty', 'wei_Y', '蚯蚓翔龙', '黑龍', 'Angel丶L', '无名侠', '百日维新', '向往青莲', '不二如是', 'pengyuwa'], '℡.xiao敏': [], '青春@无限': ['小甲鱼', '牡丹花下死做鬼', '怡静', '福禄娃娃', '小布丁', '拈花小仙', 'Potato丶', '沉思的牛', '狂潮丶', '925799667', 'Angel丶L', 'ylo523', '永远前进的人', '565123', '喵﹍咕', '高凯', '凉点水'], '喵﹍咕': ['小甲鱼', 'longdeqidao', '徐颖科', '康小泡', '拈花小仙', '百日维新', 'Htbs、', '沉思者', '衣冠者禽兽也', '丶Crush°', '不二如是', 'freeparty', '大黑鱼', 'Angel丶L', '福禄娃娃', '红头发', 'Dardy'], '小人': [], '大黑鱼': ['拈花小仙', '小甲鱼', 'Angel丶L', '百日维新', '沉思的牛', '怡静', '~风介~', '左半边的翅膀丶', '牡丹花下死做鬼', '福禄娃娃', '康小泡', '仰望天上的光', '小甲鱼的二师兄', '黑夜', '喵﹍咕', 'vicdd', '向往青莲'], '浮砂': ['拈花小仙', '福禄娃娃'], '小靚同学Leon': ['小甲鱼', 'Angel丶L', '拈花小仙', '怡静', 'freeparty', 'Nmboy', '青玄'], 'comeheres': ['小甲鱼', '怡静', '凉点水', '过默', 'by024', '红头发', 'Angel丶L', 'Seandor', '福禄娃娃', '维儿网络营销', '许小恩', 'Biner', '南方的人', '希望', 'bestainan', '悠悠清风', 'shenyaowen'], 'my_angel': ['拈花小仙', 'GHOST-DN', '怡静', '福禄娃娃', 'cainiao367', 'csa', '起什么名字', '新手学习中', 'Nmboy', 'springwindyike', '蜘蛛X', 'viincy', '田门吹雪', 'shenyaowen', 'WylLy', '沉思者', 'swsm'], '黑龍': ['小甲鱼', '无名侠', '牡丹花下死做鬼', '康小泡', '竹林小溪', 'zlh', '拈花小仙', 'Angel丶L', 'machimilk', '怡静', '~风介~', 'Minhal', '阴影中的曙光', 'freeparty', 'ebloke', '迷雾少年', 'chishubiao'], '小甲鱼': ['怡静', '牡丹花下死做鬼', '拈花小仙', '~风介~', 'Angel丶L', '沉ジ寞', '秋舞斜阳', '不二如是', '喵﹍咕', '康小泡', '黑夜', 'Minhal', '无符号整形', '黑龍', '℡.xiao敏', 'wei_Y', '小生我怕怕']
复制代码


源代码:
游客,如果您要查看本帖隐藏内容请回复

评分

参与人数 1鱼币 +5 收起 理由
SixPy + 5 热爱鱼C^_^

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-22 13:36:16 | 显示全部楼层
本帖最后由 jerryxjr1220 于 2016-12-22 13:37 编辑

爬取的原理就是利用朋友圈找朋友,不断获取朋友圈中所有朋友的朋友,不断外连。
为了避免重复爬取,设置了过滤,详见源代码。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-12-22 17:29:24 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-12-22 18:14:24 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

头像被屏蔽
发表于 2016-12-22 19:10:24 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2016-12-28 19:31:43 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-2 11:40:48 | 显示全部楼层
111111111
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-26 19:42:22 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-28 09:35:34 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-28 14:52:35 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-8-9 14:50:54 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-4-23 11:47:49 | 显示全部楼层
1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-4-24 13:38:10 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-4-24 14:05:55 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-5-6 17:08:26 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-6-12 15:35:14 | 显示全部楼层
学习 谢谢星谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-8 17:58:49 | 显示全部楼层
厉害~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-9 23:03:18 | 显示全部楼层
看看·
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-13 21:24:27 | 显示全部楼层
7
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-13 21:34:16 | 显示全部楼层
只能66666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 13:40

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表