鱼C论坛

 找回密码
 立即注册
查看: 2768|回复: 5

关于python如何把图片放进文件夹的问题

[复制链接]
发表于 2017-7-1 22:28:57 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
楼主写了个爬虫,想把爬出来的图片的进行分类(即总文件下有多个不同的子文件夹),但是我不知道怎样用代码把爬出来的图片进行分类。以及放总文件夹内
  1. import re
  2. import os
  3. import os.path
  4. import urllib.request


  5. def open_ye(url):   #打开
  6.     try:
  7.         req = urllib.request.Request(url)
  8.         req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.6.1.15524')
  9.         
  10.         html_a = urllib.request.urlopen(req)
  11.     except:
  12.         print('打开网页失败。。。。。。。。。')
  13.     return html_a
  14.         
  15.    
  16. def other_out(url): #页面
  17.     html_b=open_ye(url).read().decode('utf-8')
  18.     #print(html)
  19.     return html_b

  20. #other_out(url)

  21. def other_ast():   #主函数
  22.     raw = int(input('输入页数:'))
  23.     for page in range(raw):
  24.         url = 'http://www.mmjpg.com/home/{0}'
  25.         url= url.format(page)
  26.         print(url)
  27.         reg = re.compile(r'<a href="http://www.mmjpg.com/mm/(\d{4})" target="_blank">')   #数字
  28.         item =re.findall(reg,other_out(url))
  29.         item= list(set(item))  #集合
  30.         
  31.         page = 1
  32.         for each in item:
  33.             while page<10:
  34.                 url_a = 'http://www.mmjpg.com/mm/{0}/{1}'.format(each,page)
  35.                 page+=1
  36.                
  37.                 print(url_a)
  38.                 req = urllib.request.Request(url_a)
  39.                 req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.6.1.15524')
  40.                 html_c = urllib.request.urlopen(req).read()
  41.                
  42.                 html_c = html_c.decode('utf-8')
  43.                 #print(html_c)
  44.                 reg = re.compile(r'<img src="(.*?\.jpg)" alt="(.*?)" /></a></div>')
  45.                 item = re.findall(reg,html_c)
  46.                 print(item)
  47.                 k = item[0][-1]  #名字
  48.                 print(k)
  49.                 z = item[0][0]   #图片
  50.                 print(z)
  51.                 path = 'D:\PYPY,,\妹子图\%s.jpg' % (k)
  52.                 urllib.request.urlretrieve(z, path)   #图片爬出来了



  53.                
  54.                 #if k[:4]==k[:4]:   #名字前4个相等
  55.                     #if not os.path.exists(k[:10]):   #如果没有这个名字文件夹
  56.                         
  57.                         #os.mkdir(k[:10])         #则创一个
  58.                         #怎么把图片放进传的文件夹里去?
  59.                         #with open(os.mkdir(k[:10]),'w')as f:
  60.                             #f.write(path)
  61.                            
  62.                             #rllib.request.urlretrieve(z,
  63.                     
  64.                         
  65.                                        
  66.                        
  67. if __name__=='__main__':
  68.             other_ast()
  69.             
  70.    
  71.         
  72.    
  73.    
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-7-1 22:30:33 | 显示全部楼层
56行是把图片爬出来了,但是后面的代码不知道怎么进行分类!
复制的人吧55行目录该一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-1 22:33:32 | 显示全部楼层
爬的网址http://www.mmjpg.com/
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-1 23:22:00 | 显示全部楼层
我只是粗略看了一下
1、首先你没先分析网站,这个网站的图片不用解析网页 直接批量自动生成图片的地址 然后直接下载就好了 节省流量和时间 或者先抓到所有图片的url 然后统一下图
2、保存的目录分类可以按图片的网络路径来 你可以把那段配出来 直接保存到本地相对路径了
3、我是彩笔,但是服务器真的挺贵的,抓些数据好些 这种图片除非为了作站,抓来纯属浪费宽带

做了一些微小的工作,希望对你有帮助。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-2 15:03:08 | 显示全部楼层
sky 发表于 2017-7-1 23:22
我只是粗略看了一下
1、首先你没先分析网站,这个网站的图片不用解析网页 直接批量自动生成图片 ...

接触爬虫没多久,你给的思路我看了,但是我还是不知道怎么修改。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-2 15:18:09 | 显示全部楼层
sky 发表于 2017-7-1 23:22
我只是粗略看了一下
1、首先你没先分析网站,这个网站的图片不用解析网页 直接批量自动生成图片 ...

或者有没有可以创文件夹的爬虫,让我借鉴一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 19:15

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表