potatoking006 发表于 2021-4-12 20:57:37

python爬虫爬取壁纸

本帖最后由 potatoking006 于 2021-4-12 21:02 编辑

运行前必须要改savaphoto() 里的保存路径。
import urllib
import urllib.request
from bs4 import BeautifulSoup
import re
import time


def main():
    baseurl=r"https://www.zhihu.com/question/325648700/answer/1366875354"
    temp = gethtml(baseurl)
    # print(temp)
    # savaphoto(r"https://pic2.zhimg.com/50/v2-29b5b450b2c5f828195c359148099def_hd.jpg","1")
    ImgUrlList = getImgUrlList(temp)
    for i in range(len(ImgUrlList)):
      print(ImgUrlList)
      time.sleep(12)
      savaphoto(ImgUrlList,"第一次壁纸"+str(i))
    # # time.sleep(5)
    # savaphoto("https://pic4.zhimg.com/50/v2-90a72927dc97d2ad5d748860158c6a0b_hd.jpg", "第一次壁纸" + str(1000))

def gethtml(baseUrl):
    head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}
    html = " "
    request = urllib.request.Request(baseUrl,headers=head)
    response = urllib.request.urlopen(request);
    html = response.read().decode("utf-8")
    return html


def getImgUrlList(html):
    ImgUrlList = []
    soup = BeautifulSoup(html,"html.parser")
    findImgUrl=re.compile(r"src=\"(.*?.jpg)")
    for item insoup.find_all("figure"):
      item = str(item)
      temp = re.findall(findImgUrl,item)
      ImgUrlList.append(temp)
      # print(temp)

    return ImgUrlList
def savaphoto(photoUrl,imgName):
    head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}
    request = urllib.request.Request(photoUrl,headers=head)
    try:
      reponse = urllib.request.urlopen(request)

      my_img = reponse.read()
      reponse.close()
      ##这里需要自己改路径名
      with open(r"E:/spiderphoto/new/"+imgName+".jpg","wb") as f:
            f.write(my_img)
    except Exception:
      print("访问出现错误")
    finally:
      print("正常爬取一张图片")


if __name__ == "__main__":
    main()
    print('mission success！！！')


time.sleep(）方法建议设置的长一点，不然容易被反爬。
我用sleep (10)爬取到了99张图片。如果中途被断开连接，可以调整for 中 range的初始位置重新运行程序来达到继续爬壁纸的目的。

Puppet16 发表于 2021-5-29 14:38:44

第33行代码报错, 多了个引号
原本第33行: findImgUrl=re.compile(r"src="(.*?.jpg)")
应更正为:    findImgUrl=re.compile(r"src=(.*?.jpg)")

Puppet16 发表于 2021-5-29 14:42:56

爬取不了呀 楼主?

"https://pic1.zhimg.com/50/v2-f9274f68e89ef44b8fad5abe4a453ed7_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic4.zhimg.com/50/v2-ed20135a1fd6df4a5b94ebae04f742d4_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-f0c31905c2e3771251206d3aee47dcc8_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic2.zhimg.com/50/v2-837b0165cea7b2e7a7af98ed0474188e_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-3125fd23a525b074096dea8db6193d66_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-94b5af5b7c99246f305acf42f6ed0557_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic4.zhimg.com/50/v2-91b2dc494b4b035f6da3c3693d1e0dab_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-9447803942f45d98222f34a37bebe2e8_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic4.zhimg.com/50/v2-14cb27b1fd0adb6cbf9d32fff57986c4_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-6cd1823e8d2e89c25726b439f7d35bf7_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic2.zhimg.com/50/v2-e822ad87a40d53768300fed26ce13792_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-85dee0f75369593604746a1ac2dba042_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic2.zhimg.com/50/v2-b4ffd52edfa40bd2d312f7f280082b97_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-9676c37b4ef96a989c84c56346d4b70b_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic4.zhimg.com/50/v2-ffcd89eb4dd5ba95bd1ba4c7dad784aa_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic1.zhimg.com/50/v2-d0f7af82d5b6a414795b19904013b4b8_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic4.zhimg.com/50/v2-e3a52f8f17e74b1c4f9300913b997a4a_hd.jpg
访问出现错误
正常爬取一张图片
"https://pic3.zhimg.com/50/v2-6fd0b0a4d59e8baca83c4da245c6135b_hd.jpg

Py与C。。。 发表于 2021-5-29 18:28:46

走错片场了吧，这里是Scratch
页: [1]
查看完整版本: python爬虫爬取壁纸