初学者更简便的爬取保存图片

zxxzb

最近在学习python，刚接触爬虫章节，在论坛看了不少教程，确实很有帮助，
但是有些文章中都用到了re正则的方式去获取页面中的内容，对于像我这样的新手菜鸟来说，不太友好，
于是，就结合所学实现爬取图片的功能，有不对的，还请大佬多多指教！
功能：指定起始页、终止页爬取、保存图片。

1. import os
   
2. import time
   
3. from urllib import request
   
4. from bs4 import BeautifulSoup
   
5.   
   
6. # 开始页码
   
7. pstart = 1
   
8. # 结束页码
   
9. pend = 2
   
10.   
    
11. # 获取内容
    
12. def html_parse(url, headers):
    
13.     time.sleep(1)
    
14.     resp = request.Request(url=url, headers=headers)
    
15.     res = request.urlopen(resp)
    
16.     html = res.read().decode("utf-8")
    
17.     soup = BeautifulSoup(html, "html.parser")
    
18.     return soup
    
19.   
    
20. # header
    
21. headers = {
    
22.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59'
    
23. }
    
24.   
    
25.   
    
26. for p in range(pend-pstart+1):
    
27.     # 次数
    
28.     if pstart > pend:
    
29.         break
    
30.   
    
31.     print("开始爬取第%s页" % pstart)
    
32.   
    
33.     list_url = "https://www.vmgirls.com/pure/page/%s/" % pstart
    
34.     page = html_parse(list_url, headers)
    
35.     alist = page.find("div", attrs={"class": "list-grouped"}).find_all("a", attrs={"class": "media-content"})
    
36.   
    
37.     for i, a in enumerate(alist, 1):
    
38.         url = a.get("href")
    
39.         child = html_parse(url, headers)
    
40.         title = child.find("h1", attrs={"class": "post-title"}).text
    
41.         imgs = child.find("div", attrs={"class": "post-content"}).find_all("img")
    
42.   
    
43.         print("第%s页，" % pstart, "第%s" % i, "套图:", title)
    
44.         arimg = "D:\\图片\\vmgirls\" + title
    
45.   
    
46.         if not os.path.isdir(arimg):
    
47.             os.makedirs(arimg)
    
48.   
    
49.         for n, img in enumerate(imgs, 1):
    
50.             pic_name = arimg + "\" + title + "_" + str(n) + ".jpg"
    
51.             # pic_name = (title + "_" + str(n) + ".jpg")
    
52.             request.urlretrieve(img.get("src"), pic_name)
    
53.   
    
54.     pstart += 1
    
55.   
    
56. print("全部爬取完毕")

复制代码

二更半夜不睡觉

感谢楼主分享

芽衣

感谢楼主分享！93有你更精彩！

看看天空

顶帖是一种态度，也是一种尊重。

ZIPLJH

谢谢大佬

杨帅0829

很给力，93论坛有你更精彩

AE86GG

谢谢楼主热心的分享，感谢93有你

simon77

已收下，谢谢了

爱的太迟

好东西收下了

和马

下载试试看