大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺
疲惫的生活里总要有些温柔梦想吧
目标URL：http://www.win4000.com/meinvtag4_1.html
爬取美桌网某个标签下的美女壁纸，点进详情页可以发现，里面是一组套图
一、网页分析
翻页查看 URL 变化规律：
http://www.win4000.com/meinvtag4_1.html
http://www.win4000.com/meinvtag4_2.html
http://www.win4000.com/meinvtag4_3.html
http://www.win4000.com/meinvtag4_4.html
http://www.win4000.com/meinvtag4_5.html页面里看到的每张图片点击进去有详情页，里面是套图
详情页里套图URL变化规律：
http://www.win4000.com/meinv216987_1.html
http://www.win4000.com/meinv216987_2.html
http://www.win4000.com/meinv216987_3.html
在网页源代码中也可以直接找到数据：
图片名称 下载链接
性感美女肌肤雪白撩人写真图片
http://pic1.win4000.com/pic/8/e0/24b989d57c.jpg二、爬虫基本思路
1. 获取5页的套图的URL
def get_taotu_url():
for i in range(1, 6):
url = f'http://www.win4000.com/meinvtag4_{i}.html'
headers = {
'User-Agent': choice(user_agent)
}
# 发送请求 获取响应
rep = requests.get(url, headers=headers)
# print(rep.status_code) 状态码 200
# print(rep.text)
html = etree.HTML(rep.text)
taotu_url = html.xpath('//div[@class="tab_tj"]/div/div/ul/li/a/@href')
# 过滤掉无效的url
taotu_url = [item for item in taotu_url if len(item) == 39]
# 一个页面有24个图片
print(taotu_url, len(taotu_url), sep='\n')
2. 进入套图详情页爬取图片
def get_img(url):
headers = {
'User-Agent': choice(user_agent)
}
# 发送请求 获取响应
rep = requests.get(url, headers=headers)
# 解析响应
html = etree.HTML(rep.text)
# 获取套图名称 最大页数
name = html.xpath('//div[@class="ptitle"]/h1/text()')[0]
os.mkdir(r'./女神套图/{}'.format(name))
max_page = html.xpath('//div[@class="ptitle"]/em/text()')
# 字符串替换 便于之后构造url请求
url1 = url.replace('.html', '_{}.html')
for i in range(1, int(max_page[0]) + 1):
url2 = url1.format(i)
sleep(randint(1, 3))
reps = requests.get(url2, headers=headers)
dom = etree.HTML(reps.text)
src = dom.xpath('//div[@class="main-wrap"]/div[1]/a/img/@data-original')[0]
file_name = name + f'第{i}张.jpg'
img = requests.get(src, headers=headers).content
with open(r'./女神套图/{}/{}'.format(name, file_name), 'wb') as f:
f.write(img)
print(f'成功下载图片：{file_name}')版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/193887.html原文链接：https://javaforall.net
