一、前言

注意：此为内部小组学习资料，非售卖品，仅供学习参考。
本系列课程：
Python学习小组课程-课程大纲与Python开发环境安装
Python学习小组课程P1-Python基础（1）语法与数组
Python学习小组课程P2-Python基础（2）文件操作

爬虫程序注意事项：

遵守Robots协议
Robots是网站和爬虫之间的君子协议，当网站拒绝爬虫访问，爬取数据时，可以在根目录下存放robots.txt文件，告诉爬虫不能爬取网站全部或部分指定内容。
控制合理请求频率
如果请求频率过高，可能服务器瘫痪。慎用多线程，采取请求间休眠措施
禁止爬取用户敏感信息、商业、知识产权数据
禁止破解反爬措施

二、代码

1 王者荣耀皮肤批量下载

知识点：user-agent、网络请求、网页解析、文件读写

import requests
from pyquery import PyQueryurl='https://pvp.qq.com/web201605/herolist.shtml'# resp=requests.get(url)
# print(resp.request.headers)
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35'}
resp=requests.get(url,headers=headers)
print(resp.request.headers)resp.encoding='gbk'
print(resp.text)

{'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}










英雄资料列表页-英雄介绍-王者荣耀官方网站-腾讯游戏





王者荣耀
   
游戏资料DATA

内容中心CONTENTS

赛事中心MATCH

百态王者CULTURE

社区互动COMMUNITY

玩家支持PLAYER

IP新游NEW GAMES


版本介绍游戏介绍英雄资料爆料站世界观体验站游戏壁纸
攻略中心开放素材库内容共创平台
KPL世界冠军杯挑战者杯全国大赛女子公开赛K甲联赛高校联赛王者赛宝赛事数据
荣耀·传承王者文化站万千世界星光殿堂IP共创计划商户特权龙翼王者卡
创意互动营王者营地微信圈子官方微博微信公众号手Q订阅号
腾讯游戏防沉迷成长守护平台对局环境情报站客服专区礼包兑换自助服务
王者荣耀·世界代号:破晓代号:启程










王者荣耀首页
>
英雄介绍

英雄介绍

英雄
局内道具
召唤师技能







综合
职业




本周免费



新手推荐





全部



坦克



战士



刺客



法师



射手



辅助








输入英雄不存在，请重新输入

云中君
瑶
盘古
猪八戒
嫦娥
上官婉儿
李信
沈梦溪
伽罗
盾山
司马懿
孙策
元歌
米莱狄
狂铁
弈星
裴擒虎
杨玉环
公孙离
明世隐
女娲
梦奇
苏烈
百里玄策
百里守约
铠
鬼谷子
干将莫邪
东皇太一
大乔
黄忠
诸葛亮
哪吒
太乙真人
蔡文姬
雅典娜
杨戬
成吉思汗
钟馗
虞姬
李元芳
张飞
刘备
后羿
牛魔
孙悟空
亚瑟
橘右京
娜可露露
不知火舞
张良
花木兰
兰陵王
王昭君
韩信
刘邦
姜子牙
露娜
程咬金
安琪拉
貂蝉
关羽
老夫子
武则天
项羽
达摩
狄仁杰
马可波罗
李白
宫本武藏
典韦
曹操
甄姬
夏侯惇
周瑜
吕布
芈月
白起
扁鹊
孙膑
钟无艳
阿轲
高渐离
刘禅
庄周
鲁班七号
孙尚香
嬴政
妲己
墨子
赵云
小乔
廉颇











   













查看详情

import os
import requests
from pyquery import PyQueryurl='https://pvp.qq.com/web201605/herolist.shtml'html=requests.get(url).contentdoc=PyQuery(html)items=doc('.herolist > li > a > img').items()path='P3.1_data/英雄/'
#目录不存在则创建
if not os.path.exists(path):os.makedirs(path)for item in items:name=item.attr('alt')url='http:'+item.attr('src')print('正在下载：%s---%s'%(name,url))pic=requests.get(url).contentwith open(path+name+'.jpg', "wb") as f:f.write(pic)print('下载完毕')

正在下载：云中君---http://game.gtimg.cn/images/yxzj/img201606/heroimg/506/506.jpg
正在下载：瑶---http://game.gtimg.cn/images/yxzj/img201606/heroimg/505/505.jpg
正在下载：盘古---http://game.gtimg.cn/images/yxzj/img201606/heroimg/529/529.jpg
正在下载：猪八戒---http://game.gtimg.cn/images/yxzj/img201606/heroimg/511/511.jpg
正在下载：嫦娥---http://game.gtimg.cn/images/yxzj/img201606/heroimg/515/515.jpg
正在下载：上官婉儿---http://game.gtimg.cn/images/yxzj/img201606/heroimg/513/513.jpg
正在下载：李信---http://game.gtimg.cn/images/yxzj/img201606/heroimg/507/507.jpg
正在下载：沈梦溪---http://game.gtimg.cn/images/yxzj/img201606/heroimg/312/312.jpg
正在下载：伽罗---http://game.gtimg.cn/images/yxzj/img201606/heroimg/508/508.jpg
正在下载：盾山---http://game.gtimg.cn/images/yxzj/img201606/heroimg/509/509.jpg
正在下载：司马懿---http://game.gtimg.cn/images/yxzj/img201606/heroimg/137/137.jpg
正在下载：孙策---http://game.gtimg.cn/images/yxzj/img201606/heroimg/510/510.jpg
正在下载：元歌---http://game.gtimg.cn/images/yxzj/img201606/heroimg/125/125.jpg
正在下载：米莱狄---http://game.gtimg.cn/images/yxzj/img201606/heroimg/504/504.jpg
正在下载：狂铁---http://game.gtimg.cn/images/yxzj/img201606/heroimg/503/503.jpg
正在下载：弈星---http://game.gtimg.cn/images/yxzj/img201606/heroimg/197/197.jpg
正在下载：裴擒虎---http://game.gtimg.cn/images/yxzj/img201606/heroimg/502/502.jpg
正在下载：杨玉环---http://game.gtimg.cn/images/yxzj/img201606/heroimg/176/176.jpg
正在下载：公孙离---http://game.gtimg.cn/images/yxzj/img201606/heroimg/199/199.jpg
正在下载：明世隐---http://game.gtimg.cn/images/yxzj/img201606/heroimg/501/501.jpg
正在下载：女娲---http://game.gtimg.cn/images/yxzj/img201606/heroimg/179/179.jpg
正在下载：梦奇---http://game.gtimg.cn/images/yxzj/img201606/heroimg/198/198.jpg
正在下载：苏烈---http://game.gtimg.cn/images/yxzj/img201606/heroimg/194/194.jpg
正在下载：百里玄策---http://game.gtimg.cn/images/yxzj/img201606/heroimg/195/195.jpg
正在下载：百里守约---http://game.gtimg.cn/images/yxzj/img201606/heroimg/196/196.jpg
正在下载：铠---http://game.gtimg.cn/images/yxzj/img201606/heroimg/193/193.jpg
正在下载：鬼谷子---http://game.gtimg.cn/images/yxzj/img201606/heroimg/189/189.jpg
正在下载：干将莫邪---http://game.gtimg.cn/images/yxzj/img201606/heroimg/182/182.jpg
正在下载：东皇太一---http://game.gtimg.cn/images/yxzj/img201606/heroimg/187/187.jpg
正在下载：大乔---http://game.gtimg.cn/images/yxzj/img201606/heroimg/191/191.jpg
正在下载：黄忠---http://game.gtimg.cn/images/yxzj/img201606/heroimg/192/192.jpg
正在下载：诸葛亮---http://game.gtimg.cn/images/yxzj/img201606/heroimg/190/190.jpg
正在下载：哪吒---http://game.gtimg.cn/images/yxzj/img201606/heroimg/180/180.jpg
正在下载：太乙真人---http://game.gtimg.cn/images/yxzj/img201606/heroimg/186/186.jpg
正在下载：蔡文姬---http://game.gtimg.cn/images/yxzj/img201606/heroimg/184/184.jpg
正在下载：雅典娜---http://game.gtimg.cn/images/yxzj/img201606/heroimg/183/183.jpg
正在下载：杨戬---http://game.gtimg.cn/images/yxzj/img201606/heroimg/178/178.jpg
正在下载：成吉思汗---http://game.gtimg.cn/images/yxzj/img201606/heroimg/177/177.jpg
正在下载：钟馗---http://game.gtimg.cn/images/yxzj/img201606/heroimg/175/175.jpg
正在下载：虞姬---http://game.gtimg.cn/images/yxzj/img201606/heroimg/174/174.jpg
正在下载：李元芳---http://game.gtimg.cn/images/yxzj/img201606/heroimg/173/173.jpg
正在下载：张飞---http://game.gtimg.cn/images/yxzj/img201606/heroimg/171/171.jpg
正在下载：刘备---http://game.gtimg.cn/images/yxzj/img201606/heroimg/170/170.jpg
正在下载：后羿---http://game.gtimg.cn/images/yxzj/img201606/heroimg/169/169.jpg
正在下载：牛魔---http://game.gtimg.cn/images/yxzj/img201606/heroimg/168/168.jpg
正在下载：孙悟空---http://game.gtimg.cn/images/yxzj/img201606/heroimg/167/167.jpg
正在下载：亚瑟---http://game.gtimg.cn/images/yxzj/img201606/heroimg/166/166.jpg
正在下载：橘右京---http://game.gtimg.cn/images/yxzj/img201606/heroimg/163/163.jpg
正在下载：娜可露露---http://game.gtimg.cn/images/yxzj/img201606/heroimg/162/162.jpg
正在下载：不知火舞---http://game.gtimg.cn/images/yxzj/img201606/heroimg/157/157.jpg
正在下载：张良---http://game.gtimg.cn/images/yxzj/img201606/heroimg/156/156.jpg
正在下载：花木兰---http://game.gtimg.cn/images/yxzj/img201606/heroimg/154/154.jpg
正在下载：兰陵王---http://game.gtimg.cn/images/yxzj/img201606/heroimg/153/153.jpg
正在下载：王昭君---http://game.gtimg.cn/images/yxzj/img201606/heroimg/152/152.jpg
正在下载：韩信---http://game.gtimg.cn/images/yxzj/img201606/heroimg/150/150.jpg
正在下载：刘邦---http://game.gtimg.cn/images/yxzj/img201606/heroimg/149/149.jpg
正在下载：姜子牙---http://game.gtimg.cn/images/yxzj/img201606/heroimg/148/148.jpg
正在下载：露娜---http://game.gtimg.cn/images/yxzj/img201606/heroimg/146/146.jpg
正在下载：程咬金---http://game.gtimg.cn/images/yxzj/img201606/heroimg/144/144.jpg
正在下载：安琪拉---http://game.gtimg.cn/images/yxzj/img201606/heroimg/142/142.jpg
正在下载：貂蝉---http://game.gtimg.cn/images/yxzj/img201606/heroimg/141/141.jpg
正在下载：关羽---http://game.gtimg.cn/images/yxzj/img201606/heroimg/140/140.jpg
正在下载：老夫子---http://game.gtimg.cn/images/yxzj/img201606/heroimg/139/139.jpg
正在下载：武则天---http://game.gtimg.cn/images/yxzj/img201606/heroimg/136/136.jpg
正在下载：项羽---http://game.gtimg.cn/images/yxzj/img201606/heroimg/135/135.jpg
正在下载：达摩---http://game.gtimg.cn/images/yxzj/img201606/heroimg/134/134.jpg
正在下载：狄仁杰---http://game.gtimg.cn/images/yxzj/img201606/heroimg/133/133.jpg
正在下载：马可波罗---http://game.gtimg.cn/images/yxzj/img201606/heroimg/132/132.jpg
正在下载：李白---http://game.gtimg.cn/images/yxzj/img201606/heroimg/131/131.jpg
正在下载：宫本武藏---http://game.gtimg.cn/images/yxzj/img201606/heroimg/130/130.jpg
正在下载：典韦---http://game.gtimg.cn/images/yxzj/img201606/heroimg/129/129.jpg
正在下载：曹操---http://game.gtimg.cn/images/yxzj/img201606/heroimg/128/128.jpg
正在下载：甄姬---http://game.gtimg.cn/images/yxzj/img201606/heroimg/127/127.jpg
正在下载：夏侯惇---http://game.gtimg.cn/images/yxzj/img201606/heroimg/126/126.jpg
正在下载：周瑜---http://game.gtimg.cn/images/yxzj/img201606/heroimg/124/124.jpg
正在下载：吕布---http://game.gtimg.cn/images/yxzj/img201606/heroimg/123/123.jpg
正在下载：芈月---http://game.gtimg.cn/images/yxzj/img201606/heroimg/121/121.jpg
正在下载：白起---http://game.gtimg.cn/images/yxzj/img201606/heroimg/120/120.jpg
正在下载：扁鹊---http://game.gtimg.cn/images/yxzj/img201606/heroimg/119/119.jpg
正在下载：孙膑---http://game.gtimg.cn/images/yxzj/img201606/heroimg/118/118.jpg
正在下载：钟无艳---http://game.gtimg.cn/images/yxzj/img201606/heroimg/117/117.jpg
正在下载：阿轲---http://game.gtimg.cn/images/yxzj/img201606/heroimg/116/116.jpg
正在下载：高渐离---http://game.gtimg.cn/images/yxzj/img201606/heroimg/115/115.jpg
正在下载：刘禅---http://game.gtimg.cn/images/yxzj/img201606/heroimg/114/114.jpg
正在下载：庄周---http://game.gtimg.cn/images/yxzj/img201606/heroimg/113/113.jpg
正在下载：鲁班七号---http://game.gtimg.cn/images/yxzj/img201606/heroimg/112/112.jpg
正在下载：孙尚香---http://game.gtimg.cn/images/yxzj/img201606/heroimg/111/111.jpg
正在下载：嬴政---http://game.gtimg.cn/images/yxzj/img201606/heroimg/110/110.jpg
正在下载：妲己---http://game.gtimg.cn/images/yxzj/img201606/heroimg/109/109.jpg
正在下载：墨子---http://game.gtimg.cn/images/yxzj/img201606/heroimg/108/108.jpg
正在下载：赵云---http://game.gtimg.cn/images/yxzj/img201606/heroimg/107/107.jpg
正在下载：小乔---http://game.gtimg.cn/images/yxzj/img201606/heroimg/106/106.jpg
正在下载：廉颇---http://game.gtimg.cn/images/yxzj/img201606/heroimg/105/105.jpg
下载完毕

2 百度图片搜索并批量下载

知识点：json返回格式下的图片下载

import os
import requests
from pyquery import PyQuerypath='P3.2_data/'
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.35'}kw=str(input('请输入关键词:'))
pn=0
url=f'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=7897420469516563280&ipn=rj&ct=201326592&is=&fp=result&fr=&word={kw}&cg=girl&queryWord={kw}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn={pn}&rn=30&gsm=78&1667968662583='print(url)#目录不存在则创建
path=path+kw+'/'
if not os.path.exists(path):os.makedirs(path)resp=requests.get(url,headers=headers)resp_json=resp.json()
data_list=resp_json['data']count=0
for data in data_list:if not data:breakcount+=1print('正在下载：%s---%s'%(data['fromPageTitle'],data['thumbURL']))pic=requests.get(data['thumbURL']).contentwith open(path+str(count)+'.jpg', "wb") as f:f.write(pic)print('下载完毕')

https://image.baidu.com/search/acjson?tn=resultjson_com&logid=7897420469516563280&ipn=rj&ct=201326592&is=&fp=result&fr=&word=美女&cg=girl&queryWord=美女&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=0&rn=30&gsm=78&1667968662583=
正在下载：性感的吊带长发美女图片,高清图片,手机壁纸---https://img0.baidu.com/it/u=3375911127,635571288&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=889
正在下载：泰国美女 - 翱翔蓝天的日志 - 网易博客---https://img1.baidu.com/it/u=3975477403,3704385503&fm=253&fmt=auto&app=138&f=JPEG?w=667&h=500
正在下载：粉红萝莉美女清新性感卧室写真[2/12]_性感美女_美桌网---https://img2.baidu.com/it/u=527659035,2347487031&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=701
正在下载：佳丽私房美女养眼写真,大陆-美女图片---https://img2.baidu.com/it/u=1128216298,2207674418&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：清新甜美网红美女高清手机壁纸_美女_手机壁纸下载_美桌网---https://img2.baidu.com/it/u=806147781,1327502477&fm=253&fmt=auto&app=138&f=JPEG?w=231&h=500
正在下载：性感美女雪白长腿妩媚写真图片[8/9]_性感美女_美桌网---https://img1.baidu.com/it/u=641358881,2844098460&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=727
正在下载：丝袜美女丰胸 (第1页) - 健康减肥网---https://img1.baidu.com/it/u=2949360167,1484933824&fm=253&fmt=auto&app=138&f=JPEG?w=772&h=500
正在下载：优雅气质清新美女,清纯-美女图片---https://img2.baidu.com/it/u=943533047,608052293&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：性感美女白皙肌肤高清手机壁纸_美女_手机壁纸下载_美桌网---https://img1.baidu.com/it/u=2600624757,724456213&fm=253&fmt=auto&app=120&f=JPEG?w=800&h=1422
正在下载：优雅气质的森系美女,清纯-美女图片---https://img0.baidu.com/it/u=3847283897,126716847&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：优雅气质的森系美女,高清壁纸图片,清纯美女-回车桌面---https://img1.baidu.com/it/u=1234898636,1354725942&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：法国第一美女艾莉婕个人资料及好听的歌曲有哪些-昕薇网---https://img1.baidu.com/it/u=784022420,3995181859&fm=253&fmt=auto&app=120&f=JPEG?w=496&h=679
正在下载：性感妩媚的迷人美女,高清壁纸图片,大陆美女-回车桌面---https://img1.baidu.com/it/u=2045922693,212563729&fm=253&fmt=auto&app=120&f=JPEG?w=1024&h=576
正在下载：咬着红色玫瑰花的美女写真摄影原片_大图网图片素材---https://img2.baidu.com/it/u=2367945451,4227799632&fm=253&fmt=auto&app=138&f=JPEG?w=333&h=500
正在下载：吊带美女柔美人图片,美女图片-第5图---https://img1.baidu.com/it/u=511362139,1325886573&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=728
正在下载：韩系清新性感甜美美女壁纸-美女壁纸-高清美女图片-娟娟壁纸---https://img0.baidu.com/it/u=1501084209,93021381&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：长发美女俏丽迷人写真,清纯-美女图片---https://img2.baidu.com/it/u=3159148334,3721295359&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：极品美女嫩模粉红诱惑丝袜写真[6/9]_性感美女_美桌网---https://img2.baidu.com/it/u=2870740412,930989404&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=725
正在下载：坐着的清纯美女,高清图片,手机壁纸---https://img0.baidu.com/it/u=3884001223,1943437404&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=1083
正在下载：优雅气质清新美女,清纯-美女图片---https://img2.baidu.com/it/u=1866733221,2434988662&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
正在下载：白嫩漂亮,性感可爱的时尚美女---https://img0.baidu.com/it/u=1824168527,1620830099&fm=253&fmt=auto&app=138&f=JPEG?w=333&h=499
正在下载：清纯美女电脑桌面壁纸-美女壁纸-高清美女图片-第19图-娟娟壁纸---https://img1.baidu.com/it/u=3749630204,3510621897&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=313
正在下载：美女穿白色气质衬衫,搭配黑色漆皮包臀,极具精英气息_网易订阅---https://img2.baidu.com/it/u=3491608403,316286438&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=725
正在下载：气质美女温婉柔美写真,大陆-美女图片---https://img2.baidu.com/it/u=2635726077,2897549062&fm=253&fmt=auto&app=138&f=PNG?w=889&h=500
正在下载：美女壁纸 - 堆糖,美图壁纸兴趣社区---https://img2.baidu.com/it/u=1835843610,1575206394&fm=253&fmt=auto&app=120&f=JPEG?w=500&h=999
正在下载：美女- 堆糖,美图壁纸兴趣社区---https://img0.baidu.com/it/u=191042623,1374730769&fm=253&fmt=auto&app=120&f=JPEG?w=500&h=934
正在下载：优雅的气质美女,高清图片,手机壁纸---https://img1.baidu.com/it/u=3926253330,3700861717&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=1028
正在下载：居家美女写真壁纸-美女壁纸-高清美女图片-第11图-娟娟壁纸---https://img1.baidu.com/it/u=3097007933,3775451098&fm=253&fmt=auto&app=120&f=JPEG?w=1200&h=750
正在下载：清纯白嫩吊带裙美女田园风香肩诱惑写真,清纯-美女图片---https://img0.baidu.com/it/u=794475732,666564023&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=281
正在下载：清新养眼美女海边写真图片-美女壁纸-高清美女图片-娟娟壁纸---https://img1.baidu.com/it/u=2468362699,2612376962&fm=253&fmt=auto&app=138&f=JPEG?w=889&h=500
下载完毕

上一篇：【大数据入门核心技术-Zookeeper】（三）Zookeeper的选举机制和流程

下一篇：第4章 SpringBoot与Web应用

Python学习小组课程P3-Python爬虫（1）HTML与Json解析

一、前言

二、代码

1 王者荣耀皮肤批量下载

王者荣耀

英雄介绍

2 百度图片搜索并批量下载

相关内容

热门资讯