'''
小数据抓取步骤:
1。数据请求-URL
2。数据解析parser
3。数据存储
& # 39;''
导入请求#导入第三方模块pip安装请求
# Header
headers = {
& # 39;用户代理& # 39;: 'Mozilla/5.0(Windows NT 10.0;WOW64) AppleWebKit/537.36 (KHTML,像壁虎一样)Chrome/80 . 0 . 3987 . 87 Safari/537.36 SE 2。X MetaSr 1.0 & # 39
}
#取5页视频(可根据需要调整)
对于范围(1,5)内的页面:
# 1。请求地址
URL = f & # 34;https://www.ku6.com/video/feed? pageNo = { page } & pageSize = 40 & subject id = 76 & # 34;
#2。send request
RES = requests . get(URL = URL,headers = headers)
# 3。数据分析
data _ DIC = RES . JSON()
data & # 39;]
for data _ list中的数据:
title = data[& # 39;标题& # 39;]+". mp4 & # 34#文件名加。mp4后缀(可根据原视频链接获取相应后缀)
playUrl = data[& # 39;playUrl & # 39] #视频地址
# print (title,playurl)
video = requests . get(playurl,headers = headers)。content #返回视频的二进制数据
#4。打开视频时保存数据
& # 34;+title,mode = & # 39wb & # 39)作为f:#存储路径& # 34;视频& # 34;+标题,写作模式mode = & # 39wb & # 39
f.write(视频)# write
f.close()
效果:
部分执行结果1
部分执行结果2