完整代码
爬取豆瓣电影的详细信息
地址:豆瓣电影动画
向下滑动时新增的数据也是Ajax请求,原理和上一个项目是一样的。唯一的不同是此处请求url携带了多个参数
import requests
import json
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48'
}
url='https://movie.douban.com/j/chart/top_list?'
param={'type': '25','interval_id': '100:90','action': '','start': '0','limit': '20',
}r=requests.get(url=url,params=param,headers=header)
dic_obj=r.json()print(dic_obj)
with open('./douban.json','w',encoding='utf-8') as f:json.dump(dic_obj,f,ensure_ascii=False)