作业1:
要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。
完整代码以及运行结果



心得体会:
学会了使用BeautifulSoup的常用方法。
作业2:
–要求:用requests和BeautifulSoup库方法定向爬取股票相关信息,并存储在数据库中。
完整代码以及运行结果


通过抓包发现其翻页有page这个参数决定。
心得体会:
学会了使用抓包的方式抓去url来爬取数据。
作业3:
–要求:爬取中国大学2021主榜(https://www.shanghairanking.cn/rankings/bcur/2021)所有院校信息,并存储在数据库中,同时将浏览器F12调试分析的过程录制Gif加入至博客中。
抓取过程的gif图:

完整代码以及运行结果

心得体会:
这个任务的抓包我是通过将抓到的json保存到本地再进行解析,通过这次任务我又对抓包的理解更深了。