import requests #导入requests模块
#利用爬虫代码爬去百度首页
#如果当前python文件作为入口程序执行时,则执行if语句下的代码
if __name__=='__main__':# 指定URLurl = 'https://www.baidu.com'# 进行UA伪装,模拟浏览器,注意要将相应的User-Agent封装在一个字典中headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0'}# 向服务器发起请求,get方法返回一个响应对象response = requests.get(url=url, headers=headers)# 获取字符串类型的响应数据page_text = response.text# 持久化存储,写入文件with open('./baidu.html', 'w', encoding='utf8') as fp:fp.write(page_text)print('百度首页爬取成功!!!')