[Web自动化] 爬虫之网络请求

9.4 爬虫之网络请求

9.4.1 使用`requests`库发送HTTP请求

requests库提供了丰富的功能来发送HTTP请求，并处理响应。以下是一些额外的示例和说明。
发送带参数的GET请求：
如果你需要向服务器发送查询参数，可以将它们作为字典传递给params参数。

importrequests params={'key1':'value1','key2':'value2'}response=requests.get('http://httpbin.org/get',params=params)print(response.url)# 输出将包含查询参数：http://httpbin.org/get?key1=value1&key2=value2

发送POST请求：
POST请求通常用于向服务器提交数据。你可以将数据作为字典传递给data参数（对于表单数据）或作为字节串传递给json参数（对于JSON数据）。

importrequests# 发送表单数据data={'key':'value'}response=requests.post('http://httpbin.org/post',data=data)# 发送JSON数据json_data={'key':'value'}response=requests.post('http://httpbin.org/post',json=json_data)

设置请求头：
你可以通过headers参数自定义请求头，这对于模拟不同的浏览器或绕过某些服务器的检查非常有用。

importrequests url='http://example.com'headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3','Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','Accept-Language':'en-US,en;q=0.5','DNT':'1',# Do Not Track header'Connection':'keep-alive'}response=requests.get(url,headers=headers)

处理响应：
一旦你发送了请求，requests库将返回一个Response对象。你可以使用这个对象来访问响应的内容、状态码、头部等信息。

response=requests.get(url)# 访问响应内容print(response.text)# 文本内容print(response.content)# 原始内容（字节串）# 访问状态码print(response.status_code)# 访问响应头print(response.headers)# 检查请求是否成功ifresponse.status_code==200:print("请求成功！")else:print("请求失败，状态码：",response.status_code)

会话（Session）对象：
如果你需要向同一个服务器发送多个请求，并且希望保持某些参数（如Cookies）在请求之间持久化，可以使用requests.Session()对象。

importrequests Session=requests.Session()# 发送第一个请求，设置Cookiesresponse=Session.get('http://httpbin.org/Cookies/set/SessionCookie/123456789')# 发送第二个请求，自动携带之前的Cookiesresponse=Session.get('http://httpbin.org/Cookies')print(response.text)# 输出将包含'SessionCookie: 123456789'