Selenium Wire - 扩展 Selenium 能够检查浏览器发出的请求和响应

使用 Selenium 进行自动化操作时，会存在很多的特殊场景，比如会修改请求参数、响应参数等。

本篇将介绍一款 Selenium 的扩展，即能够检查浏览器发出的请求和响应 - Selenium Wire。

简介
Selenium Wire 扩展了 Selenium 的 Python 绑定，可以访问浏览器发出的底层请求。除了与 Selenium 相同的方式编写代码，还提供了额外的 API 来检查请求和响应，并对其进行动态更改。

特点：

1、Python，提供友好的 API 方法

2、捕获 HTTP 和 HTTPS 请求

3、拦截请求和响应

4、动态修改标题、参数和正文内容

5、捕获 websocket 消息

6、支持 HAR 格式

7、支持代理服务器

兼容性：

1、Python 3.7+

2、Selenium 4.0.0+

3、支持 Chrome、Firefox、Edge 和远程网络驱动程序

github地址：

https://github.com/wkeeling/selenium-wire

安装
使用 pip 安装：

pip install selenium-wire

与使用 Selenium 一样，下载指定的浏览器驱动到系统的环境变量里即可。

快速上手

1、简单示例：

像直接使用 Selenium 一样实例化 web 驱动程序，通过 requests 属性访问请求。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 公众号：程序员雨果from seleniumwire import webdriverdriver = webdriver.Chrome()
driver.get('https://www.baidu.com/')
for request in driver.requests:if request.response:print(request.url,request.response.status_code,request.response.headers['Content-Type'])

执行结果：

分别打印出请求URL、响应状态码、响应头的内容类型。

2、添加请求头示例：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 公众号：程序员雨果from seleniumwire import webdriverdriver = webdriver.Chrome()def interceptor(request):request.headers['New-Header'] = 'Meng'driver.request_interceptor = interceptor
driver.get('https://httpbin.org/headers')

执行结果：

浏览器打开 URL 后，可以看到添加的请求头信息。

3、替换现有请求头示例：

URL 原始请求头信息。

# -*- coding: utf-8 -*-
# 公众号：程序员雨果from seleniumwire import webdriverdriver = webdriver.Chrome()def interceptor(request):del request.headers['Sec-Fetch-User']request.headers['Sec-Fetch-User'] = 'Meng'driver.request_interceptor = interceptor
driver.get('https://httpbin.org/headers')

执行结果：

请求头 Sec-Fetch-User 的值由原来的 ?1 更改为 Meng。

4、添加响应头示例：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 公众号：程序员雨果from seleniumwire import webdriverdriver = webdriver.Chrome()def interceptor(request, response):if request.url == 'https://www.baidu.com/':response.headers['New-Header'] = 'Meng'driver.response_interceptor = interceptor
driver.get('https://www.baidu.com/')for request in driver.requests:if request.response:print(request.response.headers)

执行结果：

打印的响应请求头信息里可以看到已经添加指定的请求头信息。

5、添加请求参数示例：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 公众号：程序员雨果from seleniumwire import webdriverdriver = webdriver.Chrome()def interceptor(request):params = request.paramsparams['New-param'] = 'Meng'request.params = paramsdriver.request_interceptor = interceptor
driver.get('https://httpbin.org/get')

执行结果：

通过页面的信息可以看到请求的参数添加成功。

6、模拟响应示例：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 公众号：程序员雨果from seleniumwire import webdriverdriver = webdriver.Chrome()def interceptor(request):if request.url == 'https://www.baidu.com/':request.create_response(status_code=200,headers={'Content-Type': 'text/html'},body='<html> Hello World! --- Meng </html>')driver.request_interceptor = interceptor
driver.get('https://www.baidu.com/')

执行结果：

返回设置的响应结果。