Python 爬虫 HTTPS 实战，requests httpx aiohttp 抓取技巧、证书问题与抓包调试全流程

Python 爬虫 HTTPS 实战，requests httpx aiohttp 抓取技巧、证书问题与抓包调试全流程 - 教程

在爬虫工程里，“HTTPS” 是绕不开的话题。HTTPS 为传输加密提供保护，同时也给爬虫带来证书校验、重定向、SNI、HTTP/2 及服务端反爬策略等一系列挑战。本文从实战角度出发，面向开发者讲清用 Python 做 HTTPS 爬虫时常见的陷阱、可复制的代码示例、抓包与调试方法，以及遇到 iOS/移动端或强安全场景时的应对思路（包括把真机抓包工具作为补充手段）。目标是把“能跑但不稳”变成“可工程化维护”的爬虫方案。

一、核心问题与优先级检查（先问三件事）

在动手写代码前，先确认：

目标是页面（需要渲染 JS）还是 API（JSON/二进制）？
是否必须支持 HTTP/2 或特殊 TLS 特性？
是否存在证书自签、客户端证书（mTLS）或明显的反爬保护？
这些判断决定你选 requests、httpx/aiohttp（并发）、还是 Selenium/Playwright（渲染）。

二、基础示例：requests 与证书处理

同步场景首选 requests，典型代码如下：

import requests
s = requests.Session()
s.headers.update({"User-Agent":"Mozilla/5.0"})
resp = s.get("https://example.com/api", timeout=10)  # 默认 verify=True
print(resp.status_code, resp.headers.get("content-type"))

遇到证书链问题（测试环境或自签证书），不要马上 verify=False，应指定 CA bundle：

resp = s.get("https://test.local", verify="/path/to/ca_bundle.pem")

仅在临时调试才使用 verify=False，生产禁用。

三、高并发选型：httpx / aiohttp（异步）

当需要高并发抓取时，异步 HTTP 客户端更省资源。httpx 支持 HTTP/2，示例（简略）：

import httpx, asyncio
async def fetch(client,url):
r = await client.get(url)
return r.status_code
async def main(urls):
async with httpx.AsyncClient(http2=True,timeout=10) as client:
tasks = [fetch(client,u) for u in urls]
return await asyncio.gather(*tasks)

注意：HTTP/2 有时影响服务器返回逻辑（不同分支代码），必要时做兼容测试。

四、常见 HTTPS 问题与对应策略

CERTIFICATE_VERIFY_FAILED：更新 certifi、使用受信任 CA 或把服务证书加入本地 CA。
SNI/域名不匹配：用 openssl s_client -connect host:443 -servername host 在本地先验证。
重定向与签名失效：保持同一 Session，保留 cookie；签名类接口对时间敏感，确保本机时间同步。
压缩/编码（gzip / brotli）：现代库会自动解压，二进制格式（protobuf）需用 proto 描述解析。
HTTP/2 行为差异：当返回异常或空体，尝试降级到 HTTP/1.1 做对比验证。

五、反爬策略与工程化对策

Header 与 UA 模拟：随机 UA、常见 Referer 与 Accept-Language。
IP 轮换与代理池：集成稳定代理池并追踪异常率，优先用高匿名代理。
请求节流与退避：随机延迟、指数回退、幂等幂次控制。
行为模拟：必要时用浏览器自动化（Selenium / Playwright）模拟 JS 执行与交互。
验证码与登录：优先与站点沟通获取 API 凭证或使用授权接口，避免违规逆向。

六、抓包调试技巧（定位 HTTPS 问题的关键）

抓包能把“看不到的握手”变成可分析的证据。推荐步骤：

在本地用 mitmproxy / Charles / Fiddler 做代理抓包，配置客户端走代理并安装 CA，观察请求/响应头与 body。
若代理无效（如移动 App 有 Pinning 或 mTLS），用底层抓包 tcpdump + Wireshark 分析 TLS 握手（ClientHello/Alert），确认是否为证书/协议不兼容或被中间件拦截。
在 iOS/Android 真机场景，普通代理可能被拒绝——这时把USB 直连真机抓包工具纳入流程（例如抓包大师 Sniffmaster），它能按 App 抓取流量并导出 pcap，便于在 Wireshark 中做握手与时序分析。注意使用须合规与授权。