深入与浅出-Python爬虫逆向实战

一、什么是爬虫逆向？

爬虫逆向，简单来说，就是通过分析网页的前端和后端行为，找出数据的来源和获取方式，从而实现自动化抓取。很多时候，直接使用requests和BeautifulSoup可能无法获取到目标数据，因为数据可能由JavaScript动态加载，或者隐藏在API请求中。逆向工程的目标，就是通过分析这些行为，找到数据的真实来源，并模拟请求获取数据。

二、案例背景：一个动态加载的网页

假设我们遇到了一个动态加载的网页，页面内容通过JavaScript从后端API获取。我们的目标是抓取该页面的数据。为了方便讲解，我们假设目标网页的结构如下：

网页URL：https://example.com/list
页面内容通过JavaScript动态加载，数据来源是一个API接口。
数据展示在页面的<div class="item">标签中，每个<div>包含标题、链接和描述。

三、逆向分析的步骤

1. 使用浏览器开发者工具分析网页

首先，我们需要使用浏览器的开发者工具（如Chrome DevTools）来分析网页的行为。

(1) 查看页面结构

打开开发者工具，进入“Elements”选项卡，查看页面的HTML结构。假设我们发现数据存储在<div class="item">中，每个<div>的结构如下：

<div class="item"><a href="https://example.com/detail/123" class="title">Item Title</a><p class="description">This is the description of the item.</p>
</div>

(2) 分析网络请求

切换到“Network”选项卡，刷新页面，观察浏览器发送的请求。我们发现页面加载时，发送了一个XHR（XMLHttpRequest）请求，请求URL为：

https://api.example.com/v1/items?page=1&size=10

这个请求返回了JSON格式的数据，其中包含了页面展示的内容。

2. 分析API请求的参数

通过开发者工具，我们可以进一步分析这个XHR请求的详细信息：

请求方法：GET
请求头（Headers）：包含User-Agent、Referer等信息。
查询参数：page=1和size=10，表示分页参数。

JSON响应数据如下：

{"items": [{"id": 123,"title": "Item Title","description": "This is the description of the item.","url": "https://example.com/detail/123"},...],"total_pages": 5
}

3. 模拟API请求

既然我们找到了数据的来源，接下来就是模拟这个API请求，获取数据。需要注意的是，有些网站会设置反爬机制，比如检查User-Agent、限制请求频率，甚至设置Referer验证。因此，我们需要在请求中带上这些必要的信息。

(1) 构建请求头

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36","Referer": "https://example.com/list"
}

(2) 发送请求

使用requests库发送GET请求：

import requestsurl = "https://api.example.com/v1/items"
params = {"page": 1,"size": 10
}response = requests.get(url, params=params, headers=headers)
data = response.json()

4. 处理分页

通过观察API的返回数据，我们发现total_pages字段表示总页数。因此，我们需要循环遍历所有页数，获取所有数据。

total_pages = data["total_pages"]
all_items = []for page in range(1, total_pages + 1):params = {"page": page,"size": 10}response = requests.get(url, params=params, headers=headers)data = response.json()all_items.extend(data["items"])

5. 数据存储

最后，我们可以将抓取到的数据存储到本地文件中，或者进行进一步的处理。

import jsonwith open("items.json", "w", encoding="utf-8") as f:json.dump(all_items, f, ensure_ascii=False, indent=4)

四、完整代码实现

以下是完整的代码实现，包含了上述所有步骤：

import requests
import jsondef fetch_data():headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36","Referer": "https://example.com/list"}url = "https://api.example.com/v1/items"params = {"page": 1,"size": 10}response = requests.get(url, params=params, headers=headers)data = response.json()total_pages = data["total_pages"]all_items = []for page in range(1, total_pages + 1):params["page"] = pageresponse = requests.get(url, params=params, headers=headers)data = response.json()all_items.extend(data["items"])return all_itemsdef save_data(items):with open("items.json", "w", encoding="utf-8") as f:json.dump(items, f, ensure_ascii=False, indent=4)if __name__ == "__main__":items = fetch_data()save_data(items)print("Data has been saved to items.json.")