CAP博客集合

完整教程：一篇最全Python 爬虫超详细讲解（零基础入门，适合小白）

一篇最全Python 爬虫超详细讲解（零基础入门，适合小白）

简单理解：
“爬虫就是一台自动访问网站、识别内容并保存下来的机器人。”

流程分解说明

步骤	名称	说明
1	发起请求	使用 `requests` 或 `aiohttp` 模拟浏览器请求网页
2	获取响应	服务器返回网页 HTML 文本或 JSON 数据
3	内容解析	使用 `BeautifulSoup`、`lxml`、`json` 解析网页结构
4	数据提取	使用 XPath、CSS Selector、正则表达式提取目标字段
5	数据存储	保存到 CSV、Excel、MongoDB、MySQL 等

二、常用爬虫库与功能对比

库名称	功能简介	优点	适合场景
`requests`	发送网络请求	简单易用	入门级爬虫
`BeautifulSoup`	解析 HTML	易读性好	静态网页解析
`lxml`	高性能解析	快速稳定	大规模数据提取
`Scrapy`	爬虫框架	模块化强	中大型项目
`selenium`	模拟浏览器操作	能执行 JS	动态网页爬取
`aiohttp`	异步请求	并发高	海量网页采集
`re`	正则匹配	通用工具	提取特定文本内容

提示：
如果你刚开始学习，建议先从 requests + BeautifulSoup 组合入手，再慢慢过渡到框架类爬虫。

三、简单爬虫示例（从零开始）

下面是一个最简单的网页爬虫实例，用于获取百度首页标题

import requests
from bs4 import BeautifulSoup
url = "https://www.baidu.com"
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)"
}
# 1. 发起请求
response = requests.get(url, headers=headers)
# 2. 获取网页内容
html = response.text
# 3. 解析HTML
soup = BeautifulSoup(html, "html.parser")
# 4. 提取标题
title = soup.title.string
print("网页标题：", title)

运行结果：

网页标题： 百度一下，你就知道

四、爬虫的分类

Python 爬虫大致可以分为以下几类

1️⃣ 静态爬虫（最常见）

2️⃣ 动态爬虫（需渲染页面）

页面内容由 JavaScript 动态生成，需要 selenium 或 playwright 等工具加载。

stateDiagram-v2[*] --> 静态[爬虫](https://www.juliangip.com/user/reg?inviteCode=1060492)静态[爬虫](https://www.juliangip.com/user/reg?inviteCode=1060492) --> 动态[爬虫](https://www.juliangip.com/user/reg?inviteCode=1060492): 遇到JS渲染动态[爬虫](https://www.juliangip.com/user/reg?inviteCode=1060492) --> 模拟登录模拟登录 --> 接口分析接口分析 --> [*]

3️⃣ 接口型爬虫（最稳定）

五、爬虫常见问题及解决方案

问题场景	原因	解决方法
请求403被拒绝	反爬机制检测UA	添加 headers 模拟浏览器
页面内容不全	动态渲染	使用 selenium 或 API 接口
中文乱码	编码错误	指定 `response.encoding='utf-8'`
数据重复	未去重	用集合或数据库唯一索引过滤
访问过快被封IP	请求频率过高	使用 `time.sleep()` 或代理池

⚠️ 温馨提醒：
请遵守目标爬虫网站的 robots.txt 协议，避免非法爬取敏感数据。

六、保存数据

常见的三种保存方式如下

✅ 保存为 CSV

import csv
data = [["标题", "链接"], ["百度", "https://www.baidu.com"]]
with open("data.csv", "w", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerows(data)

✅ 保存为 Excel

import pandas as pd
df = pd.DataFrame(data, columns=["标题", "链接"])
df.to_excel("data.xlsx", index=False)

✅ 保存到数据库

import pymysql
conn = pymysql.connect(host="localhost", user="root", password="123456", database="spider_db")
cursor = conn.cursor()
cursor.execute("INSERT INTO websites(title, url) VALUES (%s, %s)", ("百度", "https://www.baidu.com"))
conn.commit()

七、总结与拓展

总结一句话：
“写爬虫的过程，就是不断理解网页结构、观察数据规律、规避反爬策略的过程。”

模块	技能点	难度
requests	请求网页	⭐
BeautifulSoup	HTML解析	⭐⭐
selenium	模拟浏览器	⭐⭐⭐
scrapy	大型爬虫框架	⭐⭐⭐⭐
aiohttp	异步并发	⭐⭐⭐⭐