Cloudflare作为全球最大的互联网基础设施公司之一，其网络遍布125个国家的330座城市，平均每秒处理超过8100万次HTTP请求——把它想象成互联网世界的十字路口并不为过，所有流经的数据都能被它看到。
正因为这种独特的上帝视角，Cloudflare每年发布的年度回顾报告，实际上就是整个互联网的年度体检报告。而2025年的这份报告，揭示了一个清晰的主题：AI不再是互联网的附加功能，它正在成为互联网本身。
先看几个震撼数字：
| 关键指标 | 2025年数据 | 意味着什么 |
|---|---|---|
| AI用户行为抓取量 | 增长超过21倍 | 人们正在从搜索转向问AI |
| Googlebot流量占比 | 4.5%的网页流量 | 单个爬虫超过所有AI机器人总和 |
| 后量子加密采用率 | 从29%跃升至52% | 人类正在为量子时代提前备战 |
| ChatGPT-User峰值 | 年初的16倍 | AI助手成为信息获取新方式 |
📊 盘点一：AI爬虫流量——谁是互联网最大的内容消费者？
🏆 No.1 Googlebot——当之无愧的流量之王
2025年全球AI爬网程序流量趋势
Googlebot的统治力有多强？
| 指标 | 数据 |
|---|---|
| 连续霸榜 | 第三年蝉联第一 |
| 流量倍数 | 几乎是第二名的4倍 |
| 机器人份额 | 占所有经验证机器人流量的28%+ |
| 网页流量占比 | 单独贡献4.5%（超过所有AI机器人总和的4.2%） |
Googlebot的特殊之处在于它的双重身份——既服务于传统搜索索引，也服务于AI模型训练。这种一鱼两吃的策略使其在2025年的抓取量远远超过其他主流AI机器人。抓取活动在2月中旬至7月中旬最为活跃，4月达到峰值。
🎯 AI爬虫的三种干活模式
2025年全球用户行为爬网程序流量趋势
Cloudflare的报告把AI爬虫的抓取目的分为三类：
| 目的类型 | 在做什么 | 代表机器人 | 2025年表现 |
|---|---|---|---|
| 模型训练 | 收集网页内容来训练AI模型 | GPTBot、ClaudeBot | 数量最大，6月达到峰值 |
| 搜索索引 | 为AI搜索功能建立网页索引 | OAI-SearchBot | 3月后有所下降 |
| 用户行为 | 响应用户提问时访问网页 | ChatGPT-User | 增长超过21倍！ |
2025年最大惊喜：用户行为抓取的爆发
这种流量从1月到12月初增长了超过21倍，反映出AI助手正在成为人们获取信息的首选方式——我们不再只是去谷歌搜索，而是直接问AI。这是2025年最值得关注的现象。
🤖 OpenAI三驾马车——各司其职
2025年全球OpenAI爬网程序流量趋势
OpenAI的三种爬虫各司其职：
| 爬虫名称 | 职责 | 2025年表现 |
|---|---|---|
| GPTBot | 收集网页内容训练AI模型 | 占所有机器人流量的7.5%，6月最活跃 |
| ChatGPT-User | 用户提问时访问网页 | 峰值是年初的16倍！ |
| OAI-SearchBot | 为ChatGPT搜索功能准备内容 | 10月下旬达年初的5倍 |
有趣的细节：ChatGPT-User流量呈现明显的工作日高、周末低模式，6-8月流量明显下降——学生和老师的放假模式一目了然。
更多前沿资讯解读、前沿技术拆解，欢迎加入赋范空间·大模型技术圈阅读
📊 盘点二：生成式AI服务排行榜——谁在领跑？
🥇 榜首之争：ChatGPT依然无敌
2025年全球主要生成式AI服务
ChatGPT/OpenAI依然稳居榜首，但2025年迎来了不少新面孔：
📈 排名上升的老将：
| 服务 | 特点 |
|---|---|
| Perplexity | AI+搜索结合得好，用户增长迅速 |
| Claude/Anthropic | 以安全可靠著称 |
| GitHub Copilot | 程序员的写代码神器 |
🆕 2025年新闯入前十：
| 服务 | 背景 |
|---|---|
| Google Gemini | 谷歌全力打造的AI助手 |
| Windsurf AI | 新兴AI编程工具 |
| Grok/xAI | 马斯克入局的代表作 |
| DeepSeek | 中国AI力量代表 |
🌍 全球AI爬虫版图：谷歌的天下
Googlebot在每个地区都是最活跃的爬虫（占35%-55%）：
| 地理区域 | 第一名 | 第二名 | 第三名 |
|---|---|---|---|
| 北美 | Googlebot (45.5%) | Bingbot (14.0%) | Meta (7.7%) |
| 南美 | Googlebot (44.2%) | ChatGPT (13.8%) | Bingbot (13.5%) |
| 欧洲 | Googlebot (48.6%) | Bingbot (13.2%) | ChatGPT (10.8%) |
| 亚洲 | Googlebot (39.0%) | ChatGPT (14.0%) | Bingbot (12.6%) |
哪个行业被AI光顾得最多？零售和计算机软件行业，两者占全部爬虫活动的40%以上。
📊 盘点三：开发者最爱的AI工具和任务
🔧 开发者最爱用的AI模型
2025年全球Workers AI最受欢迎的模型
| 排名 | 模型 | 份额 | 用途 |
|---|---|---|---|
| 🥇 | Meta llama-3-8b-instruct | 36.3% | 文本生成和对话 |
| 🥈 | OpenAI whisper | 10.1% | 语音转文字 |
| 🥉 | Stable AI stable-diffusion-xl | 9.8% | 文字生成图片 |
最大赢家：Meta Llama——以压倒性优势领先，几乎是第二名和第三名的总和。这说明开发者们越来越喜欢使用可掌控、可定制的开源模型。
📋 AI都在帮人们做什么？
2025年全球Workers AI最受欢迎的任务
| 排名 | 任务 | 份额 | 常见用途 |
|---|---|---|---|
| 1 | 文本生成 | 48.2% | 写文章、生成代码、聊天对话 |
| 2 | 文字生成图片 | 12.3% | 设计海报、制作营销素材 |
| 3 | 语音转文字 | 11.0% | 自动生成字幕、会议记录 |
结论很明确：让AI写东西才是最主流的需求——占了接近一半的使用量！文本相关的AI应用仍然是王道。
📊 盘点四：网站主与AI爬虫的攻防战
🚫 网站主开始说不
被禁止最多的AI爬虫
robots.txt就是网站门口的告示牌，网站主人可以在上面写明：欢迎谁来、谁不准进。
被完全禁止次数最多的TOP 3：
| 排名 | 爬虫 | 背后的公司 |
|---|---|---|
| 1 | GPTBot | OpenAI（ChatGPT的母公司） |
| 2 | ClaudeBot | Anthropic（Claude的母公司） |
| 3 | CCBot | Common Crawl（非营利数据项目） |
趋势很明显：越来越多的网站开始拒绝AI爬虫抓取内容。
但有一个鲜明的对比：Googlebot和Bingbot被完全禁止的情况要少得多。因为搜索结果会给网站带回流量，而纯AI训练爬虫只拿不给，自然遭到更多抵制。
💰 谁在白嫖内容？——抓取与回报的对比
2025年全球AI和搜索平台抓取-引荐比率
抓取-引荐比——有人来你家拍了很多照片（抓取），但有没有带朋友来参观（引荐）？
| 平台 | 比值 | 什么意思 |
|---|---|---|
| Claude (Anthropic) | 最高达100,000:1 | 每抓取10万次，才带来1个访客 |
| ChatGPT (OpenAI) | 峰值3,700:1 | 随搜索功能推出有所改善 |
| Perplexity | 低于200:1 | AI平台中表现最好的 |
| Google搜索 | 3:1 ~ 30:1 | 每3-30次抓取带来1个访客 |
| DuckDuckGo | 低于1.5:1 | 比Google更慷慨地引流 |
结论：传统搜索引擎有来有往，而大多数AI平台目前还是只进不出。这就是为什么越来越多网站主开始拒绝AI爬虫。
📊 盘点五：为未来准备的数字盾牌——后量子加密
🛡️ 后量子加密采用率：从29%到52%
2025年全球后量子加密流量增长
什么是后量子加密？简单来说，就是量子计算机也破解不了的加密技术。现在的HTTPS加密基于数学难题，但未来的量子计算机可能会破解这些难题。
2025年采用率飙升：
| 时间点 | 采用率 | 变化 |
|---|---|---|
| 2025年初 | 29% | 基准线 |
| 2025年12月初 | 52% | 几乎翻倍！ |
到2025年底，超过一半的网络流量已使用抗量子攻击的加密技术。28个国家的采用率增长了一倍以上。
🍎 Apple推动的一键升级
2025年波多黎各后量子加密流量增长
后量子加密的快速普及，很大程度上要归功于Apple。
2025年9月，Apple发布iOS 26系统更新，让iPhone自动使用后量子加密技术：
- 更新发布4天后：iOS设备使用后量子加密的比例从不到2%跳到11%
- 12月初：超过**25%**的iOS流量已使用后量子加密
当巨头决定采用某项技术时，普及速度会快得惊人——几天时间就能完成过去可能需要数年的推广。
📊 盘点六：互联网地基的技术变迁
📈 编程语言新格局：Go和Python的崛起
| 语言 | 2025年份额 | 2024年份额 | 增幅 |
|---|---|---|---|
| Go | 20% | 12% | 📈 +67% |
| Python | 17% | 9.6% | 📈 +77% |
| Java | 11.2% | 7.4% | 📈 +51% |
这是自动化API请求使用的编程语言统计——当程序之间自动对话时（比如AI调用某个服务），它们用什么语言说话。
最大赢家：Go和Python——云原生技术和AI开发正在重塑互联网的基础设施。
🏗️ 网站技术：稳中求变
2025年热门网站技术
尽管AI话题火热，但传统Web技术展现出惊人的稳定性：
- JavaScript框架：React依然是老大，使用量是Vue.js的两倍；老牌jQuery使用量是Slick的8倍
- 后端语言：PHP、Node.js、Java继续稳居前三
- 内容管理系统：WordPress占比47%，仍是最受欢迎的选择
这种稳定性其实是好事——为AI工具的集成提供了可预期的基础设施。
📋 总结：2025互联网六大关键变化
| 盘点维度 | 核心数据 | 意味着什么 |
|---|---|---|
| AI爬虫流量 | Googlebot占4.5%，超过所有AI机器人总和 | 机器人正在和人类平分网页流量 |
| AI服务格局 | ChatGPT领跑，Gemini、Grok、DeepSeek等新玩家入局 | AI助手成为获取信息的新方式 |
| 开发者选择 | Meta Llama开源模型最受欢迎（36.3%） | 开源力量正在挑战闭源巨头 |
| 内容博弈 | 网站主开始禁止AI爬虫 | 数据应该付费的争论才刚开始 |
| 安全升级 | 后量子加密采用率从29%跃升至52% | 人类正在为量子时代提前备战 |
| 技术栈变迁 | Go和Python崛起（增幅超67%） | 基础设施正在适应AI时代 |
🔮 2026年值得关注的趋势
| 趋势 | 看点 |
|---|---|
| AI与内容的价值谈判 | 随着网站拒绝AI抓取，AI公司可能需要开始为数据付费 |
| 多模态AI的爆发 | 能看图、看视频的AI普及后，图片和视频的抓取量可能迎来新一轮激增 |
| 边缘AI的普及 | AI运算迁移到离用户更近的边缘网络，响应更快、成本更低 |
| 量子安全的默认化 | 在Apple和Google推动下，后量子加密可能成为新设备的标配 |
📝 结语
2025年将被记住为AI真正成为互联网基础设施的一年。
从ChatGPT在后台访问网页，到手机里的后量子加密连接；从开发者选择开源AI模型，到网站主拒绝AI抓取——这些变化正在重新定义互联网的运作方式。
互联网正在被AI重塑，而这场重塑才刚刚开始。
更多前沿资讯解读、前沿技术拆解，欢迎加入赋范空间·大模型技术圈阅读
)
)
