python 使用curl_cffi 绕过jax3指纹-Cloudflare 5s盾

现在越来越多的网站已经能够通过JA3或者其他指纹信息，来识别你是不是爬虫了。传统的方式比如换UA，加代理是没有任何意义了，所以这个时候我们就需要使用到curl_cffi 了。

1.TLS 指纹是啥？

在绝大多数的网站都已经使用了 HTTPS，要建立 HTTPS 链接，服务器和客户端之间首先要进行
TLS 握手，在握手过程中交换双方支持的 TLS 版本，加密算法等信息。不同的客户端之间的差异
很大，而且一般这些信息还都是稳定的，所以服务端就可以根据 TLS 的握手信息来作为特征，识别
一个请求是普通的用户浏览器访问，还是来自 Python 脚本等的自动化访问。

JA3 是生成 TLS 指纹的一个常用算法。它的工作原理也很简单，大概就是把以上特征拼接并求 md5。

查看 tls 指纹的网站有：

  • https://tls.browserleaks.com/json
  • TrackMe | Home
  • https://kawayiyi.com/tls

不同网站的生成的指纹可能有差异，但是多次访问同一个网站生成的指纹是稳定的，而且能区分开
不同客户端。下文以第一个网站为例。

2.直接安装

pip install curl_cffi

功能简介：

  • 支持JA3/TLS和http2指纹模拟；
  • 比requests/tls_client快分开，和aiohttp/pycurl的速度比肩；
  • 预编译，不需要自己的机器上再弄一遍；
  • 支持asyncio，并且每个请求都可以换代理；
  • 修改请求的API，支持http 2.0；
  • 模仿requests。

先来看一段代码：

import requests
from pprint import pprint
headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','cache-control': 'no-cache','dnt': '1','pragma': 'no-cache','sec-ch-ua': '"Chromium";v="118", "Microsoft Edge";v="118", "Not=A?Brand";v="99"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"macOS"','sec-fetch-dest': 'document','sec-fetch-mode': 'navigate','sec-fetch-site': 'same-origin','sec-fetch-user': '?1','upgrade-insecure-requests': '1','user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46',
}response = requests.get('https://tls.browserleaks.com/json', headers=headers)
pprint(response.json())

运行效果：

在这里插入图片描述

这是直接使用Requests发起的请求。你可以试一试，加上代理以后，这里的ja3_hash并不会发生变化。并且akamai_hash和akamai_text都是空。这个特征是非常明显的，网站直接根据这些特征就可以屏蔽你的爬虫。

于是为了完美模拟浏览器，国外大佬开发出了 curl-impersonate，将 curl 底层依赖的库全部换成了浏览器使用的库，并且版本也是一致的，这样生成的指纹就和浏览器完全一样了。

而 curl_cffi 正是 curl-impersonate 的 Python binding，我们直接使用 pip 安装即可。

那这个问题咋解决尼？

只需要 把 import requests 改成 from curl_cffi import requests。最后，在requests.get中加一个参数：impersonate="chrome110"

代码如下：

# import requests
from curl_cffi import requests
from pprint import pprint
headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','cache-control': 'no-cache','dnt': '1','pragma': 'no-cache','sec-ch-ua': '"Chromium";v="118", "Microsoft Edge";v="118", "Not=A?Brand";v="99"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"macOS"','sec-fetch-dest': 'document','sec-fetch-mode': 'navigate','sec-fetch-site': 'same-origin','sec-fetch-user': '?1','upgrade-insecure-requests': '1','user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46',
}response = requests.get('https://tls.browserleaks.com/json', headers=headers, impersonate="chrome110")
pprint(response.json())

这次再运行下代码：

在这里插入图片描述

这次可以看到akamai_hash 和 akamai_text 已经都有了，网站已经无法识别你的爬虫了。在网站看来，这只是一个Chrome 110版本发起的请求。甚至Akamai需要的签名也都有了。

支持使用 Sessions

session = requests.Session()

也支持使用代理

proxies = {"https": "xxxxx:7890"}
proxies=proxies

支持模拟的浏览器版本：

  • chrome99、
  • chrome100、
  • chrome101、
  • chrome104、
  • chrome107、
  • chrome110、
  • chrome99_android、
  • edge99、
  • edge101、
  • safari15_3、
  • safari15_5

同样它也支持asyncio，示例代码如下所示：

from curl_cffi.requests import AsyncSessionasync with AsyncSession() as s:r = await s.get("https://example.com")

要使用异步写法时，代码如下：

import asyncio
from curl_cffi.requests import AsyncSessionurls = ["https://googel.com/","https://facebook.com/","https://twitter.com/",
]async def main():async with AsyncSession() as s:tasks = []for url in urls:task = s.get("https://example.com")tasks.append(task)results = await asyncio.gather(*tasks)asyncio.run(main())

我们以这个网站为例: https://apk.support/ 分析下：

在这里插入图片描述

浏览器抓包是能看到页面返回的关键数据，但是再把这个请求放到postman 发个请求试一下：

在这里插入图片描述
Just a moment...，完蛋凉了 标志性的5s盾。

咋办 用curl_cffi 发个请求试一试？

代码如下：

# import requests
from curl_cffi import requests
url = "https://apk.support/search?q=app"payload={}
headers = {'authority': 'apk.support','accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','accept-language': 'zh-CN,zh;q=0.9,en;q=0.8','cache-control': 'no-cache','pragma': 'no-cache','referer': 'https://apk.support/search?q=app','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"macOS"','sec-fetch-dest': 'document','sec-fetch-mode': 'navigate','sec-fetch-site': 'same-origin','sec-fetch-user': '?1','upgrade-insecure-requests': '1','user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
proxies = {'http': 'http://127.0.0.1:7890','https': 'http://127.0.0.1:7890'
}
response = requests.get(url=url, headers=headers, impersonate="chrome110", proxies=proxies)print(response.text)

看看效果：

在这里插入图片描述

可以看到返回的已经是正常数据，不再是5s盾了。

参考链接：

https://mp.weixin.qq.com/s/Ch7taYpD-dnNL2FLOuxgGA
https://blog.csdn.net/qiulin_wu/article/details/134180011
https://blog.csdn.net/resphina/article/details/132507212
https://www.jb51.net/python/302044jai.htm

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/714451.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

构造pop链

构造pop链

反序列化视频笔记 第一步：找到目标触发echo调用$flag 第二步：触发_invoke函数调用appeng函数$varflag.php（把对象当成函数） 第三步：给$p赋值为对象，即function成为对象Modifier却被当成函数调用&#xff…
阅读更多...
加密与安全_探索口令加密算法（PBE）

加密与安全_探索口令加密算法（PBE）

文章目录 概述疑问PBE 算法 （ Password Based Encryption）CodePOM实现 小结 概述 加密与安全_探索对称加密算法中我们提到AES加密密钥长度是固定的128/192/256位，而不是我们用WinZip/WinRAR那样，随便输入几位都可以。 这是因为对…
阅读更多...
2024最新算法：斑翠鸟优化算法（Pied Kingfisher Optimizer ,PKO）求解23个基准函数

2024最新算法：斑翠鸟优化算法（Pied Kingfisher Optimizer ,PKO）求解23个基准函数

一、斑翠鸟优化算法 斑翠鸟优化算法（Pied Kingfisher Optimizer ,PKO），是由Abdelazim Hussien于2024年提出的一种基于群体的新型元启发式算法，它从自然界中观察到的斑翠鸟独特的狩猎行为和共生关系中汲取灵感。PKO 算法围绕三个不…
阅读更多...
【Ubuntu操作系统】讲解

【Ubuntu操作系统】讲解

Ubuntu操作系统 1. 前言2. 系统更新3. 安装编译工具4. 安装文本编辑器4.1 Vim4.2 Visual Studio Code 5. 安装开发库6. 安装版本控制系统6.1 Git 7. 安装数据库7.1 MySQL7.2 PostgreSQL 8. 安装编程语言环境8.1 Python8.2 Node.js 9. 安装其他常用软件9.1 Chrome浏览器9.2 Dock…
阅读更多...
MySQL数据库引擎，以及常用引擎的区别

MySQL数据库引擎，以及常用引擎的区别

先看图： mysql常用引擎包括：MYISAM、Innodb、Memory、MERGE MYISAM： 全表锁，拥有较高的执行速度，不支持事务，不支持外键，并发性能差，占用空间相对较小，对事务完整性没有…
阅读更多...
SpringBoot整合rabbitmq-主题交换机队列（四）

SpringBoot整合rabbitmq-主题交换机队列（四）

说明：Topic主题交换机它的大致流程是交换机和一个或者多个队列绑定，这个绑定的Routingkey是包含通配符的，满足通配符的队列会接收到消息。 通配符规则： #：匹配一个或多个词 *：匹配一个词 例如&#xff…
阅读更多...
2024洗地机深度测评推荐，洗地机哪款值得入手？新手入门必看洗地机选购技巧

2024洗地机深度测评推荐，洗地机哪款值得入手？新手入门必看洗地机选购技巧

洗地机是近年来备受瞩目的智能家居产品，它能够有效地帮助我们节省劳动时间，高效清洁地面，从而减轻我们的劳动负担。洗地机实现了扫地和拖地的一体化功能，在扫地的同时还能顺便完成地面的拖洗工作。配备水箱的设计使得不再需要频繁…
阅读更多...
【kubernetes VPA】记录一次安装 VPA 相关组件的报错解决过程

【kubernetes VPA】记录一次安装 VPA 相关组件的报错解决过程

文章目录 1. 问题描述2. 问题原因3. 解决办法4. 参考链接 1. 问题描述 在执行 ./hack/vpa-up.sh脚本命令时，提示有报错。名为vpa-admission-controller的容器状态一直停留在ContainerCreating，从该Pod详细描述中得知，volume "tls-certs…
阅读更多...
内核参数调优

内核参数调优

默认的Linux内核参数考虑的是最通用场景，不符合用于支持高并发访问的Web服务器的定义，根据业务特点来进行调整，当Nginx作为静态web内容服务器、反向代理或者提供压缩服务器的服务器时，内核参数的调整都是不同的，此处针…
阅读更多...
【牛客】SQL131 作答试卷得分大于过80的人的用户等级分布

【牛客】SQL131 作答试卷得分大于过80的人的用户等级分布

描述 现有用户信息表user_info（uid用户ID，nick_name昵称, achievement成就值, level等级, job职业方向, register_time注册时间）： iduidnick_nameachievementleveljobregister_time11001牛客1号31007算法2020-01-01 10:00:00210…
阅读更多...
常见外设学习以及无线通信频率

常见外设学习以及无线通信频率

常见外设 UART UART（Universal Asynchronous Receiver/Transmitter，通用异步收发器）是一种异步、串行、全双工的通信总线。 UART 有3根线，分别是：发送线（TX）、接收线（RX&#xff…
阅读更多...
AT24C1024的模拟IIC驱动

AT24C1024的模拟IIC驱动

AT24C1024是基于IIC的EEPROM，容量为1024/8128k bytes。它的引脚如下： 其中A1,A2为硬件地址引脚 WP为写保护引脚，一般我们需要读写，需要接低电平GND，接高的话则仅允许读 SDA和SCL则为IIC通信引脚 芯片通信采用IIC&…
阅读更多...
02、MongoDB -- MongoDB 的安全配置（创建用户、设置用户权限、启动安全控制、操作数据库命令演示、mongodb 的帮助系统介绍）

02、MongoDB -- MongoDB 的安全配置（创建用户、设置用户权限、启动安全控制、操作数据库命令演示、mongodb 的帮助系统介绍）

目录 MongoDB 的安全配置演示前准备：启动 mongodb 服务器 和 客户端 ：1、启动单机模式的 mongodb 服务器2、启动 mongodb 的客户端 MongoDB 的安全配置启动演示用到的 mongodb 服务器 和 客户端启动单机模式的 mongodb 服务器：启动 mongodb 的…
阅读更多...
【数据结构】19 平衡二叉树

【数据结构】19 平衡二叉树

定义 平衡二叉树又称为AVL树，是具有以下性质的非空搜索树： 任一结点的左、右子树均为AVL树。根节点的左、右子树高度差的绝对值不超过1. 对于二叉树的任一结点T，其平衡因子（BF）定义为BF(T) h L − h R h_L- h_R hL…
阅读更多...
acwing算法提高之搜索--双向广搜BFS与A星算法

acwing算法提高之搜索--双向广搜BFS与A星算法

目录 1 专题说明2 训练 1 专题说明 本专题用来记录使用双向广搜BFS和A星算法求解的题目。 2 训练 题目1&#xff1a;190字串变换 考点&#xff1a;从起点开始搜&#xff0c;从终点开始搜&#xff0c;即双向广搜。 C代码如下&#xff0c; #include <iostream> #incl…
阅读更多...
攻防世界-get_post

攻防世界-get_post

题目信息 相关知识 -G&#xff1a;表示GET请求&#xff0c;缺省POST -d参数用于发送 POST 请求的数据体 使用-d参数以后&#xff0c;HTTP 请求会自动加上标头Content-Type : application/x-www-form-urlencoded。并且会自动将请求转为 POST 方法&#xff0c;因此可以省略-X PO…
阅读更多...
使用GPTQ进行4位LLM量化

使用GPTQ进行4位LLM量化

使用GPTQ进行4位LLM量化 最佳脑量化GPTQ算法步骤1:任意顺序洞察步骤2:延迟批量更新第三步:乔尔斯基重塑 用AutoGPTQ量化LLM结论References 权重量化的最新进展使我们能够在消费级硬件上运行大量大型语言模型&#xff0c;例如在RTX 3090 GPU上运行LLaMA-30B模型。这要归功于性能…
阅读更多...
信息收集2.0版本

信息收集2.0版本

内网渗透之信息收集 whois查询 1.1.1.1. 在线网站查询 输入相关的域名即可进行查询。 &#xff08;1&#xff09;站长之家&#xff1a;whois域名查询&#xff1a;http://whois.chinaz.com/ &#xff08;2&#xff09;爱站工具网&#xff1a;whois域名查询&#xff1a;站长…
阅读更多...
mysql数据库操作小寄巧

mysql数据库操作小寄巧

目录 json字段查询时间相关只有日期只有时间又有时间又有日期时间比较时间运算 某字段同的取最新数据&#xff08;软性的新数据覆盖旧数据查找&#xff09;sql_modeonly_full_group_by的解决办法优化思路 json字段查询 查询某个json字段&#xff08;xx&#xff09;的某个属性下…
阅读更多...
【考研数学】零基础备考全年计划

【考研数学】零基础备考全年计划

25考研数学基础差&#xff0c;一定要重视基础的复习&#xff01; 基础不牢&#xff0c;地动山摇&#xff0c;这句话在如今的考研更加贴切 24考研的新形势&#xff1a; 重基础、计算量大、反押题 每一个变化对于基础差的同学都不是好消息。 做过近几年考研真题的人都会发现…
阅读更多...
最新文章

Copyright @ 2022~2023