Python爬虫第7节-requests库的高级用法

目录

前言

一、文件上传

二、Cookies

三、会话维持

四、SSL证书验证

五、代理设置

六、超时设置

七、身份认证

八、Prepared Request

前言

        上一节，我们认识了requests库的基本用法，像发起GET、POST请求，以及了解Response对象是什么。这一节，咱们接着讲讲requests库的一些高级用法，比如怎么上传文件，如何设置Cookies和代理 。 

一、文件上传

        用requests，不光能模拟提交普通数据，实现文件上传也不在话下，而且操作起来很容易。 

示例代码如下：

import requests
files = {'file': open('favicon.ico', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)

        要是之前保存过favicon.ico文件，这段代码就能拿它模拟文件上传。其中 httpbin.org 是一个基于 Python 和 Flask 开发的 HTTP 请求与响应服务网站。得注意，favicon.ico得和运行的脚本放在同一个文件夹里。要是想用其他文件模拟，改改代码就行。 

运行上述代码，得到类似如下结果：

{
  "args": {},
  "data": "",
  "files": {
    "file": "data:application/octet-stream;base64,AAABAAEAgIAAAAAAIAAoCAEA......
  },
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Content-Length": "67793",
    "Content-Type": "multipart/form-data; boundary=80503f6283733c2f23804bb45111c889",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.31.0",
    "X-Amzn-Trace-Id": "Root=1-67f481ae-65a8a7c32119664b07375e48"
  },
  "json": null,
  "origin": "14.18.236.76",
  "url": "http://httpbin.org/post"
}

        上面展示的结果，省略了一些内容。网站给出的响应里有files字段，form字段却是空的。这就说明，在文件上传时，会通过专门的files字段来标记上传的文件。

二、Cookies

        以前用urllib处理Cookies，代码写起来挺麻烦。但requests不一样，获取和设置Cookies简单多了，操作一步就能搞定。下面通过实例，看看怎么用requests获取Cookies： 

import requests
r = requests.get("https://www.baidu.com")
print(r.cookies)
for key, value in r.cookies.items():print(key + '=' + value)

运行代码，结果如下：

<RequestsCookieJar[<Cookie BD0RZ=27315 for .baidu.com/>, <Cookie bsi=135335943568134141940014NN20303C0FNNNforw.baidu.com/>]>
BDORZ=27315
bsi=135335943568134141940014NN2030302FNNNO

        先调用cookies属性，就能得到Cookies，它的数据类型是RequestCookieJar。然后用items()方法把它转成由元组组成的列表，一个个遍历输出每个Cookie的名称和值，这样就完成了Cookie的遍历解析。 

        用Cookie能维持登录状态。就拿知乎来说，登录知乎后，把Headers里的Cookie内容复制出来（也可以换成你自己的Cookie），设置到Headers里再发送请求，下面是示例代码：

cookie = "_zap=5852a467-84d5-48cd-b719-20cd08603c31; d_c0=a9CTVTvcRBqPTm6b5PunENpMjXLxX-7IGgk=|1744077733; captcha_session_v2=2|1:0|10:1744077734|18:captcha_session_v2|88:QkNNRGpaLzFMQ3NncGFVRXIxb1pSTXZlb3Axb3pCaGNibzlPRFI4cHhEUlpsU3ZyVUF5b0xGL2haSE1oS0xlZw==|d22291e8cfbad9e62e3ecf5b5879bd681e0dc56a87772f4b0a1bd674bfb6dc53; __snaker__id=1aUlWy7fvUjwSn3n; gdxidpyhxdE=%2BtQHnNHABo%2BnC7cQZNp5uprsnqVoGdyWn2QbuZGkZQ4K0Nio4pOnXNCRdPPZGh%2BOAJ8CYYhNxL%2B9bl%5CMngU%5Cb16zCg3nm9eIK%5C6dD0g%2BwE6q%2BUlwgi0dAj6TOMH5%2FqRH%5CYay%2BezxLU01dKTr4k9QPsXGtdRZ%2BkD6xU%5CxS6RKyHTSXxlh%3A1744078635509; q_c1=6573efe200e34e6e9cb0469042bfafde|1744077773000|1744077773000; z_c0=2|1:0|10:1744077775|4:z_c0|92:Mi4xUHZCWVJnQUFBQUJyMEpOVk85eEVHaGNBQUFCZ0FsVk56ZEhoYUFCU1V6WFFiOURmc3VsUnoyd0NtYUdYdTl6N1dB|29591bd5fc696067e49e9509e5fac6fd4663498734ece22be113ccb401123931; _xsrf=ee0ea1ed-31f9-45ab-a923-fc97da5d7663; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1744077734,1744104477; HMACCOUNT=29A6B844A9199C82; SESSIONID=alwM2PqMj7oxC3sRO72GFRwFMAnqV5ntSfBTuVLEheH; JOID=UV0WC0NgDf9xcWbsRRC3LEFGsaVfB2eDPEgwmwMBPJYCMl6ZEX3sAB18ZuFOibPgrBwBunupBMfuYiuxq0TeVS8=; osd=UVoSBkxgCvt8fmbrQR24LEZCvKpfAGOOM0g3nw4OPJEGP1GZFnnhDx17YuxBibTkoRMBvX-kC8fpZia-q0PaWCA=; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1744104666; tst=v; BEC=8b4a1b0a664dd5d88434ef53342ae417; unlock_ticket=AOBXjeH6uhYXAAAAYAJVTeLz9Gd8qlW4_xKazEBGBzAktCSlnf9y0w=="
import requestsheaders = {'Cookie': cookie,'Host': 'www.zhihu.com','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac 0sX10 11 4)AppleWebKit/537.36(KHTML, like Gecko)Chrome/53.0.2785.116 Safari/537.36'
}
r = requests.get('https://www.zhihu.com/zvideo', headers=headers)
print(r.text)

        程序运行后，得到的结果里有登录后的页面内容，这就说明成功登录了。

        除了前面的方法，我们还能通过cookies参数来设置Cookie。不过，这种方式得先构造RequestsCookieJar对象，还要对获取到的cookies进行分割，操作相对麻烦。下面来看示例： 

import requests
cookie = "_zap=5852a467-84d5-48cd-b719-20cd08603c31; d_c0=a9CTVTvcRBqPTm6b5PunENpMjXLxX-7IGgk=|1744077733; captcha_session_v2=2|1:0|10:1744077734|18:captcha_session_v2|88:QkNNRGpaLzFMQ3NncGFVRXIxb1pSTXZlb3Axb3pCaGNibzlPRFI4cHhEUlpsU3ZyVUF5b0xGL2haSE1oS0xlZw==|d22291e8cfbad9e62e3ecf5b5879bd681e0dc56a87772f4b0a1bd674bfb6dc53; __snaker__id=1aUlWy7fvUjwSn3n; gdxidpyhxdE=%2BtQHnNHABo%2BnC7cQZNp5uprsnqVoGdyWn2QbuZGkZQ4K0Nio4pOnXNCRdPPZGh%2BOAJ8CYYhNxL%2B9bl%5CMngU%5Cb16zCg3nm9eIK%5C6dD0g%2BwE6q%2BUlwgi0dAj6TOMH5%2FqRH%5CYay%2BezxLU01dKTr4k9QPsXGtdRZ%2BkD6xU%5CxS6RKyHTSXxlh%3A1744078635509; q_c1=6573efe200e34e6e9cb0469042bfafde|1744077773000|1744077773000; z_c0=2|1:0|10:1744077775|4:z_c0|92:Mi4xUHZCWVJnQUFBQUJyMEpOVk85eEVHaGNBQUFCZ0FsVk56ZEhoYUFCU1V6WFFiOURmc3VsUnoyd0NtYUdYdTl6N1dB|29591bd5fc696067e49e9509e5fac6fd4663498734ece22be113ccb401123931; _xsrf=ee0ea1ed-31f9-45ab-a923-fc97da5d7663; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1744077734,1744104477; HMACCOUNT=29A6B844A9199C82; SESSIONID=alwM2PqMj7oxC3sRO72GFRwFMAnqV5ntSfBTuVLEheH; JOID=UV0WC0NgDf9xcWbsRRC3LEFGsaVfB2eDPEgwmwMBPJYCMl6ZEX3sAB18ZuFOibPgrBwBunupBMfuYiuxq0TeVS8=; osd=UVoSBkxgCvt8fmbrQR24LEZCvKpfAGOOM0g3nw4OPJEGP1GZFnnhDx17YuxBibTkoRMBvX-kC8fpZia-q0PaWCA=; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1744104666; tst=v; BEC=8b4a1b0a664dd5d88434ef53342ae417; unlock_ticket=AOBXjeH6uhYXAAAAYAJVTeLz9Gd8qlW4_xKazEBGBzAktCSlnf9y0w=="
cookies = cookie
jar = requests.cookies.RequestsCookieJar()
headers = {'Host': 'www.zhihu.com','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac 0sX10 11 4)AppleWebKit/537.36 (KHTML, like Gecko)Chrome/53.0.2785.116 afari/537.36'
}
for cookie in cookies.split(';'):key, value = cookie.split('=', 1)jar.set(key, value)
r = requests.get("http://www.zhihu.com", cookies=jar, headers=headers)
print(r.text)

        首先，创建一个RequestsCookieJar对象。接着，把复制来的cookies进行分割，利用set()方法，为每个Cookie设置好对应的key和value。之后，调用requests库的get()方法，将处理好的cookies作为参数传入。由于知乎网站自身的访问规则限制，headers参数是必须设置的，但不用在headers里再单独设置cookie字段。经过测试，用这种方法同样能顺利登录知乎。 

三、会话维持

        当我们用requests的get()或者post()方法模拟网页请求时，每次请求就相当于开启了一个新会话，这就好比用两个不同的浏览器打开不同页面。举个例子，假如我们先用post()方法登录网站，接着用get()方法去请求个人信息页面，这两次请求就像是在两个独立的浏览器中操作，所以没办法成功获取个人信息。

         有的朋友可能会想，通过设置相同的cookies能不能解决这个问题呢？确实可以，不过操作起来特别麻烦。其实，更好的办法是维持同一会话，这就像在同一个浏览器里打开新的选项卡一样。要实现这一点，我们可以借助Session对象。Session对象使用起来很方便，它不仅能维护会话，还能自动帮我们处理cookies相关问题。下面来看具体示例：

import requests
requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)

        上述代码请求了测试网址http://httpbin.org/cookies/set/number/123456789设置cookie，名称为number，内容是123456789，随后请求http://httpbin.org/cookies获取当前Cookies。运行结果如下：

{"cookies": {}
}

        可见，直接请求无法获取设置的Cookies。使用Session对象再次尝试：

import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)

运行结果如下：

{"cookies": {"number": "123456789"}
}

        这下成功获取数据了！从这就能看出，同一会话和不同会话存在明显差别。在实际应用里，Session用得特别多，尤其是模拟登录成功后，进行下一步操作的时候。比如说，模拟在同一个浏览器中，打开同一网站的不同页面。后面专门有章节，会对这部分内容进行详细讲解。 

四、SSL证书验证

        requests带有证书验证功能。当我们发送HTTP请求时，它会对SSL证书进行检查。通过verify参数，就能决定要不要执行这项检查。要是不设置verify参数，它默认是True，也就是会自动验证证书。 

        之前说过，很久以前的12306网站的证书不被官方CA机构认可，访问时就会出现证书验证错误。

下面用requests做个测试： 

import requests
response = requests.get("https://www.12306.cn")
print(response.status_code)

运行结果如下：

requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls process server certificate', 'certificate verify failed')],)")

        程序提示SSLError错误，这说明证书验证没通过。当我们请求HTTPS网站，要是证书验证出了问题，就会弹出这个错误。要是想避开这个错误，把verify参数设为False就行。具体代码如下： 

import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

        运行后会打印出请求成功的状态码，但会报出警告：

/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852:InsecureRequestWarning: UnverifiedHTTPS request is being made, Adding certificate verification is strongly advised. See:https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warningsInsecureRequestWarning)
200

        可通过设置忽略警告或捕获警告到日志的方式屏蔽该警告。设置忽略警告：

import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

捕获警告到日志：

import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

        除了上面的方法，我们还能指定本地证书当作客户端证书。这个本地证书，既可以是一个同时包含密钥和证书的文件，也能是一个包含两个文件路径的元组 ： 

import requests
response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code)

        上面这些代码只是用来演示的。在实际使用的时候，你得有crt和key这两个文件，并且要把它们的正确路径指出来。还有一点要注意，本地私有证书的key必须处于解密状态，要是key是加密状态，程序不支持。 

五、代理设置

        测试某些网站时，少量请求能正常获取内容，但大规模爬取时，频繁请求可能导致网站弹出验证码、跳转到登录认证页面，甚至封禁客户端IP。为避免这种情况，需设置代理，可通过proxies参数实现，示例如下：

import requests
proxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.10:1080"
}
requests.get("https://www.taobao.com", proxies=proxies)

        上述代理可能无效，需替换为有效代理进行试验。若代理需要使用HTTP Basic Auth，可使用类似http://user:password@host:port的语法设置代理，示例如下：

import requests
proxies = {"http": "http://user:password@10.10.1.10:3128/"
}
requests.get("https://www.taobao.com", proxies=proxies)

        除基本的HTTP代理外，requests还支持SOCKS协议的代理。使用前需安装socks库：

pip3 install 'requests[socks]'

        安装后即可使用SOCKS协议代理，示例如下：

import requests
proxies = {'http':'socks5://user:password@host:port','https':'socks5://user:password@host:port'
}
requests.get("https://www.taobao.com", proxies=proxies)

六、超时设置

        要是你自己电脑的网络不好，或者服务器那边响应特别慢，甚至压根没反应，那你可能要等很久才能收到响应，弄不好最后还会报错。为了避免一直傻等，我们可以设定一个超时时间。意思就是，过了这个时间还没收到服务器的回应，程序就报错。这可以通过timeout参数来设置，例子如下： 

import requests
r = requests.get("https://www.taobao.com", timeout =1)
print(r.status_code)

        上面代码里把超时时间设成了1秒，要是1秒内没收到响应，就会抛出异常。请求其实分两个阶段，一个是连接服务器（connect），另一个是读取数据（read）。刚才设置的timeout是这两个阶段加起来的总超时时间。要是你想分别给这两个阶段设置超时时间，可以传一个元组进去： 

r = requests.get('https://www.taobao.com', timeout=(5, 11.30))

        若想永久等待，可将timeout设置为None，或不设置（默认值为None），用法如下：

r = requests.get('https://www.taobao.com', timeout=None)

        或直接不加参数：

r = requests.get('https://www.taobao.com')

七、身份认证


        访问网站时可能遇到认证页面，requests自带身份认证功能，示例如下：

import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password'))
print(r.status_code)


        若用户名和密码正确，请求时自动认证成功，返回200状态码；若认证失败，返回401状态码。直接传递HTTPBasicAuth类作为参数较繁琐，requests提供了更简便的写法，直接传一个元组，它会默认使用HTTPBasicAuth类进行认证，代码可简写为：

import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)

        此外，requests还提供其他认证方式，如OAuth认证。使用OAuth认证需安装oauth包，安装命令如下：

pip3 install requests_oauthlib

        使用OAuth1认证的方法如下：

import requests
from requests_oauthlib import OAuth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1('YOUR_APP_KEY', 'YOUR_APP_SECRET', 'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)

        更多详细功能可参考requests_oauthlib的官方文档https://requests-oauthlib.readthedocs.org/。

八、Prepared Request

        在介绍urllib时，可将请求表示为数据结构，各参数通过一个对象表示。requests中也有类似功能，对应的数据结构是Prepared Request。示例如下：

from requests import Request, Session
url = "http://httpbin.org/post"
data = {'name': 'germey'}
headers = {'User-Agent': 'Mozilla/5.0(Macintosh; Intel Mac0sX10 11 4)AppleWebKit/537.36 (KHTML, like Gecko)Chrome/53.0.2785.116 Safari/537.36'
}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

        引入Request后，用url、data和headers参数构造Request对象，再调用Session的prepare_request()方法将其转换为Prepared Request对象，最后调用send()方法发送请求。运行结果如下：

{"args": {},"data": "","files": {},"form": {"name": "germey"},"headers": {"Accept": "*/*","Accept-Encoding": "gzip, deflate","Connection": "close","Content-Length": "11","Content-Type": "application/x-www-form-urlencoded","Host": "httpbin.org","User-Agent": "Mozilla/5.0(Macintosh; Intel Mac 0sX10 11 4)AppleWebKit/537.36 (KHTML, like Gecko)Chrome/53.0.2785.116 Safari/537.36"},"json": null,"origin": "182.32.203.166","url": "http://httpbin.org/post"
}

        从结果能看出，我们通过这种方式实现了和普通POST请求一样的效果。有了Request对象后，我们可以把每个请求当成一个独立个体。这在进行队列调度时特别方便，后续我们会利用它来构建一个Request队列。 

        这一节给大家介绍了requests的一些高级用法，在后面实际项目中，这些用法会经常用到，大家要熟练掌握。要是还想了解更多requests的用法，可以查看它的官方文档：http://docs.python-requests.org/ 。 

参考学习书籍：Python 3网络爬虫开发实战

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/901086.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Python 要致富先修路

Python 要致富先修路

今天准备在原有基础上重新深入学习并记录python学习进程。 # 整体思路 不废话&#xff1a; 阶段1&#xff1a;精选入门电子教程坚持学习&#xff1b; 阶段2&#xff1a;跟着教程学习代码思维&#xff0c;做好学习笔记并构建知识库方便以后速查&#xff1b; 阶段3&#xff…
阅读更多...
微服务无感发布实践：基于Nacos的客户端缓存与故障转移机制

微服务无感发布实践：基于Nacos的客户端缓存与故障转移机制

微服务无感发布实践&#xff1a;基于Nacos的客户端缓存与故障转移机制 背景与问题场景 在微服务架构中&#xff0c;服务的动态扩缩容、滚动升级是常态&#xff0c;而服务实例的上下线需通过注册中心&#xff08;如Nacos&#xff09;实现服务发现的实时同步。但在实际生产环境…
阅读更多...
2025年的Android NDK 快速开发入门

2025年的Android NDK 快速开发入门

十年前写过一篇介绍NDK开发的文章《Android实战技巧之二十三&#xff1a;Android Studio的NDK开发》&#xff0c;今天看来已经发生了很多变化&#xff0c;NDK开发变得更加容易了。下面就写一篇当下NDK开发快速入门。 **原生开发套件 (NDK) **是一套工具&#xff0c;使开发者能…
阅读更多...
Shell 编程之条件语句

Shell 编程之条件语句

目录 条件测试操作 文件测试 整数值比较 字符串比较 逻辑测试 if 条件语句 if语句的结构 1、单分支 if 语句 2、双分支 if 语句 3、多分支 if 语句 if语句应用实例 1、单分支 if 语句应用 2、双分支 if 语句应用 3、多分支 if 语句应用 case 分支语句 case语句的结构 case语…
阅读更多...
【模板】缩点

【模板】缩点

洛谷p3387 思路: 算法:tarjan算法 根据题意,我们只要找到一个路径,使得最终权重最大即可,首先,根据题目可知,如果一个点在一个环上,那么我们就将这整个环都选上,题目上允许我们能够重复走,因此,我们可以将环缩成点,将环所称点后,就可以转换成树,从没有父节点的结点开始,我们向…
阅读更多...
js触发隐式类型转换的场景

js触发隐式类型转换的场景

JavaScript 的隐式类型转换&#xff08;Implicit Type Coercion&#xff09;会在某些操作或上下文中自动触发&#xff0c;将值从一种类型转换为另一种类型。以下是常见的触发场景&#xff1a; 1. 使用 &#xff08;宽松相等&#xff09;比较时 会尝试将两边的值转换为相同类型后…
阅读更多...
c++将jpg转换为灰度图

c++将jpg转换为灰度图

c将jpg转换为灰度图 step1:添加依赖 下载这两个文件&#xff0c;放在cpp同一目录下&#xff0c;编译生成 https://github.com/nothings/stb/blob/master/stb_image_write.h https://github.com/nothings/stb/blob/master/stb_image.hstep2:C:\Users\wangrusheng\source\repos…
阅读更多...
python——正则表达式

python——正则表达式

一、简介 在 Python 中&#xff0c;正则表达式主要通过 re 模块实现&#xff0c;用于字符串的匹配、查找、替换等操作。 二、Python的re模块 使用前需要导入&#xff1a; import re 三、常用方法 方法描述re.match(pattern, string)从字符串开头匹配&#xff0c;返回第一个匹…
阅读更多...
Soybean Admin 配置vite兼容低版本浏览器、安卓电视浏览器(飞视浏览器)

Soybean Admin 配置vite兼容低版本浏览器、安卓电视浏览器(飞视浏览器)

环境 window10 pnpm 8.15.4 node 8.15.4 vite 5.1.4 soybean admin: 1.0.0 native-ui: 2.38.0 小米电视 MIUI TV版本&#xff1a;MiTV OS 2.7.1886(稳定版) 飞视浏览器&#xff1a;https://www.fenxm.com/1220.html在小米电视安装飞视浏览器可以去小红书查安装教程&#xff1a…
阅读更多...
系统与网络安全------网络通信原理（1）

系统与网络安全------网络通信原理（1）

资料整理于网络资料、书本资料、AI&#xff0c;仅供个人学习参考。 文章目录 网络通信模型协议分层计算机网络发展计算机网络功能什么是协议为什么分层邮局实例 OSI模型OSI协议模型OSI七层模型OSI七层的功能简介 TCP/IP模型OSI模型与TCP/IP模型TCP/IP协议族的组成各层PDU设备与…
阅读更多...
如何使用通义灵码完成PHP单元测试 - AI辅助开发教程

如何使用通义灵码完成PHP单元测试 - AI辅助开发教程

一、引言 在软件开发过程中&#xff0c;测试是至关重要的一环。然而&#xff0c;在传统开发中&#xff0c;测试常常被忽略或草草处理&#xff0c;很多时候并非开发人员故意为之&#xff0c;而是缺乏相应的测试思路和方法&#xff0c;不知道如何设计测试用例。随着 AI 技术的飞…
阅读更多...
批量清空图片的相机参数、地理位置等敏感元数据

批量清空图片的相机参数、地理位置等敏感元数据

我们在使用相机或者手机拍摄照片的时候&#xff0c;照片中都会带有一些敏感元数据信息&#xff0c;比如说相机的型号&#xff0c;参数&#xff0c;拍摄的时间地点等等。这些信息虽说不是那么引人注意&#xff0c;但是在某些时候他是非常隐私非常重要的。如果我们将这些信息泄露…
阅读更多...
SQL优化算法解析 | PawSQL 如何将EXISTS子查询“秒拆“为JOIN连接

SQL优化算法解析 | PawSQL 如何将EXISTS子查询“秒拆“为JOIN连接

在数据库性能调优中,子查询优化是提升查询效率的关键点之一。今天,我们将分享一个使用 PawSQL 对EXISTS子查询进行重写优化的案例,展示如何通过合理的SQL重写与索引设计,实现超过487516.45%的性能提升! 一、案例分析&#xff1a;EXISTS子查询的性能困境 这个查询的目的是找出…
阅读更多...
大模型day1 - 什么是GPT

大模型day1 - 什么是GPT

什么是GPT 全称 Generative Pre-trained Transformer 是一种基于 Transformer 架构的大规模 预训练 语言模型&#xff0c;由OpenAI研发&#xff0c;但GPT仅仅只是借鉴了Transformer 中 Decoder 的部分&#xff0c;并且做了升级 Transformer 架构 Transformer架构 是一种用于…
阅读更多...
MDM功能演示：远程锁定与数据擦除，保障企业移动设备安全

MDM功能演示：远程锁定与数据擦除，保障企业移动设备安全

在当今高度互联的商业环境中&#xff0c;企业数据伴随着员工穿梭于不同城市、时区和设备之间。智能手机、平板电脑和笔记本电脑赋予员工随时随地办公的能力&#xff0c;但也带来了新的安全挑战&#xff1a;设备一旦遗失或落入不当之手&#xff0c;企业数据就面临泄露风险。 无…
阅读更多...
深度集成学习不均衡样本图像分类

深度集成学习不均衡样本图像分类

用五个不同的网络&#xff0c;然后对分类概率进行平均&#xff0c;得到分类结果。基本上分类精度可以提升10% 1.导入基本库 import torch import copy import torch.nn as nn import torchvision.models as models from torchvision import datasets from torchvision import…
阅读更多...
从零开始学java--泛型

从零开始学java--泛型

泛型 目录 泛型 引入 泛型类 泛型与多态 泛型方法 泛型的界限 类型擦除 函数式接口 Supplier供给型函数式接口&#xff1a; Consumer消费型函数式接口&#xff1a; Function函数型函数式接口&#xff1a; Predicate断言式函数式接口&#xff1a; 判空包装 引入 …
阅读更多...
5️⃣ Coze+AI应用基础教学（2025年全新版本）

5️⃣ Coze+AI应用基础教学（2025年全新版本）

目录 一、了解应用开发 1.1 扣子应用能做什么 1.2 开发流程 1.3 开发环境 二、快速搭建一个AI应用 2.1 AI翻译应用介绍 2.2 设计你的应用功能 2.3 创建 AI 应用项目 2.4 编写业务逻辑（新建工作流） 2.5 搭建用户界面 2.6 效果测试 2.7 发布应用 一、了解应用开发 …
阅读更多...
工会成立100周年纪念，开发职工健身AI运动小程序、APP方案推荐

工会成立100周年纪念，开发职工健身AI运动小程序、APP方案推荐

时光荏苒&#xff0c;转眼间2025年五一将至&#xff0c;这一年对于中华全国总工会而言&#xff0c;具有非凡的历史意义——它将迎来成立100周年的辉煌时刻。为了庆祝这一盛事&#xff0c;各级工会组织将精心筹备了一系列丰富多彩、形式多样的纪念活动&#xff0c;旨在展现工会百…
阅读更多...
【深度学习】Ubuntu 服务器配置开源项目FIGRET（PyTorch、torch-scatter、torch-sparse、Gurobi 安装）

【深度学习】Ubuntu 服务器配置开源项目FIGRET（PyTorch、torch-scatter、torch-sparse、Gurobi 安装）

开源项目网址&#xff1a;https://github.com/FIGRET/figret 该项目在SIGCOMM2024发表&#xff0c;用深度学习方法处理流量工程中的突发问题 1. 创建新的 Conda 环境 使用国内镜像源创建环境​ conda create -n figret python3.8.0 --override-channels -c https://mirrors.…
阅读更多...
最新文章

Copyright @ 2022~2023