网站注册界面设计,查看商标是否被注册官网,wordpress 5.3,吴桥网站建设目录 一、requests的基本使用 二、get请求 三、post请求 四、代理的使用 五、cookie登录以及验证码图片识别 一、requests的基本使用 import requestsurl http://www.baidu.comresponse requests.get(url url)#一个类型和六个属性 #Response类型 #print(type(response… 目录 一、requests的基本使用 二、get请求 三、post请求 四、代理的使用 五、cookie登录以及验证码图片识别 一、requests的基本使用 import requestsurl http://www.baidu.comresponse requests.get(url url)#一个类型和六个属性 #Response类型 #print(type(response))#设置响应的编码格式 response.encoding utf-8#以字符串的形式返回网页源码 #print(response.text)#返回一个url地址 #print(response.url)#返回二进制数据 # print(response.content)#返回响应的状态码 print(response.status_code)#获取响应头 print(response.headers) 二、get请求 import requestsurl http://www.baidu.com/s?headers {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 }data {wd:北京 }#url--请求资源地址 params--参数 kwargs--字典 response requests.get(urlurl,paramsdata,headersheaders)content response.textprint(content) 注: 参数用params传递参数不需要urlencode编码不需要请求对象的定制。 三、post请求 import requestspost_url https://fanyi.baidu.com/sugheaders {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 }data {kw:eye }#url--请求对象地址 data--参数 kwargs--字典 response requests.post(url post_url,datadata,headersheaders)content response.text 解决乱码 import json #注这里是新版json需要用encode(utf-8),不能用encodingutf-8 obj json.loads(content.encode(utf-8)) print(obj) 注requests的post请求不需要编解码post请求的参数是data不需要请求对象的定制。 四、代理的使用 proxy {http:101.251.204.174:8080 }response requests.get(urlurl,paramsdata,headersheaders,proxiesproxy) 五、cookie登录以及验证码图片识别 e.g.自动登录古诗文网站 import requests#登录页面的url地址 url https://so.gushiwen.cn/user/login.aspx?fromhttp://so.gushiwen.cn/user/collect.aspxheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 }#获取页面的源码 response requests.get(urlurl,headersheaders) content response.text#解析页面源码 获取__VIEWSTATE __VIEWSTATEGENERATOR from bs4 import BeautifulSoupsoup BeautifulSoup(content,lxml)#隐藏域hidden #获取__VIEWSTATE viewstate soup.select(#__VIEWSTATE)[0].attrs.get(value)#获取__VIEWTATEGENERATOR viewstategenerator soup.select(#__VIEWSTATEGENERATOR)[0].attrs.get(value)#获取验证码图片 code soup.select(#imgCode)[0].attrs.get(src) code_url https://so.gushiwen.cncode#requests里的session #通过session的返回值使请求变成一个对象 session requests.session() #验证码的url的内容 response_code session.get(code_url) #注意此时要使用二进制数据因为我们要使用图片的下载 content_code response_code.content #wb的模式就是将二进制数据写入文件 with open(code.png,wb) as fp:fp.write(content_code)#获取了验证码之后 下载到本地 然后观察验证码 观察之后 然后在控制台输入这个验证码 real_code input(请输入验证码:)#点击登录 url_post https://so.gushiwen.cn/user/login.aspx?fromhttp%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspxdata_post {__VIEWSTATE:,__VIEWSTATEGENERATOR:,from:http://so.gushiwen.cn/user/collect.aspx,email:1234567qq.com,pwd:123456,code:,denglu:登录 }response_post session.post(url url_post,headersheaders,datadata_post)content_post response_post.textwith open(gushiwen.html,w,encodingutf-8) as fp:fp.write(content_post)