爬虫入门——Request请求

 

目录

 

前言

一、Requests是什么?

二、使用步骤

1.引入库

2.请求

3.响应

三.总结


 

 


前言

上一篇爬虫我们已经提及到了urllib库的使用,为了方便大家的使用过程,这里为大家介绍新的库来实现请求获取响应的库。

 

一、Requests是什么?

 

Requests is an elegant and simple HTTP library for Python, built for human beings.

翻译过来就是;Requests 是一个为人类所搭建的PythonHTTP文库,具有优雅而简洁的特点。

 

二、使用步骤

 

1.引入库

 

代码如下(示例):

import requests

 

2.请求

代码如下(示例):

url='https://www.baidu.com'
headers={'User-Agent':'这里加入你自己的UA'
}
response=requests.get(url=url,headers=headers)

 只需要用库去用GET方法即可,体现出了elegant。

96a47384cb5c438b920d15ae4d4886d1.png

复习一下:首先要定制请求头,讲要请求的URL写到变量里方便get或者post方法的运用,那么对于get或者post请求的选择,具体看开发者工具里“网络”中的请求方式。

 

3.响应

代码如下(示例):

response.encoding='utf-8'
content=response.text

 为了能让我们看懂源代码,我们要对响应的结果进行编码('utf-8'),若不是响应结果不是二进制内容,例如图片的存储形式就是二进制,我们就可以用text获取源代码。


*tips

有些网站的反爬处理会十分的严格,一个ip若访问请求了十几次就会对你的ip进行一个封禁,而一些免费的ip并没有起到多大的作用,这里介绍一个提供IP池业务的商家,希望能够帮到大家:

52ec2b20b31c40cc82124eafed501d03.jpeg

三.总结

以上就是今天要讲的内容,本文仅仅简单介绍了requests的使用,而提供了大量能使我们快速便捷地处理数据的函数和方法。大多数内容跟urllib是没太大区别的,甚至还精简很多,对于爬虫玩家来说是十分友好的,希望你能去尝试一下,巩固一下,这里再做一个预告,在下一次我们将介绍如何使用Xpath对爬到的源代码进行解析,来获取我们想要的内容,敬请期待吧。

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/824073.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何确保美国站群服务器的安全性?

选择服务器安全性很重要,那么如何确保美国站群服务器的安全性,rak部落小编为您整理发布如何确保美国站群服务器的安全性。 确保美国站群服务器的安全性,您可以采取以下措施: - **定期更新和升级**:保持服务器操作系统和…

基于Python大数据的微博舆情分析,微博评论情感分析可视化系统

博主介绍:✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

PCB Editor简单使用

先在OrCAD软件 导出画好的图: 去PCBEditor软件: 画版图框框: 可以手动画也可以代码画,前提是使用line的操作。 命令画 x 0 0 x 1000 0 x 1000 1000 X 0 1000 X 0 0 就可以了 显示格点 修改格点: 导入…

transformer上手(9)—— 翻译任务

运用 Transformers 库来完成翻译任务。翻译是典型的序列到序列 (sequence-to-sequence, Seq2Seq) 任务,即对于每一个输入序列都会输出一个对应的序列。翻译在任务形式上与许多其他任务很接近,例如: 文本摘要 (Summarization):将长…

短视频素材在哪里找?8个视频素材免费网站大全

在当下这个视频内容越发重要的时代,获取多样化且高质量的视频素材对于提升任何视频项目的吸引力至关重要。为了帮助你探索更广阔的创意领域,这里有一系列精选的无水印视频素材网站,它们各具特色,能够为你的创作带来新的视觉体验和…

C++ 并发编程指南(11)原子操作 | 11.5、内存模型

文章目录 一、C 内存模型1、为什么需要内存模型? 前言 C 11标准中最重要的特性之一,是大多数程序员都不会关注的东西。它并不是新的语法特性,也不是新的类库功能,而是新的多线程感知内存模型。本文介绍的内存模型是指多线程编程方…

TLS v1.3 导致JetBrains IDE jdk.internal.net.http.common CPU占用高

开发环境 GoLand版本:2022.3.4 问题原因 JDK 中的 TLS v1.3 实现引起 解决办法 使用 SOCKS 代理代替HTTP代理 禁用 Space 和 Code With Me 插件 禁用 TLS v1.3,参考:https://stackoverflow.com/questions/54485755/java-11-httpclient-…

【R语言】概率密度图

概率密度图是用来表示连续型数据的分布情况的一种图形化方法。它通过在数据的取值范围内绘制一条曲线来描述数据的分布情况,曲线下的面积代表了在该范围内观察到某一数值的概率。具体来说,对于给定的连续型数据,概率密度图会使用核密度估计&a…

基于STM32的交通灯(OLED屏显示倒计时)的Proteus仿真

文章目录 一、前言二、交通灯1.题目要求2.思路3.画图正常情况模拟故障情况 4.软件 三、总结 一、前言 最近下载了Proteus仿真软件,闲来无事也试试画一个简单的仿真图。 有需要软件的朋友可以去我的另外一篇博客下载和安装。 自用Proteus(8.15)仿真下载安装过程&a…

【LeetCode: 189. 轮转数组 + 双指针】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持,因为它具有很高的价值,算法就是这样✨ 🌲 作者简介:硕风和炜,…

阿里云服务器租用4核8G配置多少钱一年?

阿里云服务器租用4核8G配置多少钱一年?700元一年。阿里云4核8G服务器租用优惠价格700元1年,配置为ECS通用算力型u1实例(ecs.u1-c1m2.xlarge)4核8G配置、1M到3M带宽可选、ESSD Entry系统盘20G到40G可选,CPU采用Intel(R)…

抖音小店怎么找厂家代发?“对接”,“沟通”一篇详解

哈喽~我是电商月月 做抖音小店无货源的新手朋友遇到的第一个难题就是,不知道怎么找厂家,找到厂家后又不知道聊些什么内容 今天我就来给大家分享一下我找厂家时用的方法,全是经验,建议牢记! 一,怎么找 找…

Java语言开发的AI智慧导诊系统源码springboot+redis 3D互联网智导诊系统源码

Java语言开发的AI智慧导诊系统源码springbootredis 3D互联网智导诊系统源码 智慧导诊解决盲目就诊问题,减轻分诊工作压力。降低挂错号比例,优化就诊流程,有效提高线上线下医疗机构接诊效率。可通过人体画像选择症状部位,了解对应…

AIGC算法1:Layer normalization

1. Layer Normalization μ E ( X ) ← 1 H ∑ i 1 n x i σ ← Var ⁡ ( x ) 1 H ∑ i 1 H ( x i − μ ) 2 ϵ y x − E ( x ) Var ⁡ ( X ) ϵ ⋅ γ β \begin{gathered}\muE(X) \leftarrow \frac{1}{H} \sum_{i1}^n x_i \\ \sigma \leftarrow \operatorname{Var}(…

cesium 解决带高度的polygon 材质不能透明的问题

问题描述:创建一个带高度的polygon,用一个带透明度的图片做材质,画出来的多边形没有透明效果,图片的透明通道没有用上。 一、创建不带高度polygon 不带高度的polygon,使用带透明度的图片是有效果的,但是不…

开源版中文和越南语贷款源码贷款平台下载 小额贷款系统 贷款源码运营版

后台 代理 前端均为vue源码,前端有中文和越南语 前端ui黄色大气,逻辑操作简单,注册可对接国际短信,可不对接 用户注册进去填写资料,后台审批,审批状态可自定义修改文字显示 源码免费下载地址抄笔记 (chaob…

常见面试算法题-数组二叉数

■ 题目描述 【数组二叉树】 二叉树也可以用数组来存储,给定一个数组,树的根节点的值存储在下标1,对于存储在下标N的节点,它的左子节点和右子节点分别存储在下标2*N和2*N1,并且我们用值-1代表一个节点为空。 给定一…

编程入门(三)【GPT工具的使用】

读者大大们好呀!!!☀️☀️☀️ 🔥 欢迎来到我的博客 👀期待大大的关注哦❗️❗️❗️ 🚀欢迎收看我的主页文章➡️寻至善的主页 文章目录 前言背景了解GPT工具使用技巧GPT工具在学习和工作中的应用 前言 背景了解 2…

Linux——操作系统与进程基本概念

Linux——操作系统与进程基本概念 文章目录 Linux——操作系统与进程基本概念一、冯诺依曼体系结构二、操作系统2.1 OS层次图2.2 操作系统的作用2.3 管理的理解 三、进程3.1 进程的概念3.2 描述进程—PCB3.3 PCB的内容3.3.1 查看进程3.3.2 标识符3.3.3 状态3.3.4 程序计数器3.3…

跨境电商干货:如何提升亚马逊店铺质量?

亚马逊作为全球最大的电子商务平台之一,吸引了无数卖家和买家参与其中。在这个竞争激烈的环境中,要想提升亚马逊店铺的质量和业绩,需要采取一系列有效的策略和工具。而住宅IP代理作为一个强大的网络工具,也在其中发挥着重要的作用…