爬虫学习———

爬虫学习————开始

在这里插入图片描述

🌿自动化的思想

任何领域的发展原因————“不断追求生产方式的改革，即使得付出与耗费精力越来愈少，而收获最大化”。由此，创造出方法和设备来提升效率。

如新闻的5W原则直接让思考过程规范化、流程化。
或者前端框架/后端轮子的出现，使得构建项目可以自动化，减少了不必要劳动。
爬虫也是如此，主要是为了执行自动化搜集、筛选信息的行为。比如想下载一个网站的所有壁纸图片，人工操作太麻烦，而使用爬虫可以自动化这一系列的操作。

一些计算机思想

自动化思维：所以，作为一个前后端开发者，面对问题，自动化思想总是很有用的，面对问题，下意识思考是否可以自动化会使得效率提升（当然，也要评估性价比）。
性价比思想：不是可以改进效率的方法就值得被推崇，在实际生产中，一些方法理论上可以改进效率，但也要考虑改革的成本。我们的目的是追求最终结果的极致性价比。（这是因为，生产领域必然要考虑除了理论外的其他现实因素，这也是项目/思想能否较好落地的因素。

🍂爬虫的出现与自动化前提

爬虫的出现是对web信息处理这一过程的自动化实现。

自动化的局限

在当下，计算机/设备只能对信息进行规定好的、有限的思考和计算，不像人脑可以处理、自主学习。

题外话：（AI大模型看起来像人类，但背后是机器学习的那套，本身不具备思考能力，而是预测能力。在给足了充足的信息后，用户的行为和偏好很容易预测（如，视频推荐算法也是类似思想），由此，远没有自主思考的产生。）

自动化的前提

不是所有解决问题的方法都可以自动化，重复的，有规律的才可以。

举例：爬虫：获取网页信息，下载。/密码爆破：不断输入密码，尝试。

🌿爬虫

🍂定义

网络爬虫，是一种按照一定的规则，自动地在互联网上浏览网页并获取信息的程序或者脚本。

网络爬虫：与网络有关，由此要了解计算机网络知识
网页：万维网（一种在互联网上面向大众提供的服务，一个基于超文本的信息检索系统，通过互联网将全球的计算机网络连接起来，使用户能够通过浏览器访问和浏览网页。）
超文本：即把一切资源以web形式呈现，由此，需要了解HTTP相关知识（推荐书籍：《HTTP图解》）

🍂爬虫原理理解

● 一般流程

网络（互联网连接）[PC完成] ——————> 服务器连接[PC、浏览器完成] ——————> HTTP请求发起[浏览器完成] ——————> HTTP请求发送给服务器[PC完成] ——————> 服务器返回包接收、拆包[PC完成] ——————> web内容分析、渲染、展现[浏览器完成]

解释

PC连接上互联网后，再连接到服务器，向它发起HTTP服务请求，服务器在没问题的情况下返回它所需要的内容。

连接互联网有PC的网络模块与系统应用完成，而不是它上面的第三方应用。没有PC的网络模块支持，应用也上不了网。即Pc网络模块（硬件）才是一切的基础。
常见使用过程中，发起请求的功能由浏览器代替用户执行，从而生成HTTP请求。而爬虫要自己发起，由此要编写一个可以像服务器发送HTTP请求的代码喽。
请求的接收：常见的也是由PC接收后解析。而爬虫只要有用的信息，所以自己自定义解析规则，写一个自动化解析的代码。

● 使用了爬虫的自动化流程

两种方式对比总结：

手动： 手动发起HTTP请求，依靠浏览器解析得到的web内容，用户直接观看。需要用户一次次的点击。
爬虫： 爬虫自动发起HTTP请求，自动接收内容，自动处理拆包，自动分析提取需要的内容，自动存储内容。能用循环实现自动化重复操作，不需要人一个个点击且比人快得多

本质就是把手动的全部过程都用代码表达了，而写加上了筛选规则和循环，使得爬虫可以不用手动控制（因为循环）的自主完成对内容的筛选（因为筛选规则）。

● 配套图

服务器与PC（python爬虫在PC上是如何实现的：相关库以及作用）

解释了爬虫流程：发送HTTP请求——>解析web内容——>筛选内容——>存储内容
以及PC与服务器上的HTTP服务的交互

anconda的原理

python进程下的爬虫

即本质是进程间的交互，服务器提供HTTP服务的进程与Pc上爬虫进程的交互
涉及到网络分层模型
服务器提供的服务多种多样，除了HTTP服务还有SQL数据库服务。即PC可以使用服务器提供的多种服务，根据提供的服务不同，应用层发送的内容不同（万维网服务为web数据，数据库服务为数据库文件…）

🍂爬虫要注意啥

法律法规

合法性：不是所有资源都可以爬取，要遵守相关法律法规，保护自己也保护他人
恶意爬虫:指不遵守法规且用技术来掩盖自己的踪迹，使得追查起来困难或者不可行

爬虫与背后的流量请求

提供服务要消耗资源（电费、设备维护、域名、IP费用…），而每次的爬虫请求会与目标服务器交互，由此产生消耗，同时也会占据资源，影响正常用户的使用（最典型的例子：12306抢票）。由此，会给服务商提供负担。

无论是作为服务商或者用户，过度使用爬虫对双方都毫无意义，只有负向收益。而且，使用爬虫爬取没用信息对程序员也没啥用啊（😏毕竟要网络攻击有别的方法）

🍂一个入门例子

使用爬虫爬取豆瓣电影排行榜，感受自动化过程（本站就有教程，自行搜索，关键在于配置python环境，代码复制下来就能跑）

🌿学习爬虫的准备

🍂环境配置

本质上，你需要了解一种图灵完备语言（指的是python、Java…），但常见的用python，变成语言各有所长，而python在这方面最好用。
所以，下载python并且下载相关库

推荐内容：
anaconda（管理多版本python、隔离环境，允许不同项目支持不同python版本、机器学习初学的好软件）
环境变量（了解环境变量的作用）
理解文件相对路径、绝对路径以及CMD当前运行位置不同对应的不同影响