新建免费网站,万能应用商店下载安装,开一间网站建设有限公司,建设外贸英文网站浅谈爬虫 《一》 python ‘’正文之前先啰嗦一下#xff0c;准确来说#xff0c;在下还只是一个刚入门IT世界的菜鸟#xff0c;工作近两年了#xff0c;之前做前端的时候就想写博客来着#xff0c;现在都转做python了#xff0c;如果还不开始写点什么#xff0c;估计时间…浅谈爬虫 《一》 python  ‘’正文之前先啰嗦一下准确来说在下还只是一个刚入门IT世界的菜鸟工作近两年了之前做前端的时候就想写博客来着现在都转做python了如果还不开始写点什么估计时间都不会原谅这么懒散的我了…… 闲话到此下面说正事儿——首先来个爬虫简介   咋一听挺神秘的样子简单来讲爬虫就是从网络获取资源比如你想知道淘宝上的女装什么颜色的销量好或者哪一款零食比较有赚头儿……   在说现在流行的人工智能其实所谓的人工智能也就是足够的数据支撑以及数据标记等等使机器可以对足够多的场景作出反应……以上纯属个人观点如有不对请指正 这次是真的讲正题了爬虫分类爬虫原理以及python代码简单实现 比较同用的说法爬虫分两类 通用爬虫(也叫作搜索引擎爬虫)聚焦爬虫总的来说都是网络爬虫     我们这里主要谈论的是聚焦爬虫 爬虫简单来讲分三步 发起请求得到反馈处理数据由于python2已经快要停止更新了(大概2020年停止) 所以我们这里直接谈论python3的方法 # 导入需要的工具包 from urllib.request import Request,urlopen # 发起请求以请求百度为例 request Request(http://www.baidu.com) # 得到反馈 response urlopen(request) # 获取数据流 data response.read() # 数据打印并且转码为 UTF-8 print(data.decode(utf-8)) 打印结果(简略) !DOCTYPE html !--STATUS OK-- html head ………… title百度一下你就知道/title ………… 俗话说越是简单的越南学习在爬虫这里就体现出来了 上面的代码看起来简单理解起来也没难度但是不实用只要网站稍做防范(反爬虫)就只能傻傻发呆了……如果您打算从事爬虫工作那么发爬虫将是您工作生涯的中心 下面介绍一个简单的反爬虫的例子 from urllib.request import Request,urlopen # 请求头信息伪装成浏览器访问 ua_header {User-Agent : Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;} request Request(http://note.youdao.com/iyoudao/?p2411,headersua_header) #urlopen()函数,url是必须要传入的,data如果传入就是POST请求,如果不传就是GETT请求 response urlopen(request) #到服务器返回的数据,读取里面的全部内容 response_data response.read() #打印返回的数据 print(response_data.decode(utf-8)) 只在请求头(ua_header)里面添加(User-Agent)只是最简单的伪装反爬更多的反爬虫的方式包括但不限于cookiesession代理等等。反爬方式有待探究下次讨论简单代理以及爬虫的其他库   转载于:https://www.cnblogs.com/LoongitArt/p/9398466.html