对于一张网页，我们往往希望它是结构良好，内容清晰的，这样搜索引擎才能准确地认知它。 而反过来，又有一些情景，我们不希望内容能被轻易获取，
- 前言 比方说电商网站的交易额，教育网站的题目等。因为这些内容，往往是一个产品的生命线，必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。
- 常见反爬虫策略 但是世界上没有一个网站，能做到完美地反爬虫。 如果页面希望能在用户面前正常展示，同时又不给爬虫机会，就必须要做到识别真人与机器人。因此工程师们做了各种尝试，这些策略大多采用于 后端，也是目前比较常规单有效的手段，比如： User-Agent + Referer 检测 账号及Cookie验证 验证码 IP限制频次 而爬虫是可以无限逼近于真人的，比如： chrome headless或phantomjs来模拟浏览器环境 tesseract 识别验证码 代理IP淘宝就能买到 所以我们说，100%的反爬虫策略？不存在的。 更多的是体力活，是个难易程度的问题。 不过作为前端工程师，我们可以增加一下游戏难度，设计出一些很(sang)有(xin)意(bing)思(kuang)的反爬虫策略。
- 前端与反爬虫 3.1 FONT-FACE拼凑式 例子： 猫眼电影 猫眼电影里，对于票房数据，展示的并不是纯粹的数字。 页面使用了font-face定义了字符集，并通过unicode去映射展示。也就是说，除去图像识别，必须同时爬取字符集，才能识别出数字。
并且，每次刷新页面，字符集的url都是有变化的，无疑更大难度地增加了爬取成本。
3.2 BACKGROUND 拼凑式 例子： 美团 与font的策略类似，美团里用到的是background拼凑。数字其实是图片，根据不同的background偏移，显示出不同的字符。
并且不同页面，图片的字符排序也是有区别的。不过理论上只需生成0-9与小数点，为何有重复字符就不是很懂。 页面A：
页面B：
3.3 字符穿插式 例子：微信公众号文章 某些微信公众号的文章里，穿插了各种迷之字符，并且通过样式把这些字符隐藏掉。 这种方式虽然令人震惊…但其实没有太大的识别与过滤难度，甚至可以做得更好，不过也算是一种脑洞吧。
对了，我的手机流量可以找谁报销吗？ 3.4 伪元素隐藏式 例子：汽车之家 汽车之家里，把关键的厂商信息，做到了伪元素的content里。 这也是一种思路：爬取网页，必须得解析css，需要拿到伪元素的content，这就提升了爬虫的难度。
3.5 元素定位覆盖式 例子：去哪儿 还有热爱数学的去哪儿，对于一个4位数字的机票价格，先用四个 i 标签渲染，再用两个 b 标签去绝对定位偏移量，覆盖故意展示错误的 i 标签，最后在视觉上形成正确的价格…
这说明爬虫会解析css还不行，还得会做数学题。 3.6 IFRAME异步加载式 例子：网易云音乐 网易云音乐页面一打开，html源码里几乎只有一个 iframe ，并且它的src是空白的： about:blank 。接着js开始运行，把整个页面的框架异步塞到了iframe里面…
不过这个方式带来的难度并不大，只是在异步与iframe处理上绕了个弯（或者有其他原因，不完全是基于反爬虫考虑），无论你是用selenium还是phantom，都有API可以拿到iframe里面的content信息。 3.7 字符分割式 例子：全网代理IP 在一些展示代理IP信息的页面，对于IP的保护也是大费周折。
他们会先把IP的数字与符号分割成dom节点，再在中间插入迷惑人的数字，如果爬虫不知道这个策略，还会以为自己成功拿到了数值；不过如果爬虫注意到，就很好解决了。 3.8 字符集替换式 例子：去哪儿移动侧 同样会欺骗爬虫的还有去哪儿的移动版。
html里明明写的3211，视觉上展示的却是1233。原来他们重新定义了字符集，3与1的顺序刚好调换得来的结果…
如果你也想在IT行业拿高薪，可以参加我们的训练营课程，选择最适合自己的课程学习，技术大牛亲授，7个月后，进入名企拿高薪。我们的课程内容有：Java工程化、高性能及分布式、高性能、深入浅出。高架构。性能调优、Spring，MyBatis，Netty源码分析和大数据等多个知识点。如果你想拿高薪的，想学习的，想就业前景好的，想跟别人竞争能取得优势的，想进阿里面试但担心面试不过的，你都可以来，群号为： 454377428 注：加群要求 1、具有1-5工作经验的，面对目前流行的技术不知从何下手，需要突破技术瓶颈的可以加。 2、在公司待久了，过得很安逸，但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。 3、如果没有工作经验，但基础非常扎实，对java工作机制，常用设计思想，常用java开发框架掌握熟练的，可以加。 4、觉得自己很牛B，一般需求都能搞定。但是所学的知识点没有系统化，很难在技术领域继续突破的可以加。 5.阿里Java高级大牛直播讲解知识点，分享知识，多年工作经验的梳理和总结，带着大家全面、科学地建立自己的技术体系和技术认知！ 6.小号或者小白之类加群一律不给过，谢谢。 目标已经有了，下面就看行动了！记住：学习永远是自己的事情，你不学时间也不会多，你学了有时候却能够使用自己学到的知识换得更多自由自在的美好时光！时间是生命的基本组成部分，也是万物存在的根本尺度，我们的时间在那里我们的生活就在那里！我们价值也将在那里提升或消弭！Java程序员，加油吧
)
...)
