微信网站开发服务,软件开发公司app,重庆网站建设团队,it行业软件开发来源 | 码海封图 | CSDN 付费下载于视觉中国前言我们每天都在用 Google, 百度这些搜索引擎#xff0c;那大家有没想过搜索引擎是如何实现的呢#xff0c;看似简单的搜索其实技术细节非常复杂#xff0c;说搜索引擎是 IT 皇冠上的明珠也不为过#xff0c;今天我们来就来简单… 来源 | 码海封图 | CSDN 付费下载于视觉中国前言我们每天都在用 Google, 百度这些搜索引擎那大家有没想过搜索引擎是如何实现的呢看似简单的搜索其实技术细节非常复杂说搜索引擎是 IT 皇冠上的明珠也不为过今天我们来就来简单过一下搜索引擎的原理看看它是如何工作的当然搜索引擎博大精深一篇文章不可能完全介绍完我们只会介绍它最重要的几个步骤不过万变不离其宗搜索引擎都离不开这些重要步骤剩下的无非是在其上添砖加瓦所以掌握这些「关键路径」能很好地达到观一斑而窥全貎的目的。本文将会从以下几个部分来介绍搜索引擎会深度剖析搜索引擎的工作原理及其中用到的一些经典数据结构和算法相信大家看了肯定有收获。搜索引擎系统架构图搜索引擎工作原理详细剖析搜索引擎系统架构图搜索引擎整体架构图如下图所示大致可以分为搜集预处理索引查询这四步每一步的技术细节都很多我们将在下文中详细分析每一步的工作原理。搜索引擎工作原理详细剖析一、搜集爬虫一开始是不知道该从哪里开始爬起的所以我们可以给它一组优质种子网页的链接比如新浪主页腾讯主页等这些主页比较知名在 Alexa 排名上也非常靠前拿到这些优质种子网页后就对这些网页通过广度优先遍历不断遍历这些网页爬取网页内容提取出其中的链接不断将其将入到待爬取队列然后爬虫不断地从 url 的待爬取队列里提取出 url 进行爬取重复以上过程...当然了只用一个爬虫是不够的可以启动多个爬虫并行爬取这样速度会快很多。1、待爬取的 url 实现待爬取 url 我们可以把它放到 Redis 里保证了高性能需要注意的是Redis 要开启持久化功能这样支持断点续爬如果 Redis 挂掉了重启之后由于有持续久功能可以从上一个待爬的 url 开始重新爬。2、如何判重如何避免网页的重复爬取呢我们需要对 url 进行去重操作去重怎么实现可能有人说用散列表将每个待抓取 url 存在散列表里每次要加入待爬取 url 时都通过这个散列表来判断一下是否爬取过了这样做确实没有问题但我们需要注意到的是这样需要会出巨大的空间代价有多大我们简单算一下假设有 10 亿 url 不要觉得 10 亿很大像 Google, 百度这样的搜索引擎它们要爬取的网页量级比 10 亿大得多放在散列表里需要多大存储空间呢我们假设每个网页 url 平均长度 64 字节则 10 亿个 url 大约需要 60 G 内存如果用散列表实现的话由于散列表为了避免过多的冲突需要较小的装载因子假设哈希表要装载 10 个元素实际可能要分配 20 个元素的空间以避免哈希冲突同时不管是用链式存储还是用红黑树来处理冲突都要存储指针各种这些加起来所需内存可能会超过 100 G再加上冲突时需要在链表中比较字符串性能上也是一个损耗当然 100 G 对大型搜索引擎来说不是什么大问题但其实还有一种方案可以实现远小于 100 G 的内存布隆过滤器。针对 10 亿个 url我们分配 100 亿个 bit大约 1.2 G, 相比 100 G 内存提升了近百倍可见技术方案的合理选择能很好地达到降本增效的效果。当然有人可能会提出疑问布隆过滤器可能会存在误判的情况即某个值经过布隆过滤器判断不存在那这个值肯定不存在但如果经布隆过滤器判断存在那这个值不一定存在,针对这种情况我们可以通过调整布隆过滤器的哈希函数或其底层的位图大小来尽可能地降低误判的概率但如果误判还是发生了呢此时针对这种 url 就不爬好了毕竟互联网上这么多网页少爬几个也无妨。3、网页的存储文件: doc_raw.bin爬完网页网页该如何存储呢有人说一个网页存一个文件不就行了如果是这样10 亿个网页就要存 10 亿个文件一般的文件系统是不支持的所以一般是把网页内容存储在一个文件假设为 doc_raw.bin中如下当然一般的文件系统对单个文件的大小也是有限制的比如 1 G那在文件超过 1 G 后再新建一个好了。图中网页 id 是怎么生成的显然一个 url 对应一个网页 id所以我们可以增加一个发号器每爬取完一个网页发号器给它分配一个 id将网页 id 与 url 存储在一个文件里假设命名为 doc_id.bin,如下二、预处理爬取完一个网页后我们需要对其进行预处理我们拿到的是网页的 html 代码需要把 script,style,option 这些无用的标签及标签包含的内容给去掉怎么查找是个学问可能有人会说用 BF KMP 等算法这些算法确实可以不过这些算法属于单模式串匹配算法查询单个字段串效率确实不错但我们想要一次性查出script,style,option这些字段串有啥好的方法不答案是用AC 自动机多模式串匹配算法可以高效一次性找出几个待查找的字段串有多高效时间复杂度接近 0(n)关于 AC 自动机多模式匹配算法的原理不展开介绍大家可以去网上搜搜看 这里只是给大家介绍一下思路。找到这些标签的起始位置后剩下的就简单了接下来对每个这些标签都查找其截止标签 /script,/style,/option找到之后把起始终止标签及其中的内容全部去掉即可。做完以上步骤后我们也要把其它的 html 标签去掉标签里的内容保留因为我们最终要处理的是纯内容内容里面包含用户要搜索的关键词三、分词并创建倒排索引拿到上述步骤处理过的内容后我们需要将这些内容进行分词啥叫分词呢就是将一段文本切分成一个个的词。比如 「I am a chinese」分词后就有 「I」,「am」,「a」,「chinese」这四个词,从中也可以看到英文分词相对比较简单每个单词基本是用空格隔开的只要以空格为分隔符切割字符串基本可达到分词效果但是中文不一样词与词之类没有空格等字符串分割比较难以分割。以「我来到北京清华大学」为例不同的模式产生的分词结果不一样以 github 上有名的 jieba 分词开源库为例它有如下几种分词模式【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学 【精确模式】: 我/ 来到/ 北京/ 清华大学 【新词识别】他, 来到, 了, 网易, 杭研, 大厦 【搜索引擎模式】 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造分词一般是根据现成的词库来进行匹配比如词库中有「中国」这个词用处理过的网页文本进行匹配即可。当然在分词之前我们要把一些无意义的停止词如「的」,「地」,「得」先给去掉。经过分词之后我们得到了每个分词与其文本的关系如下细心的你一定发现了不同的网页内容有可能出现同样的分词所以我们把具有相同分词的网页归在一起如下所示这样我们在搜「大学」的时候找到「大学」对应的行就能找到所有包含有「大学」的文档 id 了。看到以上「分词」「倒排索引」的处理流程大家想到了什么没错这不就是 ElasticSearch 搜索引擎干的事吗也是 ES 能达到毫秒级响应的关键这里还有一个问题根据某个词语获取得了一组网页的 id 之后在结果展示上哪些网页应该排在最前面呢为啥我们在 Google 上搜索一般在第一页的前几条就能找到我们想要的答案。这就涉及到搜索引擎涉及到的另一个重要的算法: PageRank它是 Google 对网页排名进行排名的一种算法它以网页之间的超链接个数和质量作为主要因素粗略地分析网页重要性以便对其进行打分。我们一般在搜问题的时候前面一两个基本上都是 stackoverflow 网页说明 Google 认为这个网页的权重很高因为这个网页被全世界几乎所有的程序员使用着也就是说有无数个网页指向此网站的链接根据 PageRank 算法自然此网站权重就啦恩可以简单地这么认为实际上 PageRank 的计算需要用到大量的数学知识毕竟此算法是 Google 的立身之本大家如果有兴趣可以去网上多多了解一下。完成以上步骤搜索引擎对网页的处理就完了那么用户输入关键词搜索引擎又是怎么给我们展示出结果的呢。四、查询用户输入关键词后首先肯定是要经过分词器的处理。比如我输入「中国人民」假设分词器分将其分为「中国」,「人民」两个词接下来就用这个两词去倒排索引里查相应的文档。得到网页 id 后我们分别去 doc_id.bindoc_raw.bin 里提取出网页的链接和内容按权重从大到小排列即可。这里的权重除了和上文说的 PageRank 算法有关外还与另外一个「 TF-IDF 」https://zh.wikipedia.org/wiki/Tf-idf算法有关大家可以去了解一下。另外相信大家在搜索框输入搜索词的时候都会注意到底下会出现一串搜索提示词如图示输入 chin 这四个字母后底下会出现一列提示词。如何实现的这就不得不提到一种树形结构Trie 树。Trie 树又叫字典树、前缀树Prefix Tree、单词查找树是一种多叉树结构如下图所示这颗多叉树表示了关键字集合 [toteatedtenaiin, inn]。从中可以看出 Trie 树具有以下性质根节点不包含字符除根节点外的每一个子节点都包含一个字符从根节点到某一个节点路径上经过的字符连接起来为该节点对应的字符串每个节点的所有子节点包含的字符互不相同通常在实现的时候会在节点结构中设置一个标志用来标记该结点处是否构成一个单词关键字。另外我们不难发现一个规律具有公共前缀的关键字单词它们前缀部分在 Trie 树中是相同的这也是 Trie 树被称为前缀树的原因有了这个思路我们不难设计出上文所述搜索时展示一串搜索提示词的思路一般搜索引擎会维护一个词库假设这个词库由所有搜索次数大于某个阈值如 1000的字符串组成我们就可以用这个词库构建一颗 Trie 树这样当用户输入字母的时候就可以以这个字母作为前缀去 Trie 树中查找以上文中提到的 Trie 树为例则我们输入「te」时由于以「te」为前缀的单词有 [teatedtedten]则在搜索引擎的搜索提示框中就可以展示这几个字符串以供用户选择。五、寻找热门搜索字符串Trie 树除了作为前缀树来实现搜索提示词的功能外还可以用来辅助寻找热门搜索字符串只要对 Trie 树稍加改造即可。假设我们要寻找最热门的 10 个搜索字符串则具体实现思路如下:一般搜索引擎都会有专门的日志来记录用户的搜索词我们用用户的这些搜索词来构建一颗  Trie 树但要稍微对 Trie 树进行一下改造上文提到Trie 树实现的时候可以在节点中设置一个标志用来标记该结点处是否构成一个单词也可以把这个标志改成以节点为终止字符的搜索字符串个数每个搜索字符串在 Trie 树遍历在遍历的最后一个结点上把字符串个数加 1即可统计出每个字符串被搜索了多少次根节点到结点经过的路径即为搜索字符串然后我们再维护一个有 10 个节点的小顶堆堆顶元素比所有其他元素值都小如下图示如图示小顶堆中堆顶元素比其他任何元素都小依次遍历 Trie 树的节点将节点字符串次数传给小顶堆根据搜索次数不断调整小顶堆这样遍历完 Trie 树的节点后小顶堆里的 10 个节点即是最热门的搜索字符串。总结本文简述了搜索引擎的工作原理相信大家看完后对其工作原理应该有了比较清醒的认识我们可以看到搜索引擎中用到了很多经典的数据结构和算法所以现在大家应该能明白为啥 Google, 百度这些公司对候选人的算法要求这么高了。本文只是介绍了搜索引擎的基本工作原理要深入了解还需多查资料了解哦。 推荐阅读一文带你认识keepalived再带你通关LVSKeepalived那个分分钟处理 10 亿节点图计算的 Plato现在怎么样了“谷歌杀手”发明者科学天才 Wolfram数据库激荡 40 年深入解析 PostgreSQL、NewSQL 演进历程超详细一文告诉你 SparkStreaming 如何整合 Kafka 附代码可实践5分钟就能学会以太坊 JSON API 基础知识真香朕在看了