布隆过滤器到底是什么东西?它有什么用

布隆过滤器:用概率换空间的奇妙数据结构

引言:当空间成为奢侈品

在互联网每天产生2.5万亿字节数据的时代,Google每秒处理超过9万次搜索请求,Redis缓存系统支撑着百万级QPS的访问。面对如此海量的数据处理需求,传统的数据结构往往显得力不从心。这时,一种名为布隆过滤器(Bloom Filter)的魔法数据结构应运而生,它用极小的空间代价实现了高效的成员存在性检测,成为现代系统架构中不可或缺的利器。

一、布隆过滤器原理剖析

1.1 数据结构核心组成

布隆过滤器的核心是一个初始全为0的m位二进制向量(位数组),配合k个不同的哈希函数。当插入元素时,每个哈希函数将元素映射到位数组的不同位置,并将这些位置置1。查询时,检查所有哈希函数对应的位是否都为1。

class BloomFilter:def __init__(self, size, hash_count):self.size = size         # 位数组大小self.hash_count = hash_count  # 哈希函数数量self.bit_array = [0] * size

1.2 操作流程详解

插入操作:

  1. 对元素x进行k次不同哈希计算

  2. 将得到的每个位置i (i ∈ [1,k])的bit_array[hi(x)]设为1

查询操作:

  1. 对元素y进行同样的k次哈希

  2. 检查所有k个位置是否都为1

    • 全部为1 → 可能存在(可能假阳性)

    • 任一为0 → 绝对不存在

1.3 数学支撑

误判率公式:

其中:

  • m:位数组大小

  • k:哈希函数数量

  • n:已插入元素数量

最优哈希函数数量:

二、独特优势与应用场景

2.1 性能优势对比

 

2.2 典型应用场景

  1. 爬虫系统去重:Google爬虫使用布隆过滤器记录已抓取URL,避免重复抓取

  2. 缓存穿透防护:Redis在缓存查询前先检查布隆过滤器,拦截不存在key的请求

  3. 分布式系统:Cassandra用布隆过滤器减少磁盘查找操作

  4. 网络安全:恶意网址过滤系统初步筛查

  5. 区块链应用:比特币SPV节点验证交易存在性

三、实现进阶与优化

3.1 参数调优实践

import mathdef optimal_params(n, p):"""计算最优参数:param n: 预期元素数量:param p: 期望误判率:return: (m, k) 位数组大小,哈希函数数量"""m = - (n * math.log(p)) / (math.log(2)**2)k = (m / n) * math.log(2)return round(m), round(k)

3.2 改进型变种

  1. 计数布隆过滤器:每个位改用计数器,支持删除操作

  2. 分层布隆过滤器:使用多个过滤器级联,降低整体误判率

  3. 压缩布隆过滤器:应用压缩算法进一步减少内存占用

四、生产环境最佳实践

4.1 使用场景决策树

 

是否需要存储原始数据?
├── 是 → 使用传统数据结构
└── 否 → 能否接受假阳性?├── 否 → 不可用└── 是 → 是否要求空间最优?├── 是 → 选择布隆过滤器└── 否 → 考虑其他概率结构

4.2 性能优化技巧

  • 使用SIMD指令加速哈希计算

  • 采用双缓冲机制实现无锁更新

  • 组合多个小过滤器代替单一大型过滤器

  • 选择硬件友好的哈希函数(如MurmurHash3)

五、典型应用案例解析

案例:Medium文章推荐系统
Medium使用布隆过滤器实现:

  1. 用户阅读历史记录(防止重复推荐)

  2. 已生成推荐列表去重

  3. 热门文章缓存预热过滤

实现效果:

  • 内存占用减少87%

  • 推荐响应时间降低45%

  • 系统吞吐量提升3.2倍

六、局限性与应对策略

核心限制:

  1. 假阳性概率不可避免

  2. 无法删除元素(基础版本)

  3. 哈希函数性能影响吞吐量

应对方案:

  1. 组合使用LRU缓存消除高频误判

  2. 定期重建过滤器(适用于动态数据集)

  3. 采用可删除变种(Counting Bloom Filter)

结语:平衡的艺术

布隆过滤器向我们展示了计算机科学中永恒的权衡之道——在空间与准确性、性能与可靠性之间寻找最佳平衡点。当处理海量数据时,它就像一位聪明的守门人,虽然偶尔会误放个别访客(假阳性),但能确保不放行任何可疑分子(无假阴性),这种特性使其成为构建高性能系统的秘密武器。理解并善用这种数据结构,将帮助开发者在日益复杂的系统架构中做出更明智的设计决策。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/895425.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

任务1 将单表中的单个rfid增加为多个rfid

方案 使用连表查询解决 单独创建一个rfid的表 让tool_id对应多个rfid 需要优化的表 1:tool_materials_stock 库存管理 已完成 数据迁移完成 原库rfid字段未删除 2:tool_borrow_return 借出借还管理 已完成 3:too…

OutSystems Platform Tools Platform Services

概述(Overview) outsystems是一整套低代码的企业级应用(WEB 和 移动端)的开发环境。 本文主要讲解outsystems的Platform Tools与Platform Services 平台工具(Platform Tools) 集成开发环境IDE&#xff0…

【深度解析】ETERM指令:离港系统的核心技术

在民航离港系统中,ETERM(中航信终端模拟系统)是广泛使用的指令操作系统,主要用于航班控制、旅客值机、登机等操作。以下是一些核心的ETERM指令及其功能分类: 1. 航班信息查询与操作 FLR:显示航班列表&…

ES的java操作

ES的java操作 一、添加依赖 在pom文件中添加依赖包 <dependencies><dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>7.8.0</version></dependency><!-- elastic…

DeepSeek 从入门到精通学习指南,2025清华大学《DeepSeek从入门到精通》正式发布104页pdf版超全解析

DeepSeek 是一款强大的 AI 搜索引擎&#xff0c;广泛应用于企业级数据检索和分析。无论您是初学者还是有经验的用户&#xff0c;掌握 DeepSeek 的使用都能为您的工作带来极大的便利。本文将从入门到精通&#xff0c;详细介绍如何学习和使用 DeepSeek。 链接: https://pan.baid…

飞书专栏-TEE文档

CSDN学院课程连接&#xff1a;https://edu.csdn.net/course/detail/39573

2025.2.11——一、[极客大挑战 2019]PHP wakeup绕过|备份文件|代码审计

题目来源&#xff1a;BUUCTF [极客大挑战 2019]PHP 目录 一、打开靶机&#xff0c;整理信息 二、解题思路 step 1&#xff1a;目录扫描、爆破 step 2&#xff1a;代码审计 1.index.php 2.class.php 3.flag.php step 3&#xff1a;绕过__wakeup重置 ​编辑 三、小结…

AI大模型(DeepSeek)科研应用、论文写作、数据分析与AI绘图学习

【介绍】 在人工智能浪潮中&#xff0c;2024年12月中国公司研发的 DeepSeek 横空出世以惊艳全球的姿态&#xff0c;成为 AI领域不可忽视的力量!DeepSeek 完全开源&#xff0c;可本地部署&#xff0c;无使用限制&#xff0c;保护用户隐私。其次&#xff0c;其性能强大&#xff…

考研操作系统----操作系统的概念定义功能和目标(仅仅作为王道哔站课程讲义作用)

目录 操作系统的概念定义功能和目标 操作系统的四个特征 操作系统的分类 ​编辑 操作系统的运行机制 系统调用 操作系统体系结构 操作系统引导 虚拟机 操作系统的概念定义功能和目标 什么是操作系统&#xff1a; 操作系统是指控制和管理整个计算机系统的软硬件资源&…

DeepSeek 突然来袭,AI 大模型变革的危机与转机藏在哪?

随着人工智能技术的飞速发展&#xff0c;大模型领域不断涌现出具有创新性的成果。DeepSeek 的横空出世&#xff0c;为 AI 大模型领域带来了新的变革浪潮。本文将深入探讨 DeepSeek 出现后 AI 大模型面临的危机与转机。 冲冲冲&#xff01;&#xff01;&#xff01; 目录 一、…

JVM的类加载器

什么是类加载器&#xff1f; 类加载器&#xff1a;JVM只会运行二进制文件&#xff0c;类加载器的作用就是将字节码文件加载到JVM中&#xff0c;从而Java 程序能够启动起来。 类加载器有哪些&#xff1f; 启动类加载器(BootStrap ClassLoader):加载JAVA HOME/jre/lib目录下的库…

web前端开发中vscode常用的快捷键

1.快速复制一行 快捷键&#xff1a; shiftalt 下箭头(上箭头) 或者 ctrlc 然后 ctrlv 2.选定多个相同的单词 快捷键&#xff1a; ctrl d 先双击选定一个单词&#xff0c;然后按下 ctrl d 可以往下依次选择相同的单词。 这样同时修改相同的单词 3.全局替换某单词 当我们一个…

C与C++的区别,类型转换,引用

1.从C到C 语言的区别 C语言 编译性语言 面向过程语言灵活 移植性好 效率高shell 解释性语言 面向过程语言Linux运维C 编译性语言 面向对象面向对象语言效率最高的 应用领域&#xff1a;系统开发(APP开发&#xff0c;服务器开发)&#xff0c;引擎开发&#xff0c;游戏开发&…

SQL-leetcode—1581. 进店却未进行过交易的顾客

1581. 进店却未进行过交易的顾客 表&#xff1a;Visits -------------------- | Column Name | Type | -------------------- | visit_id | int | | customer_id | int | -------------------- visit_id 是该表中具有唯一值的列。 该表包含有关光临过购物中心的顾客的信息。 …

Jenkins 部署 之 Mac 一

Jenkins 部署 之 Mac 一 一.Jenkins 部署依赖 JDK 环境 查看 Mac JDK 环境&#xff0c;如果没有安装&#xff0c;先安装 打开终端输入命令:java -version Mac安装配置 JDK 二. 检查 HomeBrew 安装 检查 HomeBrew 是否安装&#xff0c;终端输入命令:brew -v Mac安装HomeB…

鸿蒙HarmonyOS NEXT开发:优化用户界面性能——组件复用(@Reusable装饰器)

文章目录 一、概述二、原理介绍三、使用规则四、复用类型详解1、标准型2、有限变化型2.1、类型1和类型2布局不同&#xff0c;业务逻辑不同2.2、类型1和类型2布局不同&#xff0c;但是很多业务逻辑公用 3、组合型4、全局型5、嵌套型 一、概述 组件复用是优化用户界面性能&#…

【AI大模型】Ollama部署本地大模型DeepSeek-R1,交互界面Open-WebUI,RagFlow构建私有知识库

文章目录 DeepSeek介绍公司背景核心技术产品与服务应用场景优势与特点访问与体验各个DeepSeek-R系列模型的硬件需求和适用场景 Ollama主要特点优势应用场景安装和使用配置环境变量总结 安装open-webui下载和安装docker desktop配置镜像源安装open-webui运行和使用 RagFlow介绍主…

更加通用的Hexo多端部署原理及实现,适用于各种系统之间

本文推荐在作者的个人博客网站阅读&#xff1a;shenying.online 一、故事背景 故事发生在大学上学期间&#xff08;而不是寒假&#xff09;。上学期间&#xff0c;宿舍条件极其恶劣&#xff0c;半夜断电、空间狭小。我们大学垃圾条件使用游戏本的种种弊端被无限放大&#xff1…

开源、免费项目管理工具比较:2025最新整理30款

好用的开源、免费版项目管理系统有&#xff1a;1.Redmine&#xff1b;2. Taiga&#xff1b;3. OpenProject&#xff1b; 4.ProjectLibre&#xff1b; 5.GanttProject&#xff1b; 6.Tuleap&#xff1b; 7.Trac&#xff1b;8. Phabricator&#xff1b; 9.Notion&#xff1b; 10.…

组织结构改革:激活企业活力的 “源头活水”

难以适应市场变化、内部沟通与协作不畅、决策效率低下、运营成本增加、人才流失严重、员工士气下降、战略目标难以实现……企业如何根据市场环境变化和自身发展需求&#xff0c;灵活调整组织框架&#xff0c;赋能企业的持续健康发展&#xff1f; 某国有投资建设集团旗下的二级…