文章目录
- 一、类的内存对齐
- 1.1规则
- 1.2原因
 
- 二、位段
- 2.1介绍
- 2.2内存分配问题
- 2.3跨平台问题
- 2.4使用的注意事项
 
- 三、位图的应用
- 3.1 给40亿个不重复的无符号整数,找给定的一个数。(int的范围可以到达42亿多)
- 3.2 给定100亿个整数,设计算法找到只出现一次的整数
- 3.3给两个文件,分别有100亿个整数,我们只有1G的内存,如何找到两个文件的交集
- 3.4位图应用变形:1个文件有100亿个int,1G内存,设计算法找到出现次数不超过两次的所有整数
 
- 四、布隆过滤器
- 4.1作用和介绍
- 4.2误判的概率与什么有关?
- 4.3布隆过滤器的实现
 
- 五、哈希切割
- 5.1给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址?
- 5.2给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件交集?
 
- 六、一致性哈希
 
 
 
 
一、类的内存对齐
1.1规则
1.类的第一个成员对齐到和类的起始位置偏移量为0的地址处
 2.其他成员变量要对齐到某个数字(对齐数)的整数倍的地址处
 对齐数 = 编译器默认的一个对齐数与该成员变量的大小的较小值
 ——VS中默认对齐数为8
 ——Linux中gcc没有默认对齐数,对齐数就是成员自身的大小
 3.类的总大小为最大对齐数(类中每个成员变量都有一个对齐数,所有对齐数中最大的)的整数倍。
 4.如果出现类的嵌套,嵌套的类的成员对齐到自己的成员中最大对齐数的整数倍处
 offsetof(type,成员)计算偏移量
 
 
1.2原因
1.不是所有的硬件平台都能访问任意地址上的任意数据的;某些硬件平台只能在某些地址处取某些特定类型的数据,否则抛出硬件异常
 2.数据结构(尤其是栈)应该尽可能的在边界对齐。因为为了访问未对齐的内存,编译器需要进行两次访问,对齐了的内存,编译器只需要进行一次访问。
 
二、位段
2.1介绍

2.2内存分配问题

2.3跨平台问题

2.4使用的注意事项

三、位图的应用
3.1 给40亿个不重复的无符号整数,找给定的一个数。(int的范围可以到达42亿多)
方法1(不可取):用二分的方法,80亿个字节大概需要7.4个G,没有那么大的存储空间,虽然二分的查找效率很高,但是需要数据处于有序的状态
 
方法2:位图
 我们利用哈希桶的原理,用每一个数映射一个比特位,大概42亿个比特位,加起来应该是0.5个G左右,这样消耗的内存低,并且每一个数映射一个比特位,又保证了查找效率O(1)

 
3.2 给定100亿个整数,设计算法找到只出现一次的整数
用两个位图来表示这个整数出现的次数
 
3.3给两个文件,分别有100亿个整数,我们只有1G的内存,如何找到两个文件的交集
同上
3.4位图应用变形:1个文件有100亿个int,1G内存,设计算法找到出现次数不超过两次的所有整数
同上
四、布隆过滤器
4.1作用和介绍
作用:可以提高测试数据在该数据库中是否存在,如果有上千百亿的数据都从数据库中寻找的话,那么效率就会非常非常低,用了布隆过滤器之后,可以排除掉一部分不在数据库里面的数据。
 介绍:布隆过滤器就是一个字符串映射多个位,这个可以大大减少误判的可能性,一个字符串映射多个位可以降低误判的可能性,但是此时的空间效率就降低了,布隆过滤器的实质目的就是为了提高空间效率,这样得不偿失,我们只能根据适用情况判断到底映射几个位
4.2误判的概率与什么有关?
1.与映射的哈希函数的个数有关
 2.与映射的位有关
 3.与哈希函数的特性有关
4.3布隆过滤器的实现
用三种不同的哈希函数进行实现,一共映射3个比特位
 
 
五、哈希切割
5.1给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址?

5.2给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件交集?

六、一致性哈希
下面这篇别人讲的文章非常详细,可参考
 一致性哈希的文章
 