网站建设伍金手指下拉7,网站建设专业可行性分析,热门软件排行榜,最好国内免费网站空间1.什么是位图 所谓位图#xff0c;就是用每一位来存放某种状态#xff0c;适用于海量数据#xff0c;数据无重复的场景。通常是用来判断某个数据存不存在的。比如int 有32位#xff0c;就可以存放0到31这32个数字在不在某个文件中。当然#xff0c;其他类型也可以。 2.位…1.什么是位图 所谓位图就是用每一位来存放某种状态适用于海量数据数据无重复的场景。通常是用来判断某个数据存不存在的。比如int 有32位就可以存放0到31这32个数字在不在某个文件中。当然其他类型也可以。 2.位图的应用 快速查找某个数据是否在一个集合中排序 去重求两个集合的交集、并集等操作系统中磁盘块标记 2.1 实际使用场景 1.给40亿个不重复的无符号整数没排过序。给一个无符号整数如何快速判断一个数是否在这40亿个数中。 由于有40亿个数字40亿个int的大小为16G如果放在内存中是开销是非常大的只能使用位图来解决因为一个int可以放32个数据int的大小为4字节32比特位40亿整数的大小大约为512MB,完全可以存放下。 位图解决思路数据是否在给定的整形数据中结果是在或者不在刚好是两种状态那么可以使用一个二进制比特位来代表数据是否存在的信息如果二进制比特位为1代表存在为0代表不存在。比如 通过这样的运算即可在使用较少的内存的情况下来快速判断某个数字是否存在。 2.给定100亿个整数设计算法找到只出现一次的整数 由于有100亿个整数所以一定会有重复出现的整数因为int的最大值大约为42亿。 寻找一个数字可以使用两个位图一个为0另一个为1。来判断是否出现一次因为00为没有出现的次数01为出现一次的个数10为出现2次及2次以上的个数。如图· 3.给两个文件分别有100亿个整数我们只有1G内存如何找到两个文件交集 100亿个·整数1G内存这道题和上一道题差不多依然使用两各位图用来存储在或不在的情况将一个文件的整数放在一个位图中遍历另一个文件然后判断如果两个都为1则存在然后将这个数字所在的位置置为0因为判断交集只用考虑在或不在不用考虑个数。 4.1个文件有100亿个int1G内存设计算法找到出现次数不超过2次的所有整数 方法和上一道题一样解法参见上一道题 3.位图的实现 //位图templatesize_t Nclass bitset//判断一个数字是否存在{public://初始化bitset(){_bis.resize(N / 32 1,0);}//把X位标记为1void set(const size_t x){size_t i x / 32;size_t j x % 32;_bis[i] | (1 j);//并}//把X位标记为0,即删除该数字void reset(const size_t x){size_t i x / 32;size_t j x % 32;_bis[i] (~(1 j));//与}//判断是否存在bool test(const size_t x){size_t i x / 32;size_t j x % 32;return _bis[i] (1 j);}private:vectorint _bis;};//判断出现0次,1次,2次以上templatesize_t Nclass twonbits{public:void set(const size_t x){if (!_bits.test(x) !_bitss.test(x))// 0 0变为 0 1{_bitss.set(x);//出现一次}else if (!_bits.test(x) _bitss.test(x))// 0 1 变为 1 0{_bits.set(x);_bitss.reset(x);//出现两次}else if (_bits.test(x) !_bitss.test(x))// 1 0变为1 1{_bits.set(x);_bitss.set(x);//出现三次}}//判断出现一次的数字,即01bool is_once(const size_t x){return !_bits.test(x) _bitss.test(x);}//出现两次即10bool is_twice(const size_t x){return _bits.test(x) !_bitss.test(x);}//出现三次以上的即11以上的bool is_ThreeTimes(const size_t x){return _bits.test(x) _bitss.test(x);}private:bitsetN _bits;bitsetN _bitss;}; 4.什么是布隆过滤器 我们在使用新闻客户端看新闻时它会给我们不停地推荐新的内容它每次推荐时要去重去掉那些已经看过的内容。问题来了新闻客户端推荐系统如何实现推送去重的 用服务器记录了用户看过的所有历史记录当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选过滤掉那些已经存在的记录。 如何快速查找呢 1. 用哈希表存储用户记录缺点浪费空间 2. 用位图存储用户记录缺点位图一般只能处理整形如果内容编号是字符串就无法处理了。 3. 将哈希与位图结合即布隆过滤器。 布隆过滤器特点是高效地插入和查询可以用来告诉你 “某样东西一定不存在或者可能存在”它是用多个哈希函数将一个数据映射到位图结构中。此种方式不仅可以提升查询效率也可以节省大量的内存空间。 5.布隆过滤器的查找 布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找分别计算每个哈希值对应的比特位置存储的是否为零只要有一个为零代表该元素一定不在哈希表中否则可能在哈希表中。 注意布隆过滤器如果说某个元素不存在时该元素一定不存在如果该元素存在时该元素可能存在因为有些哈希函数存在一定的误判。 比如在布隆过滤器中查找alibaba时假设3个哈希函数计算的哈希值为1、3、7刚好和其他元素的比特位重叠此时布隆过滤器告诉该元素存在但实该元素是不存在的。 所以布隆过滤器判断不在是准确的判断在是不准确的。 6.布隆过滤器删除 布隆过滤器不能直接支持删除工作因为在删除一个元素时可能会影响其他元素。 比如删除tencent元素如果直接将该元素所对应的二进制比特位置0可能“baidu”元素也被删除了因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。 一种支持删除的方法将布隆过滤器中的每个比特位扩展成一个小的计数器插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一删除元素时给k个计数器减一通过多占用几倍存储空间的代价来增加删除操作。 缺陷 1. 无法确认元素是否真正在布隆过滤器中 2. 存在计数回绕 7.布隆过滤器的优缺点 优点 1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数一般比较小)与数据量大小无关 2. 哈希函数相互之间没有关系方便硬件并行运算 3. 布隆过滤器不需要存储元素本身在某些对保密要求比较严格的场合有很大优势 4. 在能够承受一定的误判时布隆过滤器比其他数据结构有这很大的空间优势 5. 数据量很大时布隆过滤器可以表示全集其他数据结构不能 6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算 缺点 1. 有误判率即存在假阳性(False Position)即不能准确判断元素是否在集合中(补救方法再建立一个白名单存储可能会误判的数据) 2. 不能获取元素本身 3. 一般情况下不能从布隆过滤器中删除元素 4. 如果采用计数方式删除可能会存在计数回绕问题 8.布隆过滤器应用场景 1.给两个文件分别有100亿个query我们只有1G内存如何找到两个文件交集分别给出精确算法和近似算法 近似算法就是使用布隆过滤器将两个文件存放在位图中寻找交集。 精细算法 由于有100一个query,假设一个query30字节,所以100亿个query大约300G两个文件600G的大小我们可以利用哈希切分将每个文件分为1000分小文件注意1000份不是平均分的然后将文件Ai放在set中再在文件Bi找如果在就是交集然后删除交集找到Ai和Bi的交集但是在不是平均分的情况下有可能导致其中某个文件体积过于庞大导致内存不够存放导致这种原因的有两种情况 1.大部分都是相同的少部分由于哈希冲突导致的 2.大部分都是由于哈希冲突导致的少部分是相同的 解决的方法是将文件Ai放入set里面判断set的insert出现bad_alloc,说明是由于哈希冲突导致的可以更换哈希函数重新分配一边如果没有出现bad_alloc,则存在大量重复相同元素使用set之后将重复元素去掉。然后求交集。 2.给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址 可以使用哈希切分将100G大小的文件平均分为1000个文件然后将在这1000份文件中使用map计算相同文件的ip地址算出最多的IP地址。 9.布隆过滤器的实现 //布隆过滤器templateclass K,size_t Nclass BloomFilter{private://哈希函数防止哈希冲突struct BKDRHash{size_t operator()(const string str){size_t hash 0;for (auto ch : str){hash hash * 131 ch;}//cout BKDRHash: hash endl;return hash;}};struct APHash{size_t operator()(const string str){size_t hash 0;for (size_t i 0; i str.size(); i){size_t ch str[i];if ((i 1) 0){hash ^ ((hash 7) ^ ch ^ (hash 3));}else{hash ^ (~((hash 11) ^ ch ^ (hash 5)));}}//cout APHash: hash endl;return hash;}};struct DJBHash{size_t operator()(const string str){size_t hash 5381;for (auto ch : str){hash (hash 5) ch;}//cout DJBHash: hash endl;return hash;}};public://是否存在不准确判断不在准确//templateclass Kvoid set(const K key){size_t hash1 BKDRHash()(key) % N;_bs.set(hash1);size_t hash2 APHash()(key) % N;_bs.set(hash2);size_t hash3 DJBHash()(key) % N;_bs.set(hash3);}//判断是否存在//templateclass Kbool test(const K key){size_t hash1 BKDRHash()(key) % N;if (_bs.test(hash1) false)return false;size_t hash2 APHash()(key) % N;if (_bs.test(hash2) false)return false;size_t hash3 DJBHash()(key) % N;if (_bs.test(hash3) false)return false;return true; // 三个都在即在}private:bitsetN _bs;};