【C++从小白到大牛】布隆过滤器

布隆过滤器的提出

布隆过滤器概念

布隆过滤器的原理：

布隆过滤器的运作的总体过程：

布隆过滤器的插入

原码

布隆过滤器的查找

布隆过滤器删除

关于布隆过滤器的面试题：

1. 给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法

思路：

如何进行哈希切分呢？

2、如何扩展BloomFilter使得它支持删除元素的操作？

3、给一个超过100G大小的log ﬁle, log中存着IP地址, 设计算法找到出现次数最多的IP地址？与上题条件相同，如何找到top K的IP？

思路：

解析:

布隆过滤器优点：

布隆过滤器的缺点：

总结：

布隆过滤器的提出

上一篇文章我们已经学习了位图的应用，但是位图一般只能处理整形，如果内容编号是字符串，就无法处理了。而我们又知道如果只用哈希表存储用户记录，缺点就是浪费空间。但是我们将哈希表和位图结合起来呢，就是我们的布隆过滤器！

布隆过滤器概念

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的一种紧凑型的、比较巧妙的概率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存
在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也可以节省大量的内存空间。

布隆过滤器的原理：

布隆过滤器是一个 bit 向量或者说 bit 数组，如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置 1，用多个不同的哈希函数生成多个哈希值，这句话是核心！

布隆过滤器为什么可以告诉你某样东西一定不存在或者可能存在？

现在我们如果想查询 “dianping” 这个值是否存在，哈希函数返回了 1、5、8三个值，结果我们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 “dianping” 这个值不存在。而当我们需要查询 “baidu” 这个值是否存在的话，那么哈希函数必然会返回 1、4、7，然后我们检查发现这三个 bit 位上的值均为 1，那么我们可以说 “baidu” 存在了么？答案是不可以，只能是 “baidu” 这个值可能存在。

这是为什么呢？答案很简单，因为随着增加的值越来越多，被置为 1 的 bit 位也会越来越多，这样某个值 “taobao” 即使没有被存储过，但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ，那么程序还是会判断 “taobao” 这个值存在！

布隆过滤器的运作的总体过程：

字符串（通过哈希函数）——>返回整形——>映射存储的位置

谁有误判？

在：有误判的可能（本来不在，映射位置冲突了，误判成在了）

不在：准确无误的

布隆可以多映射几个位，降低冲突的概率。

布隆过滤器的插入

注意这里的红框框部分

这里的Hash()就是实例化一个临时对象，然后调用operator()求key hash之后的值，这里就是匿名对象的应用，对象访问类型里面的仿函数直接（）就行，不用加上.操作符

Hash1()是为了生成临时对象Hash1()()是用生成的临时对象调用仿函数

原码

struct HashFuncBKDR
{
	// BKDR
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash *= 131;
			hash += ch;
		}

		return hash;
	}
};

struct HashFuncAP
{
	// AP
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			if ((i & 1) == 0) // 偶数位字符
			{
				hash ^= ((hash << 7) ^ (s[i]) ^ (hash >> 3));
			}
			else              // 奇数位字符
			{
				hash ^= (~((hash << 11) ^ (s[i]) ^ (hash >> 5)));
			}
		}

		return hash;
	}
};

struct HashFuncDJB
{
	// DJB
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash = hash * 33 ^ ch;
		}

		return hash;
	}
};

template<size_t N, 
	class K = string,
	class Hash1 = HashFuncBKDR,
	class Hash2 = HashFuncAP,
	class Hash3 = HashFuncDJB>
class BloomFilter
{
public:
	void Set(const K& key)
	{
		size_t hash1 = Hash1()(key) % M;
		size_t hash2 = Hash2()(key) % M;
		size_t hash3 = Hash3()(key) % M;

		_bs->set(hash1);
		_bs->set(hash2);
		_bs->set(hash3);
	}

	bool Test(const K& key)
	{
		size_t hash1 = Hash1()(key) % M;
		if (_bs->test(hash1) == false)
			return false;

		size_t hash2 = Hash2()(key) % M;
		if (_bs->test(hash2) == false)
			return false;

		size_t hash3 = Hash3()(key) % M;
		if (_bs->test(hash3) == false)
			return false;

		return true; // 存在误判(有可能3个位都是跟别人冲突的，所以误判)
	}

private:
	static const size_t M = 10 * N;
	//bit::bitset<M> _bs;
	std::bitset<M>* _bs = new std::bitset<M>;
};