目录

题目一：给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？

哈希切割

题目二：给定100亿个整数，设计算法找到只出现一次的整数？

解法一：哈希切割

解法二：利用2个位图

解法三：利用1个位图

题目三：给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？

解法一：哈希切割

解法二：位图

位图拓展：如何获取数据的交集、并集、差集？

题目四：位图应用变形：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数

题目五：给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法

精确算法：哈希切割

近似算法：布隆过滤器

---

题目一：给一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？

        一般情况下，忽略大小，统计IP出现的次数，使用<k,V>解决即可~

        但是题目中，100G的数据，有点太大了【一次性无法加载到内存中】，怎么办呢？

        思路：我们呢，可以去尝试着，将这个大的文件拆分成若干个小的文件，但此时，又出现了一个问题，如何拆分呢？

哈希切割

——哈希切割，就是根据IP地址的内容进行拆分，将相同IP存储到同一个文件中

接下来，我们分析：

• IP本身就是一个字符串，我们将IP哈希成一个整数
• 再将这个整数%200，也就是将100G的文件，拆分成了200份小文件
• 读取每个小文件的内容，统计文件当中，IP出现的次数【Map】

---

题目二：给定100亿个整数，设计算法找到只出现一次的整数？

解法一：哈希切割

        将数字哈希到对应的小文件中，相同的数字肯定是在一起的，遍历每个小文件，统计数字出现次数，此时，就可以知道哪个数字只出现一次了

解法二：利用2个位图

一共整数42亿个，大约占用内存512M【42亿 /8 /1024 /1024 = 512M】

• 没出现：00
• 出现一次：01
• 出现两次：10
• 出现两次以上：11

当进去后，用一个循环，同时遍历两个bitSet即可得到结果 

解法三：利用1个位图

 之前位图确定一个数的位置是采用val/8,val%8，在这里就是：ArrayIndex = val /4【确定数字所在的大致区间】，BitIndex = val % 4 * 2【确定该数字的位置，由于一个数字用2个比特位表示，所以另一个就是BitIndex+1】

---

题目三：给两个文件，分别有100亿个整数，我们只有1G内存，如何找到两个文件交集？

解法一：哈希切割

解法二：位图

• 遍历第一个文件，将第一个文件数据读取出来，存放在bitSet中
• 遍历第二个文件，每次读一个数据，就查看bitSet中，之前是否存在
• 如果存在，就是交集 

位图拓展：如何获取数据的交集、并集、差集？

 

---

题目四：位图应用变形：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数

解法一：哈希切割

 解法二：使用2个位图

同上述的题2中解法相同

---

题目五：给两个文件，分别有100亿个query，我们只有1G内存，如何找到两个文件交集？分别给出精确算法和近似算法

精确算法：哈希切割

同题3解法相同

近似算法：布隆过滤器

• 把第一个文件当中的query映射到布隆过滤器中
• 读取第二个文件，每个query，都去布隆过滤器中查找【存在误判】

好啦，本期结束咯~ 

我们下期见~~~