新C++(12):位图与海量数据处理

news2024/11/26 17:21:57

"无关利弊或对错，勇气一直在"

现在给你一道面试题:

给40亿个不重复的无符号整数，没有任何排序。给出一个无符号整数，如何快速地判断，该数是否存在于40亿多个这样的无符号整数之中？

唔……我想将这40亿个多数进行快排！得到一个有序序列，emm，然后可以通过二分查找，以LogN的效率查看该数是否存在……

emm,听起来不错,甚至我还想将这40多亿个整数放在红黑树、哈希表中查找……然而，真的可行嘛？

如果是红黑树结构来存储呢？一个树的节点，最起码就包含三叉链(left,right,parent)。在64位系统中一个指针大小为8byte……想想看，这些庞大的数字堆积起来的内存空间是有多么可怖。

那是否我们就束手无策了呢？肯定不是！

一、位图

(1)什么是位图结构呢？

位图，所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。取自这里

我们简单地来举个例子:

此时，我们本来用一个4字节int或者1字节的char表示一个整数，变为用一个bit位来标识一个整数是否存在！

因此，用位图结构来处理大量数据时，对于存储数值在内存上的消耗能显著降低。那个面试题的答案也就自然而然能够解决了。

(2)STL位图

C++库中也提供了一份位图结构的数据结构。

二、位图实现

(1)构造函数

    template<size_t N>
    class bitset
    {
    public:
        bitset()
        {
            _bits.resize((N >> 3)+ 1);
        }
        
    private:
        std::vector<char> _bits;
    };

(2)set\reset

位图结构中，set、reset是最重要的。

        void set(size_t x) 
        {
            //第几块
            size_t i = x / 8;
            //第几个比特位
            size_t j = x % 8;

            _bits[i] |= (1 << j);
        }

        void reset(size_t x)
        {
            //第几块
            size_t i = x / 8;
            //第几个比特位
            size_t j = x % 8;
        
            _bits[i] &=~(1 << j);
        }

(3)test

这个接口用来测试，某一个数是否在这个位图中被标记了。

        bool test(size_t x)
        {
            //第几块
            size_t i = x / 8;
            //第几个比特位
            size_t j = x % 8;

            //如果该比特位 是0  返回的是false
            //否则返回 true
            return _bits[i] &= (1 << j);
        }