opencv进阶 ——（八）图像处理之RMBG模型AI抠图

news2024/10/6 10:41:10

BRIA.AI团队于HuggingFace开源了一个基于ISNet背景移除模型RMBG-1.4，它可以有效对前景与背景进行分离。RMBG-1.4在精心构建的数据集上训练而来，该数据包含常规图像、电商、游戏以及广告内容，该方案达到了商业级性能，但仅限于非商业用途。关于所用到的训练数据：12000+高质量&高分辨率像素级精度手工标注。更详细的数据分布介绍请移步[RMBG-1.4]

著名的HuggingFace上已有该背景移除模型的体验Demo，见：https://huggingface.co/spaces/briaai/BRIA-RMBG-1.4，用户只需要上传图片即可体验。

基于RMBG生成的掩码设置背景颜色

Alpha融合

Alpha融合是一种将前景通过透明度叠加到背景上的过程。透明度通常是图像的第四通道，当然也可以被分离出来成为一个单独的图像。这个透明的掩膜通常被称为alpha掩膜 𝑚𝑎𝑠𝑘

𝑜𝑢𝑡𝑝𝑢𝑡=𝑓𝑜𝑟𝑒𝑔𝑟𝑜𝑢𝑛𝑑 ∗ 𝑚𝑎𝑠𝑘+𝑏𝑎𝑐𝑘𝑔𝑟𝑜𝑢𝑛𝑑 ∗ (1−𝑚𝑎𝑠𝑘)

以上的 𝑚𝑎𝑠𝑘 的像素值实际计算的时候会从[0, 255]被归一化到[0, 1]

当 𝑚𝑎𝑠𝑘=0 ，输出的像素值属于背景
当 𝑚𝑎𝑠𝑘=1 ，输出的像素值属于前景
当 0<𝑚𝑎𝑠𝑘<1 ，输出像素值是前景和背景的融合

融合代码

for (int i = 0; i < roi.rows; i++)
    {
        for (int j = 0; j < roi.cols; j++)
        {
            auto maskVal = (float)mask.at<uchar>(i, j)/255;
            for (size_t n = 0; n < 3; n++)
            {   
                roi.at<cv::Vec3b>(i, j)[n] = fgImg.at<cv::Vec3b>(i, j)[n]*maskVal + roi.at<cv::Vec3b>(i, j)[n]*(1-maskVal);
            }       
        }
    }