opencv进阶 ——（十三）基于三角剖分实现换脸

news2024/11/24 9:38:31

换脸的关键在于人脸对齐，人脸对齐主要包括以下几点：

1、人脸可能存在一定的角度，因此需要先将倾斜方向进行对齐

2、大小对齐，将模板人脸的大小缩放到同一大小

3、要想有好的效果，关键点选取很重要

4、人脸对齐后，使用seamlessClone函数可以最大化的融合，还可以通过addWeighted函数进行调节比例，让图像看起来更自然。

人脸融合实现

cv::Mat FusionFace(const cv::Mat& srcImg, const cv::Rect& srcBox, const cv::Mat& destImg, const cv::Rect &destBox, std::vector<cv::Point>& vecDstPointRoi)
{
    auto destFace = destImg(destBox);
    cv::Mat destAlignFace;
    cv::resize(destFace, destAlignFace, srcBox.size());
    std::cout << "srcBox:" << srcBox << std::endl;
    auto center = (srcBox.br() + srcBox.tl())/2 ;

    std::vector<cv::Point> vecDstPointKey = vecDstPointRoi;
    vecDstPointKey.erase(vecDstPointKey.begin() + vecDstPointKey.size() - 8, vecDstPointKey.end());
    
    //获取旋转矩阵掩码
    auto rotateRect = cv::minAreaRect(vecDstPointKey);
    cv::Point2f pot[4];
    rotateRect.points(pot);
    std::vector<cv::Point> rotatePoints{pot[0], pot[1], pot[2], pot[3]};
    cv::Mat maskRect(srcBox.size(), CV_8UC1, cv::Scalar(0));
    cv::fillConvexPoly(maskRect, rotatePoints, cv::Scalar(255));
    //获取圆形掩码
    cv::Mat maskCicle(srcBox.size(), CV_8UC1, cv::Scalar(0));
    float radius = std::min(rotateRect.size.width, rotateRect.size.height);
    cv::circle(maskCicle, rotateRect.center, radius, cv::Scalar(255), -1);
    //去并集，最小化掩码区域
    cv::Mat maskArea(srcBox.size(), CV_8UC1, cv::Scalar(0));
    cv::bitwise_and(maskRect, maskCicle, maskArea);

    cv::Mat tmpDestImg;
    cv::Mat srcRoi = srcImg(srcBox);
    cv::seamlessClone(destAlignFace, srcImg, maskArea, center, tmpDestImg, cv::NORMAL_CLONE);
    //图像增强
    return FaceEnhance(srcBox, tmpDestImg, srcImg, vecDstPointKey);
}

融合效果