SeetaFace6人脸特征提取与对比C++代码实现Demo

news2024/12/24 3:31:26

SeetaFace6包含人脸识别的基本能力：人脸检测、关键点定位、人脸识别，同时增加了活体检测、质量评估、年龄性别估计，并且顺应实际应用需求，开放口罩检测以及口罩佩戴场景下的人脸识别模型。

官网地址：https://github.com/SeetaFace6Open/index

1. 概述

人脸特征提取与对比，就是将待识别的人脸经过处理变成二进制数据的特征，然后基于特征表示的人脸进行相似度计算，最终与相似度阈值对比，一般超过阈值就认为特征表示的人脸是同一个人。

为了应对不同级别的应用需求，SeetaFace6将开放三个版本模型：

文件名	特征长度	建议阈值	说明
face_recognizer.csta	1024	0.62	通用场景高精度人脸识别
face_recognizer_mask.csta	512	0.48	带口罩人脸识别模型
face_recognizer_light.csta	512	0.55	轻量级人脸识别模型

需要注意的是，不同模型提取的特征是不具备可比较性的，哪怕特征一样。如果在正在运行的系统替换了识别模型的话，所有底库照片全部需要重新提取特征再进行比较才行。

2. 人脸特征提取

首先构造人脸识别器：

#include <seeta/FaceRecognizer.h>
seeta::FaceRecognizer *new_fr() {
    seeta::ModelSetting setting;
    setting.append("face_recognizer.csta");
    return new seeta::FaceRecognizer(setting);
}

特征提取过程可以分为两个步骤：

根据人脸5个关键点裁剪出人脸区域；
将人脸区域输入特征提取网络提取特征。

两个步骤分别对应seeta::FaceRecognizer的CropFaceV2和ExtractCroppedFace。

特征长度是不同模型可能不同的，要使用GetExtractFeatureSize方法获取当前使用模型提取的特征长度。

#include <seeta/FaceRecognizer.h>
#include <memory>
std::shared_ptr<float> extract_v2(
        seeta::FaceRecognizer *fr,
        const SeetaImageData &image,
        const std::vector<SeetaPointF> &points) 
{
    std::shared_ptr<float> features(new float[fr->GetExtractFeatureSize()],std::default_delete<float[]>());
    seeta::ImageData face = fr->CropFaceV2(image, points.data());
    fr->ExtractCroppedFace(face, features.get());
    return features;
}

3. 人脸特征对比

人脸特征对比就是计算两个特征的相似度，相似度的范围是[0, 1]

#include <seeta/FaceRecognizer.h>
#include <memory>float compare(seeta::FaceRecognizer *fr,
        const std::shared_ptr<float> &feat1,
        const std::shared_ptr<float> &feat2) 
{
    return fr->CalculateSimilarity(feat1.get(), feat2.get());
}

4. 关于相似度和阈值

阈值起到的作用就是给出识别结果是否是同一个人的评判标准。如果两个特征的相似度超过阈值，则认为两个特征所代表的人脸就是同一个人。

因此该阈值和对应判断的相似度，是算法统计是否一个人的评判标准，并不等同于自然语义下的人脸的相似度。这样表述可能比较抽象，说个具体的例子就是，相似度0.5，在阈值是0.49的时候，就表示识别结果就是一个人，这个相似度也不表示两个人脸有一半长的一样。同理相似度100%，也不表示两个人脸完全一样，连岁月的痕迹也没有留下。

识别算法直接给出来的相似度如果脱离阈值就没有意义。识别算法的性能好不好，主要看其给出的不同样本之间的相似度有没有区分性，能够用阈值将正例和负例样本区分开来。

这里对一种错误的测试方式给出说明。经常有人提出问题，A算法比B算法效果差，原因是拿两张照片，是同一个人，A算法给出的相似度比B算法给出的低。但是经过上述讨论，希望读者能够明白这种精度测试方式的片面性。

5. 关于1比1和1比N

一般的人脸识别应用，我们都可以这样去区分，1比1和1比N。

一般的1比1识别，狭义上讲就是人证对比，使用读卡器从身份证，或者其他介质上读取到一张照片，然后和现场抓拍到的照片做对比。这种一般是做认证的场景，用来判别证件、或者其他凭证方式是否是本人在进行操作。因此广义上来讲，员工刷工卡，然后刷脸认证；个人账户进行刷脸代替密码；这种知道待识别人员身份，然后进行现场认证的方式，都可以属于1比1识别的范畴。一般的1比1识别，狭义上讲就是人证对比，使用读卡器从身份证，或者其他介质上读取到一张照片，然后和现场抓拍到的照片做对比。这种一般是做认证的场景，用来判别证件、或者其他凭证方式是否是本人在进行操作。因此广义上来讲，员工刷工卡，然后刷脸认证；个人账户进行刷脸代替密码；这种知道待识别人员身份，然后进行现场认证的方式，都可以属于1比1识别的范畴。