人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)

news2024/11/19 0:38:45

人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)

目录

1. 前言

2. 项目安装

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

（3）部署TNN模型

（4）CMake配置

（5）编译运行 

3. 人脸识别系统

（1）人脸识别的核心算法

（2）人脸检测和关键点检测

（3）人脸校准

（4）人脸特征提取

（5）人脸比对(1:1)

（6）人脸搜索(1:N)

（7）配置文件config

（8）人脸识别优化建议

4. 人脸识别C/C++ Demo效果

5. 人脸识别Python版本源码下载

6. 人脸识别Android版本源码下载

7. 人脸识别Python版本源码下载

1. 前言

这是项目《人脸识别Face Recognition》系列之《C/C++ InsightFace实现人脸识别Face Recognition》；项目基于开源ArcFace(也称InsightFace)模型搭建一套完整的C/C++人脸识别系统（Face Recognition or Face Identification）；我们将开发一个简易的、可实时运行的人脸识别C/C++ Demo。C/C ++版本人脸识别模型推理支持CPU和GPU加速，在GPU(OpenCL)加速下，可以达到实时的人脸识别效果，非常适合在Linux开发板和Android系统开发板上部署。

整套人脸识别系统核心算法包含人脸检测和人脸关键点检测，人脸校准，人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)。本项目人脸识别系统可以达到目前商业级别的人脸识别准确率，在误识率(FAR)0.1%的情况下，可提供99.78%的通过率(TAR)；可以满足人脸比对，人脸签到、人脸门禁、人员信息查询、安防监控等人脸识别应用场景。

C/C++版本人脸检测和人脸识别效果

PS：由于opencv不支持显示中文，绘图时用姓名拼音首字母代替

C/C++版本人脸识别效果Python版本人脸识别效果

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/130600571

更多项目《人脸识别Face Recognition》系列文章请参考：

  1. 人脸识别1：人脸识别数据集https://blog.csdn.net/guyuealian/article/details/130600545
  2. 人脸识别2：InsightFace实现人脸识别Face Recognition(含源码下载)https://blog.csdn.net/guyuealian/article/details/130600472
  3. 人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)https://blog.csdn.net/guyuealian/article/details/130600571
  4. 人脸识别4：Android InsightFace实现人脸识别Face Recognition(含源码)https://blog.csdn.net/guyuealian/article/details/130600600

ccd0e425827b4cad815f3d05447f37e6.gif

2. 项目安装

项目IDE开发工具使用CLion，相关依赖库主要有OpenCV，base-utils以及TNN和OpenCL(可选)，其中OpenCV必须安装，OpenCL用于模型加速，base-utils以及TNN已经配置好，无需安装；

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置好开发环境。

（1）项目结构

（2）配置开发环境(OpenCV+OpenCL+base-utils+TNN)

项目仅在Ubuntu18.04进行测试，Windows系统下请自行配置和编译

  • 安装OpenCV：图像处理

图像处理（如读取图片，图像裁剪等）都需要使用OpenCV库进行处理

安装教程：Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu

OpenCV库使用opencv-4.3.0版本，opencv_contrib库暂时未使用，可不安装

  • 安装OpenCL：模型加速

 安装教程：Ubuntu16.04 安装OpenCV&OpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载

OpenCL用于模型GPU加速，若不使用OpenCL进行模型推理加速，纯C++推理模型，速度会特别特别慢

  • base-utils：C++库

GitHub：https://github.com/PanJinquan/base-utils （无需安装，项目已经配置了）

base_utils是个人开发常用的C++库，集成了C/C++ OpenCV等常用的算法

  • TNN：模型推理

GitHub：https://github.com/Tencent/TNN （无需安装，项目已经配置了）

由腾讯优图实验室开源的高性能、轻量级神经网络推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化，同时借鉴了业界主流开源框架高性能和良好拓展性的特性，拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地，服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

（3）部署TNN模型

项目模型推理采用TNN部署框架（支持多线程CPU和GPU加速推理）；图像处理采用OpenCV库，模型加速采用OpenCL，在普通电脑设备即可达到实时处理。

（4）CMake配置

这是CMakeLists.txt，其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库，Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.5)
project(Detector)
add_compile_options(-fPIC) # fix Bug: can not be used when making a shared object
set(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")
#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")
#set(CMAKE_CXX_FLAGS_DEBUG "-g")

if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)
    # -DCMAKE_BUILD_TYPE=Debug
    # -DCMAKE_BUILD_TYPE=Release
    message(STATUS "No build type selected, default to Release")
    set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)
endif ()


# opencv set
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS} ./src/)
#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")

# base_utils
set(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录
add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中
include_directories(${BASE_ROOT}/base_utils/include)
include_directories(${BASE_ROOT}/base_utils/src)
MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")


# TNN set
# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds it for you.
# Gradle automatically packages shared libraries with your APK.
# build for platform
if (CMAKE_SYSTEM_NAME MATCHES "Android")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_ARM_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    #set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL "" FORCE)
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DTNN_ARM_ENABLE)              # for Android CPU
    add_definitions(-DDEBUG_ANDROID_ON)            # for Android Log
    add_definitions(-DPLATFORM_ANDROID)
elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_LINUX)
elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_WINDOWS)
endif ()
set(TNN_ROOT 3rdparty/TNN)
include_directories(${TNN_ROOT}/include)
include_directories(${TNN_ROOT}/third_party/opencl/include)
add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹
set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN library
MESSAGE(STATUS "TNN_ROOT = ${TNN_ROOT}")


# dlcv库
include_directories(src)
set(SRC_LIST
        src/face_alignment.cpp
        src/face_recognizer.cpp
        src/face_feature.cpp
        src/object_detection.cpp
        src/Interpreter.cpp
        )
add_library(dlcv SHARED ${SRC_LIST})
target_link_libraries(dlcv
        ${TNN}
        ${OpenCV_LIBS}
        base_utils)
MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")


# demo
add_executable(test_face_landmark test_face_landmark.cpp)
add_executable(test_alignment test_alignment.cpp)
add_executable(test_compare_face test_compare_face.cpp)
add_executable(test_register test_register.cpp)
add_executable(test_search_face test_search_face.cpp)


target_link_libraries(test_face_landmark dlcv -lpthread)
target_link_libraries(test_alignment dlcv -lpthread)
target_link_libraries(test_compare_face dlcv -lpthread)
target_link_libraries(test_register dlcv -lpthread)
target_link_libraries(test_search_face dlcv -lpthread)

（5）编译运行 

在Ubuntu系统终端输入： bash build.sh

#!/usr/bin/env bash
if [ ! -d "build/" ];then
  mkdir "build"
else
  echo "exist build"
fi
cd build
cmake ..
make -j4
sleep 1

# 测试人脸检测和关键点检测效果
./test_face_landmark
# 测试人脸校准效果
./test_alignment
#  测试人脸识别1:1比对
./test_compare_face
# 测试注册人脸，生成人脸数据库
./test_register
# 测试1:N人脸搜索,支持测试图片，视频和摄像头
./test_search_face

./test_face_landmark ：测试人脸检测和关键点检测效果

./test_alignment ：测试人脸校准效果

./test_compare_face ：测试人脸识别1:1比对

./test_register ：测试注册人脸，生成人脸数据库

./test_search_face ：测试1:N人脸搜索,支持测试图片，视频和摄像头

3. 人脸识别系统

人脸识别主要包含人脸比对(1:1)和人脸搜索(1:N)两大功能，涉及的核心算法主要包含：人脸检测和人脸关键点检测，人脸校准，人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)；当然，实际业务中，可能还会增加人脸质量检测以及活体识别等算法，碍于篇幅，后续再分享活体识别算法。

下图给出本项目人脸识别系统算法实现架构流程图：

11acfa2ee6eb40818544226505ff4a92.png

（1）人脸识别的核心算法

项目src/face_recognizer.h实现了人脸识别的核心算法，包含人脸检测和人脸关键点检测，人脸校准，人脸特征提取以及人脸比对(1:1)和人脸搜索(1:N)等功能，用于可以参考该头文件，实现人脸识别的基本功能

//
// Created by 390737991@qq.com on 2018/6/3.
//


#ifndef FACE_RECOGNITION_H
#define FACE_RECOGNITION_H

#include "Types.h"
#include "face_feature.h"
#include "object_detection.h"
#include <map>

using namespace std;

typedef map<string, vector<float>> FeatureData;


namespace dl {
    namespace vision {
        class FaceRecognizer {
        public:

            /***
             * 初始化人脸识别
             * @param det_tnnmodel 人脸检测模型 *.tnnmodel参数文件路径（含后缀名）
             * @param det_tnnproto 人脸检测模型 *.tnnproto模型文件路径（含后缀名）
             * @param rec_tnnmodel 人脸特征提取模型 *.tnnmodel参数文件路径（含后缀名）
             * @param rec_tnnproto 人脸特征提取模型 *.tnnproto模型文件路径（含后缀名）
             * @param database 人脸数据库特征路径database(注册人脸后生成的特征文件)
             * @param embeddingSize 特征维度
             * @param alignment 是否进行人脸校准
             * @param num_thread 开启线程数(CPU)
             * @param device 运行设备，支持CPU和GPU(OpenCL)
             */
            FaceRecognizer(string det_tnnmodel,
                           string det_tnnproto,
                           string rec_tnnmodel,
                           string rec_tnnproto,
                           string database,
                           int embeddingSize = 512,
                           bool alignment = true,
                           int num_thread = 4,
                           DeviceType device = CPU);

            /**
             * release space
             */
            ~FaceRecognizer();

            /***
             * 清空人脸数据库(会删除所有已经注册的人脸数据，谨慎操作)
             */
            void clearDatabase();


            /***
             * 注册人脸
             * @param face_id  输入人脸ID(如姓名、学号，身份证等标识)
             * @param face_fea 输入人脸特征
             */
            bool add_face(string face_id, vector<float> face_fea);


            /***
             * 注册人脸(会进行人脸检测，人脸校准和人脸特征提取)
             * @param face_id  输入人脸ID(如姓名、学号，身份证等标识)
             * @param imgBGR 输入原始图像(必须只包含一个人)
             * @param frameInfo 输出人脸检测结果
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh  人脸检测NMS的IOU阈值
             */
            bool add_face(string face_id, cv::Mat &imgBGR, FrameInfo &frameInfo,
                          float det_conf_thresh, float det_iou_thresh);

            /***
             * 注销(删除)人脸
             * @param face_id 输入人脸ID(如姓名、学号，身份证等标识)
             */
            void del_face(string face_id);

            /***
             * 获取人脸特性底库数据
             * @return
             */
            FeatureData getDatabase();

            /***
             * 设置人脸特性底库数据
             * @param face_database
             */
            void setDatabase(FeatureData &face_database);

            /***
             * 生成人脸特征底库数据
             * @param portrait  人脸数据库图像路径,用于注册人脸
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh  人脸检测NMS的IOU阈值
             * @param alignment      是否进行人脸校准
             * @return
             */
            int createDatabase(string portrait, float det_conf_thresh = 0.5, float det_iou_thresh = 0.3);


            int update();

            /***
             * 保存人脸特征地库数据
             * @return
             */
            int save();


            /**
             * 加载人脸特征地库数据
             * @param database  人脸地库数据的目录
             * @return
             */
            int load(string database);


            /***
             * 人脸特征匹配
             * @param faceInfo 人脸信息（单个人脸）
             * @param rec_conf_thresh 人脸识别阈值，低于该值，人脸ID为unknown，表示未知
             */
            void embeddingMatching(ObjectInfo *faceInfo, float rec_conf_thresh = 0.8);


            /***
             * 人脸特征匹配
             * @param frameInfo  人脸信息（多个人脸）
             * @param rec_conf_thresh 人脸识别阈值，低于该值，人脸ID为unknown，表示未知
             */
            void searchFace(FrameInfo *frameInfo, float rec_conf_thresh = 0.8);


            /***
             * 进行人脸检测
             * @param imgBGR 输入BGR格式图片
             * @param frameInfo 输出人脸信息（多个人脸）
             * @param max_face  最大人脸个数，默认为-1，表示全部人脸
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh 人脸检测IOU阈值
             */
            void detectFace(cv::Mat &imgBGR, FrameInfo *frameInfo,
                            float det_conf_thresh = 0.5, float det_iou_thresh = 0.5);


            /***
             * 提取人脸特征
             * @param imgBGR 输入BGR格式图片
             * @param frameInfo 输入人脸信息（多个人脸）
             * @param alignment 是否进行人脸校准
             * @return
             */
            int getFeature(cv::Mat &imgBGR, FrameInfo *frameInfo, bool alignment);


            /***
             * 进行人脸检测和人脸校准，并提取人脸特征,相当于detectFace+getFeature
             * @param imgBGR 输入BGR格式图片
             * @param frameInfo 输出人脸信息（多个人脸）
             * @param max_face  最大人脸个数，默认为-1，表示全部人脸
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh 人脸检测IOU阈值
             */
            void detectExtractFeature(cv::Mat &imgBGR,
                                      FrameInfo *frameInfo,
                                      int max_face = -1,
                                      float det_conf_thresh = 0.5,
                                      float det_iou_thresh = 0.5);

            /***
             * 进行人脸检测,1:N人脸搜索
             * @param imgBGR      BGR图像
             * @param frameInfo  输入/输出人脸识别结果
             * @param det_conf_thresh 人脸检测置信度阈值
             * @param det_iou_thresh 人脸检测IOU阈值
             * @param rec_conf_thresh  人脸识别阈值，低于该值，人脸ID为-1，表示未知
             * @param alignment 是否需要进行人脸校准，FrameInfo需要提供5个人脸关键点进行人脸校准
             */
            void detectSearch(cv::Mat &imgBGR,
                              FrameInfo *frameInfo,
                              int max_face = -1,
                              float det_conf_thresh = 0.5,
                              float det_iou_thresh = 0.5,
                              float rec_conf_thresh = 0.5);


            /***
             * 进行人脸检测,1:1人脸比对
             * @param image1
             * @param image2
             * @param face_info1
             * @param face_info2
             * @param det_conf_thresh
             * @param det_iou_thresh
             * @return
             */
            float compareFace(cv::Mat &image1, cv::Mat &image2,
                              FrameInfo *face_info1, FrameInfo *face_info2,
                              float det_conf_thresh, float det_iou_thresh);

            /***
             * 比较两个人脸特征的相似分数，值越大，越相似
             * @param feature1 人脸特征
             * @param feature2 人脸特征
             * @return 返回两个特征的相似性，取值范围(0,1.0)
             */
            static float compareFeature(vector<float> &feature1, vector<float> &feature2);

            /***
             * 比较两个特征的相似距离(欧式距离)，值越小，越相似
             * @param feature1 人脸特征
             * @param feature2 人脸特征
             * @return 返回两个特征的欧式距离，取值范围(0,+∞)
             */
            static float compareDist(vector<float> &feature1, vector<float> &feature2);


            /***
             * 人脸距离到人脸相似分数的映射
             * @param x    欧式距离的值
             * @param mean 均值,默认meam=1.40
             * @param std  方差,默认std=0.2
             * @return     返回人脸相似分数(0,1),值越大越相似
             */
            static float getScore(float x, float mean = 1.40f, float std = 0.2f);


            /***
             * 可视化人脸识别结果
             * @param imgBRG
             * @param frameInfo
             * @param waitKey
             */
            static cv::Mat visualizeResult(string title, cv::Mat &imgBRG, FrameInfo *frameInfo, int waitKey = 0);


        private:
            string database;
            int mEmbeddingSize;
            bool mAlignment = true;
            ObjectDetection *pFaceDetector = nullptr;
            FaceFeature *pFaceFeature = nullptr;
            FeatureData mDataBase; // 人脸特征DataBase
        };
    }
}


#endif //

（2）人脸检测和关键点检测

人脸检测的方法比较多，项目Python版本人脸识别提供两种人脸检测方法：一种是基于MTCNN的通用人脸检测模型，另一种是轻量化的、快速的RFB人脸检测模型；这个两个模型都能实现人脸检测，并同时预测人脸的五个关键点(Landmark)。C/C++版本版本只提供RFB人脸检测和关键点检测模型。

模型Paper源码说明
MTCNNPaperLink
  • 支持人脸检测和人脸关键点检测(5个点)
  • 通用场景人脸检测，计算量较大，适合PC服务器部署
RFBPaperLink
  • 支持人脸检测和人脸关键点检测(5个点)
  • 轻量级人脸检测，适合简单场景人脸检测，计算量较小，适合嵌入式，开发板，Android等终端部署
  • MTCNN人脸检测参考项目：GitHub - Sierkinhane/mtcnn-pytorch: A face detection algorithm
  • RFB人脸检测参考项目：GitHub - Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB: 💎1MB lightweight face detection model (1MB轻量级人脸检测模型)
  • 项目test_face_landmark.cpp实现了人脸检测和关键检测的功能，编译完成后，终端运行
# 测试人脸检测和关键点检测效果
./test_face_landmark

下图是RFB模型人脸检测和人脸关键点(Landmark)检测效果  

  •  人脸关键点(Landmark)：共预测五个人脸关键点，分别为：左眼中心点，右眼中心点，鼻尖中心点以及左嘴角和右嘴角
  • 利用Landmark信息，后续可以通过仿射变换，对人脸进行校准，获得相对比较正的人脸。人脸校准可以有效提升人脸识别的效果

 

（3）人脸校准

利用Landmark信息，可以通过仿射变换，对人脸进行校准，获得相对比较正的人脸，项目src/face_alignment.h模块提供人脸校准算法。

其中实现思路是：

利用OpenCV的estimateAffine2D()函数估计人脸关键点(5个landmark)和参考人脸关键点(reference landmark)的仿射变换矩阵M，再根据仿射变换矩阵M矫正人脸图像

下图给出人脸校准的效果图，其中【image】是原始图像，而【FaceAlignment】是最终矫正的人脸效果图。

  •  项目test_alignment.cpp实现了人脸校准的功能，编译完成后，终端运行
# 测试人脸校准效果
./test_alignment

（4）人脸特征提取

项目基于开源的ArcFace(也称InsightFace)训练框架，开发并优化了三个版本的人脸识别模型：mobilenet_v2，IR-18(resnet18优化版)以及IR-50(resnet50优化版)，用于人脸特征提取

ArcFace：GitHub - TreB1eN/InsightFace_Pytorch: Pytorch0.4.1 codes for InsightFace

模型LFWCFP_FFCFP_FPAgeDBCALFWCPLFW
resnet5099.7899.6998.1497.5395.8792.45
resnet1899.5599.6197.7496.5294.6690.01
mobilenet_v299.2399.2790.7493.2293.5788.69

resnet50和resnet18参数量比较大，计算量较大，适合在PC服务器部署 ；而mobilenet_v2

模型计算量较小，适合嵌入式，开发板，Android等终端部署。

（5）人脸比对(1:1)

1:1人脸比对(也称人脸验证，身份验证)，即将两张人脸进行1:1比对，得到人脸相似度，来判断是否是同一个人，一般用作人证比对等场景，比如银行卡/QQ/微信/支付宝等账号登录时人脸身份验证。

  • 项目实现了1:1人脸比对功能(test_compare_face.cpp)，编译完成后，测试1:1人脸比对，可在终端运行：
#  测试人脸识别1:1比对
./test_compare_face

运行结果如下：  

（6）人脸搜索(1:N)

1:N人脸搜索，将一张人脸和N张人脸进行比对，找出最相似的一张或多张人脸，即1:N人脸搜索。可用作人脸签到、人脸门禁、人员信息查询、安防监控等应用场景。

项目实现了1:N人脸搜索功能，需要提前生成人脸数据库(Face database)，先录入注册人脸数据

database人脸图像要求满足以下：

  • 图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg，作为人脸识别的底图
  • 个人照片可以是个人证件照，生活照，肖像照片，要求五官清晰且正脸的照片，不能出现多个人脸的情况
  • 尽量不要出现过度美颜，头发遮挡，低头侧脸等问题

  • 由于C++版本的opencv不支持显示中文，绘图时用姓名拼音首字母代替，如刘亦菲，简称LYF；Python版本可正常显示中文字符

 项目test_register.cpp实现人脸数据库(database)人脸注册功能，编译完成后，可在终端运行：

# 图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg，作为人脸识别的底图
# 人脸肖像照片要求五官清晰且正脸的照片，不能出现多个人脸的情况
# 测试注册人脸，生成人脸数据库
./test_register

运行结果如下：

 如果需要注册新人 ，请参考如下步骤：

  1. 采集一张新人的个人照片，以张三的照片为例子
  2. 照片保存在人脸数据库中(data/database/portrait)中，图片按照[ID-XXXX.jpg]命名,如:张三-image.jpg，作为人脸识别的底图
  3. 然后运行test_register，完成人脸数据库的人脸注册

完成人脸注册后，下一步可以进行1:N人脸搜索，实现人脸识别的功能

  • 项目test_search_face.cpp实现了1:N人脸搜索功能，支持图片，视频和摄像头测试，编译完成后，终端输入：
# 测试1:N人脸搜索,支持测试图片，视频和摄像头
./test_search_face

//
// Created by 390737991@qq.com on 2018/6/3.
//
#include <string>
#include <vector>
#include <debug.h>
#include "object_detection.h"
#include "face_recognizer.h"
#include "config.h"
#include "file_utils.h"
#include <opencv2/opencv.hpp>

using namespace std;
using namespace dl;
using namespace vision;

/***
 * 1:N人脸搜索,测试图片文件
 */
void test_search_face_image() {
    // 测试图片数据
    string image_dir = "../data/test_image";
    string output = "../output";
    //初始化人脸识别
    FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel,
                                                 det_tnnproto,
                                                 rec_tnnmodel,
                                                 rec_tnnproto,
                                                 database,
                                                 embeddingSize,
                                                 alignment,
                                                 num_thread,
                                                 GPU);
    // 获得所有图片
    std::vector<string> image_list = get_files_list(image_dir);
    for (const string &image_file:image_list) {
        string basename = get_basename(image_file);
        printf("load image file: %s\n", image_file.c_str());
        // 读取测试图片
        cv::Mat bgr_image = cv::imread(image_file);
        if (bgr_image.empty()) continue;
        // 创建FrameInfo结构体，用于缓存检测和识别等结果
        FrameInfo frameInfo;
        // 进行1:N人脸搜索
        faceReg->detectSearch(bgr_image, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);
        // 可视化人脸识别结果
        cv::Mat vis_image = dl::vision::FaceRecognizer::visualizeResult("Recognizer", bgr_image, &frameInfo, 0);
        string out_file = path_joint(output, basename);
        printf("save image file: %s\n", out_file.c_str());
        image_save(out_file, vis_image);
    }

    delete faceReg;
    faceReg = nullptr;
    printf("FINISHED.\n");
}

/***
 * 1:N人脸搜索,测试视频文件
 */
void test_search_face_video() {
    //视频文件夹
    string video_file = "../data/test-video.mp4";
    //初始化人脸识别
    FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel,
                                                 det_tnnproto,
                                                 rec_tnnmodel,
                                                 rec_tnnproto,
                                                 database,
                                                 embeddingSize,
                                                 alignment,
                                                 num_thread,
                                                 GPU);
    cv::VideoCapture cap;
    bool ret = get_video_capture(video_file, cap);
    cv::Mat frame;
    while (ret) {
        cap >> frame;
        if (frame.empty()) break;
        // 创建FrameInfo结构体，用于缓存检测和识别等结果
        FrameInfo frameInfo;
        // 进行1:N人脸搜索
        faceReg->detectSearch(frame, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);
        // 可视化人脸识别结果
        dl::vision::FaceRecognizer::visualizeResult("Recognizer", frame, &frameInfo, 30);
    }
    cap.release();
    delete faceReg;
    faceReg = nullptr;
}

/***
 * 1:N人脸搜索,测试摄像头
 */
void test_search_face_camera() {
    //摄像头ID号(请修改成自己摄像头ID号)
    string video_file = 0;
    //初始化人脸识别
    FaceRecognizer *faceReg = new FaceRecognizer(det_tnnmodel,
                                                 det_tnnproto,
                                                 rec_tnnmodel,
                                                 rec_tnnproto,
                                                 database,
                                                 embeddingSize,
                                                 alignment,
                                                 num_thread,
                                                 GPU);
    cv::VideoCapture cap;
    bool ret = get_video_capture(video_file, cap);
    cv::Mat frame;
    while (ret) {
        cap >> frame;
        if (frame.empty()) break;
        // 创建FrameInfo结构体，用于缓存检测和识别等结果
        FrameInfo frameInfo;
        // 进行1:N人脸搜索
        faceReg->detectSearch(frame, &frameInfo, -1, det_conf_thresh, det_iou_thresh, rec_conf_thresh);
        // 可视化人脸识别结果
        dl::vision::FaceRecognizer::visualizeResult("Recognizer", frame, &frameInfo, 30);
    }
    cap.release();
    delete faceReg;
    faceReg = nullptr;

}


int main() {
    /***测试1:N人脸搜索，需要注册人脸，生成人脸数据库(test_register.cpp)***/
    test_search_face_image();  //1:N人脸搜索,测试图片文件
    test_search_face_video();  //1:N人脸搜索,测试视频文件
    test_search_face_camera();  //1:N人脸搜索,测试摄像头
    return 0;
}

（7）配置文件config

项目配置文件src/config.h，用于设置人脸检测模型，特征提取模型，可以根据自己的需要选择

  • C++版本的人脸检测模型,目前仅支持RFB人脸检测和关键点检测
  • 人脸识别(特征提取)模型，目前支持resnet50,resnet18和mobilenet_v2模型

人脸识别特征提取模型，提供resnet50,resnet18和mobilenet_v2 ，其测试准确率，参考如下:

模型LFWCFP_FFCFP_FPAgeDBCALFWCPLFW
resnet5099.7899.6998.1497.5395.8792.45
resnet1899.5599.6197.7496.5294.6690.01
mobilenet_v299.2399.2790.7493.2293.5788.69

resnet50和resnet18参数量比较大，计算量较大，适合在PC服务器部署 ；而mobilenet_v2

模型计算量较小，适合嵌入式，开发板，Android等终端部署。

//
// Created by dm on 2018/5/12.
//

#ifndef DETECTOR_CONFIG_H
#define DETECTOR_CONFIG_H

#include <string>
#include <vector>
#include "Interpreter.h"

static int num_thread = 1;                                 // 开启线程数(CPU)
static DeviceType device = GPU;                            // 使用GPU运行，支持CPU和GPU(OpenCL)
//static DeviceType device = CPU;                          // 还有CPU运行，支持CPU和GPU(OpenCL)
static float det_conf_thresh = 0.5;                        // 人脸检测置信度阈值，小于该阈值的检测框会被剔除
static float det_iou_thresh = 0.3;                         // 人脸检测IOU阈值
static float rec_conf_thresh = 0.5;                        // 人脸识别阈值，小于该阈值的人脸识别结果为unknown，表示未知
static int embeddingSize = 512;                            // 特征维度
static bool alignment = true;                              // 是否进行人脸校准
static string portrait = "../data/database/portrait";      // 人脸数据库图像路径,用于注册人脸
static string database = "../data/database/feature";       // 人脸数据库特征路径database(注册人脸后生成的特征文件)
static string rec_tnnmodel = "../data/tnn/recognition/mobilenet_v2.sim.tnnmodel";             // 人脸检测模型 *.tnnmodel参数文件路径
static string rec_tnnproto = "../data/tnn/recognition/mobilenet_v2.sim.tnnproto";             // 人脸检测模型 *.tnnproto模型文件路径
//static string rec_tnnmodel = "../data/tnn/recognition/resnet18.sim.tnnmodel";               // 人脸检测模型 *.tnnmodel参数文件路径
//static string rec_tnnproto = "../data/tnn/recognition/resnet18.sim.tnnproto";               // 人脸检测模型 *.tnnproto模型文件路径
//static string rec_tnnmodel = "../data/tnn/recognition/resnet50.sim.tnnmodel";               // 人脸检测模型 *.tnnmodel参数文件路径
//static string rec_tnnproto = "../data/tnn/recognition/resnet50.sim.tnnproto";               // 人脸检测模型 *.tnnproto模型文件路径
static string det_tnnmodel = "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnmodel";// 人脸特征提取模型 *.tnnmodel参数文件路径
static string det_tnnproto = "../data/tnn/face_ldmks/rfb_landm_face_320_320_sim.opt.tnnproto";// 人脸特征提取模型 *.tnnproto模型文件路径
#endif //DETECTOR_CONFIG_H

（8）人脸识别优化建议

  1. 人脸识别依赖人脸检测，一个高精度的人脸检测模型算法，可以有效提高人脸识别的准确率
  2. 人脸校准算法可以矫正人脸倾斜等问题，可以极大提高人脸识别效果；需要依赖人脸关键点检测(Landmark)，本项目使用的RFB模型预测人脸关键点
  3. 人脸识别中，待识别人脸图片，如果存在低头侧脸，或者人脸存在遮挡等情况，人脸识别准确率较低(可能被识别为unknown)，实际使用过程中，需要用户配合，正对着摄像头，以提高人脸识别准确率的效果。
  4. 1:N人脸搜索中，要求注册底库的人脸数据库是高质量的个人照片；建议每人需要提供一张高清的、不模糊的、少美颜的，五官清晰可见的，正脸的，不低头不侧脸的个人自拍照(生活照、证件照)，以便可以生成高质量的人脸特征
  5. 1:N人脸搜索中，当N属于百万级别以上海量人脸数据时，人脸识别会比较慢，毕竟需要遍历人脸进行特征匹配，性能较差；解决方法是可以采用人脸特征聚类，分而治之的思路；目前已有很多开源框架，感兴趣的可以参考Faiss 、milvus等库。
  6. 目前，项目暂不支持人脸真伪鉴别(活体识别)，后续计划开发基于RGB的活体识别功能，敬请期待哈

4. 人脸识别C/C++ Demo效果

下图是C/C++版本的人脸识别Demo效果，图中绘制了绿色框，框上面文本是人脸识别结果和匹配相似度(置信度)；当置信度小于rec_thresh=0.5时，人脸识别结果为unknown，表示未知。由于C++版本的opencv不支持显示中文，绘图时用姓名拼音首字母代替，如刘亦菲，简称LYF；Python版本可正常显示中文字符

C/C++版本人脸识别效果Python版本人脸识别效果

5. 人脸识别Python版本源码下载

参考文章 《人脸识别2：InsightFace实现人脸识别Face Recognition(含源码下载)》https://blog.csdn.net/guyuealian/article/details/130600472

C/C++版本人脸识别效果Python版本人脸识别效果

6. 人脸识别Android版本源码下载

参考文章 《人脸检测和人脸识别4：Android实现人脸检测和人脸识别》https://blog.csdn.net/guyuealian/article/details/130600600

  

7. 人脸识别Python版本源码下载

C/C++ InsightFace实现人脸识别Face Recognition项目含源码下载地址：

项目源码包含内容：人脸识别3：C/C++ InsightFace实现人脸识别Face Recognition(含源码)

  1. 提供轻量化的、快速的RFB人脸检测模型，该模型可实现人脸检测，并同时预测人脸的五个关键点(Landmark)。
  2. 提供三个人脸识别特征提取模型：mobilenet_v2，IR-18(resnet18优化版)以及IR-50(resnet50优化版)，用于人脸特征提取
  3. 提供1:1人脸比对：test_compare_face.cpp，可用于人证比对等场景
  4. 提供人脸注册功能：test_register.cpp，项目自带人脸识别测试数据，可用于验证人脸识别效果
  5. 提供1:N人脸搜索：test_search_face.cpp，可用于人脸签到、人脸门禁、人员信息查询、安防监控等应用场景
  6. 项目1:N人脸搜索：test_search_face.cpp，支持图片，视频和摄像头测试

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/585379.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【C++】手把手教你模拟实现string类

【C++】手把手教你模拟实现string类

模拟实现string 前言类的成员变量构造函数析构函数size和length[ ] 重载迭代器赋值运算符重载和拷贝构造函数拷贝构造函数赋值运算符重载现代式写法 reserve 和 resizereserveresize 字符串追加push_backappend insertpos位置插字符pos位置插字符串 erase>> 和 <<&…
阅读更多...
Linux---用户权限（权限位、chowd、chown）

Linux---用户权限（权限位、chowd、chown）

1. 权限位 序号1&#xff0c;表示文件、文件夹的权限控制信息 序号2&#xff0c;表示文件、文件夹所属用户 序号3&#xff0c;表示文件、文件夹所属用户组 权限细节总共分为10个槽位&#xff1a; 举例&#xff1a;drwxr-xr-x&#xff0c;表示&#xff1a; 这是一个文件夹&…
阅读更多...
如何使用Metasploit进行后渗透攻击？

如何使用Metasploit进行后渗透攻击？

后渗透攻击&#xff08;PostExploitation&#xff09;是整个渗透测试过程中最能够体现渗透测试团队创造力与技术能力的环节。前面的环节可以说都是在按部就班地完成非常普遍的目标&#xff0c;而在这个环节中&#xff0c;需要渗透测试团队根据目标组织的业务经营模式、保护资产…
阅读更多...
关于PyQt5的环境搭建

关于PyQt5的环境搭建

目录 一、需要的环境 二、安装python 1、python安装链接 三、安装PyQt5 1、使用豆瓣的镜像 2、配置环境变量 四、安装pycharm 1、pycharm官网链接 五、配置环境 1、找到设置 2、添加designer 3、配置ui 4、配置rc 六、注意问题 一、需要的环境 1、安装好python安装…
阅读更多...
【Linux CAN应用编程（1）】初识CAN总线（附全文代码）

【Linux CAN应用编程（1）】初识CAN总线（附全文代码）

接下来我们学习 CAN 应用编程&#xff0c;CAN 是目前应用非常广泛的现场总线之一&#xff0c;主要应用于汽车电子和工业领域&#xff0c;尤其是汽车领域&#xff0c;汽车上大量的传感器与模块都是通过 CAN 总线连接起来的。CAN 总线目前是自动化领域发展的热点技术之一&#xf…
阅读更多...
1、Vue简介与环境搭建

1、Vue简介与环境搭建

目录 一、Vue简介二、Vue开发环境1 - 环境安装2 - 新建Vue项目3 - VS Code4 - Vue项目的目录结构 一、Vue简介 官方文档&#xff1a;https://cn.vuejs.orgVue的api风格&#xff1a;选项式 API&#xff08;Vue 2&#xff09; 和组合式 API&#xff08;Vue 3&#xff09;**选项式…
阅读更多...
怎么把pdf转成word？转换途径一览

怎么把pdf转成word？转换途径一览

在日常生活和工作中&#xff0c;我们常常需要处理各种文档格式。其中&#xff0c;PDF 作为一种流行的跨平台文件格式&#xff0c;广泛应用于技术文档、报告、合同和电子书等领域。但是&#xff0c;当我们需要修改 PDF 文件内容时&#xff0c;却往往会遇到困难。这时&#xff0c…
阅读更多...
JavaScript引擎，V8引擎的原理

JavaScript引擎，V8引擎的原理

为什么需要JavaScript引擎&#xff1f; 高级的编程语言都是需要转成最终的机器指令来执行 我们所编写的js无论h是交给浏览器或者node执行&#xff0c;最后都是需要被CPU执行的 CPU只认识自己的指令集&#xff08;机器语言&#xff09;才能被CPU所执行 所以我们需要js引擎帮助我…
阅读更多...
掌握了它，软件测试拿下25K轻轻松松！

掌握了它，软件测试拿下25K轻轻松松！

了解软件测试这行的人都清楚&#xff0c;功能测试的天花板可能也就15k左右&#xff0c;而自动化的起点就在15k左右&#xff0c;当然两个岗位需要掌握的技能肯定是不一样的。 如果刚入门学习完软件测试&#xff0c;那么基本薪资会在7-8k左右&#xff0c;这个薪资不太高主要是因…
阅读更多...
JQuery - JavaScript 的框架 - 语法简化版本

JQuery - JavaScript 的框架 - 语法简化版本

目录 js文件与 script 标签的位置问题总结&#xff1a; 有的时候是很坑&#xff0c;看了挺多资料&#xff0c;有时候乱糟糟的&#xff0c;都不说清楚&#xff0c;这是JavaScript的语法&#xff0c;还是 JQuery的语法&#xff0c;所以就会因为没有导入 JQuery的js文件&#xff0…
阅读更多...
「功能测试进阶到自动化测试」一路走来都离不每个阶段的计划

「功能测试进阶到自动化测试」一路走来都离不每个阶段的计划

关于「从功能测试&#xff0c;转岗到自动化测试」&#xff0c;主要的几个问题 &#xff1a; 001 目前一直在走功能测试&#xff0c;工作中也没有机会接触自动化测试 。想后续从事自动化测试&#xff0c;我应该从哪里开始学 &#xff1f; 解答&#xff1a;自动化 &#xff0c…
阅读更多...
【六】设计模式~~~结构型模式~~~适配器模式（Java）

【六】设计模式~~~结构型模式~~~适配器模式（Java）

【学习难度&#xff1a;★★☆☆☆&#xff0c;使用频率&#xff1a;★★★★☆】 1.1. 模式动机 在软件开发中采用类似于电源适配器的设计和编码技巧被称为适配器模式。通常情况下&#xff0c;客户端可以通过目标类的接口访问它所提供的服务。有时&#xff0c;现有的类可以满…
阅读更多...
全渠道电子商务指南

全渠道电子商务指南

希望将全渠道电子商务纳入您的业务战略&#xff0c;但不确定从哪里开始。这篇博文将指导您了解全渠道商务的基础知识&#xff0c;以及它与多渠道方法的区别。 全渠道电子商务旨在为线上和线下多个平台的客户创造全面的购物体验。客户可以通过各种接触点&#xff08;例如网站、…
阅读更多...
网络安全-02-BurpSuite工具安装

网络安全-02-BurpSuite工具安装

网络安全-02-BurpSuite工具安装 &#x1f53b;一、BurpSuite简介&下载&#x1f4d7; 二、Windows安装Jdk&#x1f4f0; 2.1 下载Jdk并安装&#x1f4f0; 2.2 设置Jdk环境变量&#x1f4dc; 2.2.1 设置JAVA_HOME&#x1f4dc; 2.2.2 设置path&#x1f4dc; 2.2.3 Jdk验证 &a…
阅读更多...
数据库基础——8.单行函数

数据库基础——8.单行函数

这篇文章我们来讲一下数据库里面的单行函数 目录 1. 函数的理解 1.1 什么是函数 1.2 不同DBMS函数的差异 1.3 MySQL的内置函数及分类 2. 数值函数 2.1 基本函数 2.2 角度与弧度互换函数 2.3 三角函数 2.4 指数与对数 2.5 进制间的转换 3. 字符串函数 4. 日期和…
阅读更多...
PyCharm配置Opencv

PyCharm配置Opencv

具体方案&#xff1a; Plan A&#xff1a;可以直接在pycharm中配置&#xff08;如果有梯子可以试试&#xff0c;没有可能下载不了&#xff09; 参考视频&#xff1a;直接在Pycharm中配置即可 两分钟用Pycharm安装并配置OpenCV_哔哩哔哩_bilibili PlanB&#xff1a;通过终端安…
阅读更多...
dolphinscheduler3.1.7windows部署启动说明

dolphinscheduler3.1.7windows部署启动说明

简介 Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度平台&#xff0c;致力于“解决大数据任务之间错综复杂的依赖关系&#xff0c;整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来&#xff0c;可实时监控任务的运行状态&#xff0c;同时…
阅读更多...
01Redis单线程 VS 多线程

01Redis单线程 VS 多线程

不同版本&#xff0c;情况不同 Redis的版本很多3.x、4.x、6.x&#xff0c;版本不同架构也是不同的&#xff0c;不限定版本问是否单线程也不太严谨。 版本3.x &#xff0c;最早版本&#xff0c;也就是大家口口相传的redis是单线程 数据结构简单避免锁的开销和上下文切换可以有…
阅读更多...
YOLOv7 tiny 新增小目标检测层

YOLOv7 tiny 新增小目标检测层

YOLOv7 tiny 新增小目标检测层 YOLOv7 tiny 新增小目标检测层修改yolov7-tiny.yaml文件YOLOv7 tiny 结构图调用 models/yolo.py验证 YOLOv7 tiny 新增小目标检测层 根据已有的结构进行新增小目标层&#xff0c;&#xff0c;个人理解&#xff0c;仅供参考&#xff01;&#xff…
阅读更多...
GPT模型应用及遥感云大数据在灾害、水体与湿地领域典型案例展示

GPT模型应用及遥感云大数据在灾害、水体与湿地领域典型案例展示

GPT GPT的全称&#xff0c;是Generative Pre-Trained Transformer&#xff08;生成式预训练Transformer模型&#xff09;是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。 GPT与专注于下围棋或机器翻译等某一个具体任务的“小模型”不同&#xff0c;AI大模型…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023