opencv+ffmpeg环境（ubuntu）搭建全面详解

一.先讲讲opencv和ffmpeg之间的关系

1.1它们之间的联系

我们知道opencv主要是用来做图像处理的，但也包含视频解码的功能，而在视频解码部分的功能opencv是使用了ffmpeg。所以它们都是可以处理图像和视频的编解码，我个人感觉两个的侧重点不一样。

1.2它们之间的区别

这就要提上面我所说的它们的侧重点是不一样。

OpenCV专注处理图像，以及图像相关的处理应用，不严谨地可以认为是PhotoShop。Opencv主要做一些识别跟踪机器视觉应用。

FFmpeg专注处理视频、音频的编解码、转换等，不严谨地可以认为是格式工厂和PotPlayer的结合体。主要应用是编解码，各种格式转换。

二.opencv和ffmpeg版本匹配

在搭建环境之前，我着重强调下两者版本匹配的问题，因为在我本人搭建环境的时候由于版本不匹配问题踩了太多的坑，怕了。所以一开始把这些干扰因素处理好，后面可以省很多事。

2.1如果版本不匹配可能会出哪些问题呢？

会在编译opencv的时候出现各种识别不到某些定义的错误，导致编译不过。

具体有：

2.1.1问题一

error: ‘CODEC_ID_H264’ was not declared in this scope

{ CODEC_ID_H264, MKTAG('H', '2', '6', '4') }

网友给的就解决方法是，编译的时候不开启ffmpeg的编译：

-D WITH_FFMPEG=OFF

我试过，可以编译通过，但同时也如同自断一臂，给使用ffmpeg功能（视频处理类）带来巨大麻烦，或者干脆是用不了。因此我认为，最好的办法还是，版本匹配，完美编译，完美使用，这才用的安心，根本之道。

2.1.2问题二

error: 'CODEC_FLAG_GLOBAL_HEADER' was not declared in this scope

这种解决办法是，补充添加未定义的宏，这个如果你了解不深刻里面的原理机制，一般人想不到，也只有是大佬才能理解并找到的方法。

总之基本上出问题的都是ffmpeg和opencv版本匹配问题，为啥我们不一开始就做好呢，是吧。

2.2如何知道ffmpeg和opencv的匹配的版本

为了解决这个问题，本人也是走了一大圈，才整清楚，可能最终说起来也就几句话的事，但过程是非常曲折的，不过正是经历了这种过程，才更加深刻吧，也同时也锻炼了下自己的耐心，加强了一点专研的精神，也不错哈！下面进入主题！

根据网友提供的方法进入opencv源码目录

按理说这里面应该会有一个叫ffmpeg_version.cmake的文件，里面会列出opencv相对应的ffmpeg版本号，类似下图：

那些带数字的就是某个版本的ffmpeg下，各个组件对应的版本，我们到ffmpeg官网去FFmpeg下载对应的版本源码即可。

上图只是为了说明问题，并没有去专门匹配版本号哈。

现在问题是，我的文件下没有ffmpeg_version.cmake啊，当时也是一脸懵。没办法，我就打开ffmpeg.cmake看看，是否能发现什么线索。

看到里面的内容，有几条线索，图片上已经标注出来了，这里总结下：

1.可以看到opencv需要的ffmpeg版本号对应的tag标签，以及commit id号；

2.ffmpeg.cmake其实是从上述网址***raw.git***上下载下来的；

为什么我的电脑上没有下载下来，一波查询，发现是访问不了该网址，网友也支招，在host文件加入ip什么的。我的办法是用github.com替代，其实是一样的。

进入另外的链接：

GitHub - opencv/opencv_3rdparty: OpenCV - 3rdparty

点击进去

你会发现opencv的commit id也匹配上了。

这样就找到了。关于版本匹配就讲这么多，当了解了整个过程是不是简单许多了，但如果不是自己一步一步摸索出来的，你是体会不到那种，遇到问题的焦躁以及解决完问题豁然开朗的感觉。

接下来就是分别下载ffmpeg和opencv的源码了，ffmpeg官网链接上面提供了，Releases - OpenCV是opencv的源码下载链接，自己选好版本，切记它们之间的版本匹配，要不我上面唠叨那么多是为了啥，然后编译安装，咱们继续往下走。

三.ffmpeg的安装流程

安装流程

这里建议先安装ffpmeg再安装opencv，因为安装opencv会用到ffmpeg。

先解压ffmpeg源码，然后进入到源码目录，输入如下指令：

这里说下，输入指令前先对支持库的安装

sudo apt-get install -y autoconf automake build-essential git libass-dev libfreetype6-dev libsdl2-dev libtheora-dev libtool libva-dev libvdpau-dev libvorbis-dev libxcb1-dev libxcb-shm0-dev libxcb-xfixes0-dev pkg-config texinfo wget zlib1g-dev

再是参数配置指令输入

./configure --disable-x86asm --enable-shared --prefix=/usr/local/ffmpeg

参数含义是把ffmpeg安装到/usr/local/ffmpeg目录下，完了之后再输入

make
中间编译的时间会有点长，依电脑的性能而定
sudo make install

所有走完之后，会在/usr/local目录下看到ffmpeg文件夹，如下：

ffmpeg的工具和动态库都在里面了，为了编译时能找到ffmpeg的动态库，还要做如下处理：

创建文件ffmpeg.conf
sudo vi /etc/ld.so.conf.d/ffmpeg.conf
输入如下内容(ffmpeg动态库的路径)
/usr/local/ffmpeg/lib
最后使能生效
sudo ldconfig

看到下面内容说明安装成功

可以测试使用ffplayg工具播放一段视频

/usr/local/ffmpeg/bin/ffplay   **/**/***.mp4 (视频文件目录)

当然我们可以将ffmpeg的bin添加到全局变量，这样可以随时调用，不用加上绝对地址，编辑 profile 文件(sudo vi /etc/profile)在文件末尾添加：

export FFMPEG_HOME=/usr/local/ffmpeg 
export PATH=$FFMPEG_HOME/bin:$PATH

ffmpeg的安装到此结束，接下来是opencv的安装，继续往下走！

四.opencv的安装流程

安装流程

同样，将opencv的压缩包解压，进入源码目录，创建一个pc_build（如果以后要使用交叉编译，就换一个arm_build,扯远了）文件夹：

这里我是使用cmake图形化编译的，先安装一个cmake工具：

sudo apt-get install cmake cmake-qt-gui cmake-curses-gui

然后在pc_build目录下执行

cmake-gui

出现界面

这里仅演示ubuntu环境，不说交叉编译的

点击finish，然后再点击configure，配置一些参数，如下图

出现下图框出的版本信息，说明识别到了ffmpeg，如果没识别到怎么办呢？留个悬念后面讲。

最后点击generate。

小提示：

cmake过程中如果遇到卡住的情况，缺少文件需要下载，却一直下载不下来的情况

如：opencv源码安装文件下载问题：ippicv_2017u3_lnx, face_landmark_model.dat, tiny-dnn

配置：打开${opencv_folder}/3rdparty/ippicv/ippicv.cmake，
第47行  "https://raw.githubusercontent.com/opencv/opencv_3rdparty/${IPPICV_COMMIT}/ippicv/"，
改成："file://${path}"，比如我的就是"file:///home/downloads/"

下载地址：https://github.com/opencv/opencv_3rdparty/tree/ippicv/

按照自己缺少的版本下载，下载慢的话可以把链接拷贝到迅雷里面下载。

开始编译

回到命令界面，先不要急着输入 make。首先在源码目录 3rdparty/protobuf/src/google/protobuf/stubs/common.cc 这个文件下第 33 行添加#define HAVE_PTHREAD 宏定义才可以编译的过。具体原因是 HAVE_PTHREAD 宏定义了 pthread 库。

cd ..
// 返回 opencv 源码顶层目录
vi 3rdparty/protobuf/src/google/protobuf/stubs/common.cc

再进入pc_build目录输入指令

make -j 16
漫长的等待编译编译完之后，安装
sudo make install

所有成功之后会在/usr/local目录下生成相应的文件

里面包含头文件和动态库

同样为了找到opencv的动态库做如下处理

创建文件opencv.conf
sudo vi /etc/ld.so.conf.d/opencv.conf
输入如下内容(ffmpeg动态库的路径)
/usr/local/lib
最后使能生效
sudo ldconfig

到此opencv编译安装完成！

前面挖的坑

前面提到一个坑，是在cmake的时候没有出现ffmpeg的版本怎么办，我的做法是先编译，不管，编译通过之后，将ffmpeg的pkgconfig里面的所有pc文件复到/usr/local/lib/pkgconfig里面，这文件里面是opencv的pc文件。

sudo cp /usr/local/ffmpeg/lib/pkgconfig/*.pc   /usr/local/lib/pkgconfig

然后按上面的操作在重新编译一次opencv，是不是有点崩溃，没办法。

当然我也想了一些操作，有网友说安装完ffmpeg后做如下操作，再去编译opencv

sudo vi /etc/profile
添加
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/ffmpeg/lib/pkgconfig
让环境变量生效
source /etc/profile

我这么处理了，貌似没用，也不知道怎么回事，有知道的网友，还请麻烦留言告知下。

到这里ffmpeg和opencv都安装好了，是不是按捺不住内心的激动，跃跃欲试。接下来走几个小栗子，磨磨刀，哈哈哈。

五.实践操作

是骡子是马拉出来溜溜，前面做了这么多就是为了学习和实践操作，接下来就写几个小程序跑一跑功能。

5.1显示一张图片

#include "opencv2/objdetect.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include <iostream>

using namespace std;
using namespace cv;

int main(int argc,char** argv)
{
    Mat image = imread("11.png", 1 );//加载
    cv::namedWindow("picture",CV_WINDOW_AUTOSIZE);
    cv::imshow("picture", image);//显示图片
    waitKey(5000);//等待
    return 0;
}

5.2播放一段视频

#include<opencv2/opencv.hpp>
using namespace cv;

int main()
{
	//从摄像头读取视频
	VideoCapture capture("video.mp4");
	//循环显示每一帧
	while (1)
	{
		Mat frame;//定义一个Mat变量，用于存储每一帧的图像
		capture >> frame;//读取当前帧
		imshow("读取视频帧", frame);//显示当前帧
		waitKey(30);//延时30ms
	}

	system("pause");
	return 0;
}

5.3使用笔记本内置的摄像头，拍摄一段视频并保存

#include "opencv2/objdetect.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include <iostream>

using namespace std;
using namespace cv;

int main(int argc,char** argv)
{
//打开电脑摄像头
    VideoCapture capture(0);
      if(!capture.isOpened()){
          cout<<"error"<<endl;
          waitKey(0);
          return 0;
      }
      //获得分辨率
      int w = static_cast<int>(capture.get(CV_CAP_PROP_FRAME_WIDTH));
      int h = static_cast<int>(capture.get(CV_CAP_PROP_FRAME_HEIGHT));
      cout<<"w="<<w<<endl;
      cout<<"h="<<h<<endl;
    
      Size videoSize(w,h);
      VideoWriter writer;
      writer.open("video.mp4",CV_FOURCC('M','J','P','G'),25,videoSize);
      if(!writer.isOpened()){
          cout<<"fail"<<endl;
          return -1;
      }
    
      Mat frame;
      int key;
      char startorstop=1;
      char flag=0;
      while(1){
        capture >> frame;
        if(key == 32){//按下空格开始录制、暂停录制   可以来回切换
            startorstop = 1-startorstop;
            if(startorstop == 0){
                flag = 1;
            }
        }
        if(key == 27){//按下ESC退出整个程序，保存视频文件到磁盘
            cout << "exit" << endl;
            break;
        }
        if(startorstop == 0 && flag == 1){
            writer << frame;
            cout << "recording" << endl;
        }else if(startorstop == 1){
            flag = 0;
            cout << "end recording" << endl;
        }
        imshow("picture",frame);
        key=waitKey(100);
        cout<<"key="<<key<<endl;
      }
      capture.release();
      writer.release();
      destroyAllWindows();
      return 0;
}

编译脚本

g++ test.cpp -o test -L/usr/local/lib -lopencv_core -lopencv_highgui -lopencv_imgproc -lopencv_videoio -lopencv_imgcodecs

好了，到这里就告一段落了，一路走下来感觉要踩的坑我绝大部分都踩了一遍，不容易啊！所以后面的路，尽情发挥你的创造力吧！

如存在有误之处，还请广大网友指正！