记一次gstreamer解码存图绿线问题排查

news2024/11/18 7:44:16

背景

业务需求需要将某些解码后的视频帧保存为图片，大部分情况下图片都是正常的，更换了某些视频流后，在保存的图片顶部就会出现一条绿线，现记录下解决过程。
在这里插入图片描述

部分代码如下

解码回调如下，完整代码可参考之前的文章Gstreamer 硬解码Rtsp流及代码实现：

最终排查结果是：

有些相机本身推的视频帧的大小与gstreame解码出来的 width 和 height不匹配导致的。如：gstreamer实际解出来的width = 1920, height = 1080, 但实际上一帧的数据是：1920 * 1088，多出来了8个字节。如果用获取到的width 和 height去计算拷贝帧的大小，在相机推送不标准的情况下就会出现该问题。
在这里插入图片描述

采用opencv保存图片，先将YUV转成NV12，再调用cv::imwrite() 。以19201080为例：
修复前,使用解码得到的width 和 height计算帧大小：预期帧大小为：19201080*3 / 2 = 3,110,400

{
	......
	cv::Mat img;
	// 创建并初始化原始YUV Mat对象
	yuvNV12.create(height * 3 / 2, width, CV_8UC1);
	memcpy(yuvNV12.data, map.data, width * height * 3 / 2);
	
	// yuv to img Mat
	cv::cvtColor(yuvNV12, img, cv::COLOR_YUV2BGR_NV12);
	......
}

实际帧大小 map.size = 3,133,440：

{
	......
	cv::Mat img;
	// 创建并初始化原始YUV Mat对象
	yuvNV12.create((map.size / width), width, CV_8UC1);
	memcpy(yuvNV12.data, map.data, map.size);
	// yuv to img Mat
	cv::cvtColor(yuvNV12, img, cv::COLOR_YUV2BGR_NV12);
            
}

GstFlowReturn ReadvideoFrame_callback(GstElement *sink, gpointer user_data)
{
    CustomData *data = (CustomData *)user_data;

    char video_format[32] = {0};
    int framerate[2] = {0};
    unsigned long long ts = 0;
    GstSample *sample;
    GstBuffer *buffer;
    GstCaps *caps;
    GstStructure *s;
    gint width, height; // 图片的尺寸

    // 使用pull-sample拉取视频帧，并映射到map变量，通过map拷贝出frame数据
    g_signal_emit_by_name(sink, "pull-sample", &sample);
    // g_print("new_sample succeeded (type '%d').\n", sample);

    if (sample)
    {
        caps = gst_sample_get_caps(sample);
        if (!caps)
        {
            g_print("gst_sample_get_caps fail\n");
            gst_sample_unref(sample);
            return GST_FLOW_ERROR;
        }
        s = gst_caps_get_structure(caps, 0);
        gboolean res;
        res = gst_structure_get_int(s, "width", &width); // 获取图片的宽
        // g_print("width: %d,  ", width);
        res |= gst_structure_get_int(s, "height", &height); // 获取图片的高
        // g_print("height: %d \n", height);
        if (!res)
        {
            g_print("gst_structure_get_int fail\n");
            gst_sample_unref(sample);
            return GST_FLOW_ERROR;
        }

        const char *format = gst_structure_get_string(s, "format");
        strcpy(video_format, format);
        gst_structure_get_fraction(s, "framerate", &framerate[0], &framerate[1]);

        // 获取视频的一帧buffer,注意，这个buffer是无法直接用的，它不是char类型
        buffer = gst_sample_get_buffer(sample);
        if (!buffer)
        {
            g_print("gst_sample_get_buffer fail\n");
            gst_sample_unref(sample);
            return GST_FLOW_ERROR;
        }

        GstMapInfo map;
        // 把buffer映射到map，这样我们就可以通过map.data取到buffer的数据
        auto rett = gst_buffer_map(buffer, &map, GST_MAP_READ);
        if (rett)
        {
            cv::Mat yuvNV12;
            cv::Mat img;
            // 创建并初始化原始YUV Mat对象
            // 有问题代码如下：
            // yuvNV12.create(height * 3 / 2, width, CV_8UC1);
            // memcpy(yuvNV12.data, map.data, width * height * 3 / 2);

            //修复如下：
            yuvNV12.create((map.size / width), width, CV_8UC1);
            memcpy(yuvNV12.data, map.data, map.size);
            // yuv to img Mat
            cv::cvtColor(yuvNV12, img, cv::COLOR_YUV2BGR_NV12);

            gst_buffer_unmap(buffer, &map); // 解除映射
        }
        else
        {
            g_print("gst_buffer_map failed!, %d\n", rett);
        }

        // release sample reference
        gst_sample_unref(sample);
    }
    else
    {
        g_print("sample is null...\n");
    }

    return GST_FLOW_OK;
}