从规范到实现解读Windows平台如何播放RTSP流

news2024/9/23 1:47:09

RTSP播放器应用场景

RTSP播放器在视频监控、远程视频会议、网络电视、实时流媒体传输、协同操控相关的智能设备、教育培训以及企业内部通讯与协作等多个领域都有着广泛的应用场景。

1. 视频监控

RTSP直播播放器在视频监控系统中扮演着重要角色。通过RTSP协议，播放器可以实时接收来自监控摄像头的视频流，并进行解码和播放。这使得监控人员能够实时查看监控画面，及时发现异常情况并进行处理。RTSP协议的高实时性和灵活性，使得它在视频监控领域得到了广泛应用。

2. 远程视频会议

在远程视频会议中，RTSP直播播放器也发挥着重要作用。通过RTSP协议，参与者可以实时传输和接收音视频数据，实现远程的面对面交流。RTSP协议支持多种传输协议和编解码器，能够确保音视频数据的流畅传输和高质量播放，满足远程视频会议的需求。

3. 网络电视

随着网络技术的发展，网络电视已经成为人们观看电视节目的一种重要方式。RTSP直播播放器在网络电视领域也有着广泛的应用。通过RTSP协议，播放器可以接收来自网络电视服务器的直播流，并进行解码和播放。用户可以在家中通过电视或电脑等设备观看各种电视节目，享受便捷的观看体验。

4. 实时流媒体传输

除了上述应用场景外，RTSP直播播放器还广泛应用于实时流媒体传输场景。例如，在在线直播、视频点播等应用中，RTSP播放器可以实时接收来自流媒体服务器的音视频数据，并进行解码和播放。这使得用户能够随时随地观看各种直播和点播内容，享受丰富的娱乐体验。

5. 协同操控相关的智能设备

RTSP直播播放器还可以应用于协同操控相关的智能设备场景。例如，在智能机器人或无人机等设备的远程操控中，RTSP播放器可以实时接收来自设备的视频流，并将控制指令发送给设备。这使得操控人员能够实时了解设备的工作状态，并进行精准的操控。

6. 教育培训

在教育培训领域，RTSP直播播放器可以用于搭建在线教育平台或企业内训系统。通过实时传输和播放音视频数据，学员可以远程参与课程学习，与讲师进行互动交流。这种方式不仅提高了学习的便捷性，还降低了培训成本。

7. 企业内部通讯与协作

在企业内部通讯与协作中，RTSP直播播放器可以用于搭建视频会议系统或内部直播系统。通过实时传输和播放音视频数据，员工可以远程参与会议讨论或观看内部直播内容。这种方式提高了企业的沟通效率和协作能力。

规范回顾

好多开发者希望了解下RTSP播放器相关的技术实现，却又有很多人，止步于RTSP的繁琐复杂，本文我们先从RTSP规范层面，对协议栈有个粗浅的解读，然后配合RTSP播放器功能和接口设计，普及下RTSP播放器的实现逻辑。

废话不多说，先看规范，RTSP（Real Time Streaming Protocol）是一种网络控制协议，用于控制流媒体服务器上的媒体流传输。它定义了如何在网络上有效地传送流媒体数据，包括音频、视频和数据等。RTSP本身并不传输数据，而是命令流媒体服务器使用RTP（Real-time Transport Protocol）或RTSP本身的其他协议来传输数据。

RTSP的主要特点包括：

  1. 控制流与数据流的分离：RTSP允许客户端和服务器之间的控制流（如播放、暂停、停止等命令）与数据流（实际的音频、视频数据）分开传输。这使得控制流可以在低带宽下工作，而数据流则可以在高带宽下传输，提高了整体效率。

  2. 可扩展性：RTSP是一个可扩展的协议，支持多种传输、会话控制、媒体类型等。它可以通过定义新的方法和头字段来扩展现有功能。

  3. 基于文本的协议：RTSP的消息（请求和响应）都是基于文本的，这使得调试和日志记录变得相对容易。

  4. 实时性：虽然RTSP本身不传输数据，但它通过控制RTP等协议来确保流媒体数据的实时传输。这使得RTSP成为实时视频和音频流传输的理想选择。

RTSP的工作流程通常包括以下几个步骤：

  1. 建立连接：客户端通过发送DESCRIBE请求到服务器，以获取媒体描述（通常是SDP文件）。这个描述包含了媒体流的类型、编解码器信息、网络地址等。

  2. 设置参数：客户端可以根据媒体描述设置播放参数，如选择特定的媒体流、设置传输模式等。这通常通过发送SETUP请求来实现。

  3. 开始播放：一旦设置了必要的参数，客户端就可以通过发送PLAY请求来启动媒体流的传输。服务器将开始通过RTP等协议发送媒体数据到客户端。

  4. 控制播放：在播放过程中，客户端可以发送各种控制命令，如PAUSE、RESUME、TEARDOWN等，来暂停、恢复或停止媒体流的传输。

  5. 结束会话：当客户端完成媒体流的播放后，它应该发送TEARDOWN请求来关闭会话，并释放服务器资源。

需要注意的是，RTSP主要关注于流媒体的控制层面，而实际的媒体数据传输则依赖于其他协议（如RTP）。因此，在实现RTSP播放器时，通常需要与RTP等协议配合使用。

在Android平台上，开发者如果是学习的角度，可以使用Android原生的MediaPlayer类来播放RTSP流，也可以利用一些开源库来简化开发过程。这些库通常封装了底层的网络通信和媒体解码过程，使得开发者可以更容易地实现RTSP播放器的功能，如果是商业级的产品，要么用第三方成熟的RTSP播放方案，要么提升自己的音视频实战和代码能力，自己能手撕开源播放器。

RTSP播放器实现

本文以大牛直播SDK的Windows平台RTSP播放器为例，介绍下相关的技术实现。SmartPlayer，行业内一致认可的跨平台RTSP直播播放器SDK，功能齐全、高稳定、超低延迟，超低资源占用，适用于安防、教育、单兵指挥等行业。

RTSP播放器设计要点

1. 低延迟：大多数RTSP的播放都面向直播场景，所以，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTSP播放器非常重要的指标，目前大牛直播SDK的RTSP直播播放延迟比开源播放器更优异，而且长时间运行下，不会造成延迟累积；

2. 音视频同步处理：有些播放器为了追求低延迟，甚至不做音视频同步，拿到audio video直接播放，导致a/v不同步，还有就是时间戳乱跳等各种问题，大牛直播SDK提供的播放器，具备好的时间戳同步和异常时间戳矫正机制；

3. 支持多实例：大牛直播SDK提供的播放器支持同时播放多路音视频数据，比如4-8-9窗口，大多开源播放器对多实例支持不太友好；

4. 支持buffer time设置：在一些有网络抖动的场景，播放器需要支持buffer time设置，一般来说，以毫秒计，开源播放器对此支持不够友好；

5. TCP/UDP模式设定、自动切换：考虑到好多服务器仅支持TCP或UDP模式，一个好的RTSP播放器需要支持TCP/UDP模式设置，如链接不支持TCP或UDP，大牛直播SDK可自动切换，，开源播放器不具备自动切换TCP/UDP能力；

6. 实时静音：比如，多窗口播放RTSP流，如果每个audio都播放出来，体验非常不好，所以实时静音功能非常必要，开源播放器不具备实时静音功能；

7. 视频view旋转：好多摄像头由于安装限制，导致图像倒置，所以一个好的RTSP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转，开源播放器不具备此功能；

8. 支持解码后audio/video数据输出：大牛直播SDK接触到好多开发者，希望能在播放的同时，获取到YUV或RGB数据，进行人脸匹配等算法分析，开源播放器不具备此功能；

9. 实时快照：感兴趣或重要的画面，实时截取下来非常必要，一般播放器不具备快照能力，开源播放器不具备此功能；

10. 网络抖动处理(如断网重连)：稳定的网络处理机制、支持如断网重连等，开源播放器对网络异常处理支持较差；

11. 长期运行稳定性：不同于市面上的开源播放器，大牛直播SDK提供的Windows平台RTSP直播播放SDK适用于数天长时间运行，开源播放器对长时间运行稳定性支持较差；

12. log信息记录：整体流程机制记录到LOG文件，确保出问题时，有据可依，开源播放器几无log记录。

13. 实时下载速度反馈：大牛直播SDK提供音视频流实时下载回调，并可设置回调时间间隔，确保实时下载速度反馈，以此来监听网络状态，开源播放器不具备此能力；

14. 异常状态处理、Event状态回调：如播放的过程中，断网、网络抖动、等各种场景，大牛直播SDK提供的播放器可实时回调相关状态，确保上层模块感知处理，开源播放器对此支持不好；

15. 关键帧/全帧播放实时切换：特别是播放多路画面的时候，如果路数过多，全部解码、绘制，系统资源占用会加大，如果能灵活的处理，可以随时只播放关键帧，全帧播放切换，对系统性能要求大幅降低。

功能设计

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP直播播放器SDK；
  •  [多实例播放]支持多实例播放；
  •  [事件回调]支持网络状态、buffer状态等回调；
  •  [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
  •  [音频格式]支持AAC/PCMA/PCMU；
  •  [H.264/H.265软解码]支持H.264/H.265软解；
  •  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  •  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置；
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
  •  [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
  •  [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
  •  [缓冲时间设置]支持buffer time设置；
  •  [首屏秒开]支持首屏秒开模式；
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配；
  •  [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  •  [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
  •  [实时静音]支持播放过程中，实时静音/取消静音；
  •  [实时音量调节]支持播放过程中实时调节音量；
  •  [实时快照]支持播放过程中截取当前播放画面；
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  •  [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  •  [渲染镜像]支持水平反转、垂直反转模式设置；
  •  [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  •  [解码前视频数据回调]支持H.264/H.265数据回调；
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
  •  [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  •  [扩展录像功能]完美支持和录像SDK组合使用。

本文大牛直播SDK的Windows RTSP播放器C#的接口调用示例，解读下一个好的RTSP播放器，需要做怎样的功能实现和接口设计。

设置日志存放路径

一个好的RTSP播放器，需要能对播放关键日志进行收集，方便后续产品上线后问题跟踪。设置log路径，需要在player_api_.Init之前添加下面的代码：

// 设置日志路径(请确保目录存在)
String log_path = "D:\\playerlog";
NTSmartLog.NT_SL_SetPath(log_path);

如目录存在，并具备文件写入权限，关闭应用程序后，相关文件夹下会有smart_sdk.log生成。

初始化SDK

NT_SP_Init：SDK初始化，多实例播放，此接口仅需调用一次即可。

特定机型硬解码检测

如系统用于特定机型环境下，特别是多路播放场景，需用到硬解码的话，可以用以下两组接口检测系统是否支持硬解。

注：在软解性能满足系统需求的前提下，一般建议优先使用软解。

/*
 * smart_player_sdk.cs
 * Author: daniusdk.com
 * WeChat: xinsheng120
 */
/*
 * 检查是否支持H264硬解码
 * 如果支持的话返回NT_ERC_OK
 */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportH264HardwareDecoder();

/*
  * 检查是否支持H265硬解码
  * 如果支持的话返回NT_ERC_OK
  */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportH265HardwareDecoder();

如需使用硬解码，调用如下接口即可：

NTSmartPlayerSDK.NT_SP_SetH264HardwareDecoder(player_handle_, is_support_h264_hardware_decoder_ ? 1 : 0, 0);
NTSmartPlayerSDK.NT_SP_SetH265HardwareDecoder(player_handle_, is_support_h265_hardware_decoder_ ? 1 : 0, 0);

Open生成播放实例

NT_SP_Open：每调用一次Open接口，对应一个播放实例，如需播放多实例，对应多个player handler。

if (player_handle_ == IntPtr.Zero)
{
    player_handle_ = new IntPtr();

    UInt32 ret_open = NTSmartPlayerSDK.NT_SP_Open(out player_handle_, IntPtr.Zero, 0, IntPtr.Zero);

    if (ret_open != 0)
    {
        player_handle_ = IntPtr.Zero;
        MessageBox.Show("调用NT_SP_Open失败..");
        return;
    }
}

设置回调事件

  1. NT_SP_SetEventCallBack：用于回调网络链接状态、buffer状态(开始、buffer比例、结束)、实时带宽等，对应EventID如下：
/*事件ID*/
public enum NT_SP_E_EVENT_ID : uint
{
        NT_SP_E_EVENT_ID_BASE = NTBaseCodeDefine.NT_EVENT_ID_SMART_PLAYER_SDK,

        NT_SP_E_EVENT_ID_CONNECTING          = NT_SP_E_EVENT_ID_BASE | 0x2, /*连接中*/
        NT_SP_E_EVENT_ID_CONNECTION_FAILED = NT_SP_E_EVENT_ID_BASE | 0x3, /*连接失败*/
        NT_SP_E_EVENT_ID_CONNECTED       = NT_SP_E_EVENT_ID_BASE | 0x4, /*已连接*/
        NT_SP_E_EVENT_ID_DISCONNECTED     = NT_SP_E_EVENT_ID_BASE | 0x5, /*断开连接*/
        NT_SP_E_EVENT_ID_NO_MEDIADATA_RECEIVED = NT_SP_E_EVENT_ID_BASE | 0x8,  /*收不到RTMP数据*/
        NT_SP_E_EVENT_ID_RTSP_STATUS_CODE   = NT_SP_E_EVENT_ID_BASE | 0xB,  /*rtsp status code上报, 目前只上报401, param1表示status code*/

        /* 接下来请从0x81开始*/
        NT_SP_E_EVENT_ID_START_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x81, /*开始缓冲*/
        NT_SP_E_EVENT_ID_BUFFERING     = NT_SP_E_EVENT_ID_BASE | 0x82, /*缓冲中, param1 表示百分比进度*/
        NT_SP_E_EVENT_ID_STOP_BUFFERING  = NT_SP_E_EVENT_ID_BASE | 0x83, /*停止缓冲*/

        NT_SP_E_EVENT_ID_DOWNLOAD_SPEED  = NT_SP_E_EVENT_ID_BASE | 0x91, /*下载速度， param1表示下载速度，单位是(Byte/s)*/

        NT_SP_E_EVENT_ID_PLAYBACK_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa1,     /*播放结束, 直播流没有这个事件，点播流才有*/
        NT_SP_E_EVENT_ID_RECORDER_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa2,     /*录像结束, 直播流没有这个事件, 点播流才有*/
        NT_SP_E_EVENT_ID_PULLSTREAM_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa3,   /*拉流结束, 直播流没有这个事件，点播流才有*/

        NT_SP_E_EVENT_ID_DURATION = NT_SP_E_EVENT_ID_BASE | 0xa8, /*视频时长，如果是直播，则不上报，如果是点播的话, 若能从视频源获取视频时长的话，则上报， param1表示视频时长，单位是毫秒(ms)*/
}
  1. NT_SP_SetVideoSizeCallBack：设置视频分辨率回调，如流数据携带视频数据，SDK会回上来视频宽高信息：
//video resolution callback
video_size_call_back_ = new SP_SDKVideoSizeCallBack(SP_SDKVideoSizeHandle);
NTSmartPlayerSDK.NT_SP_SetVideoSizeCallBack(player_handle_, IntPtr.Zero, video_size_call_back_);

注意：视频宽高回上来或绘制窗口发生变化时，记得调用NT_SP_OnWindowSize()更新，如不调用可能会引起视频模糊。

private void PlaybackWindowResized(Int32 width,Int32 height)
{
    width_=width;
    height_=height;

    int left=playWnd.Left;
    int top=playWnd.Top;

    textBox_resolution.Text=width+"*"+height;

    if(player_handle_==IntPtr.Zero)
    {
       return;
    }

    NTSmartPlayerSDK.NT_SP_OnWindowSize(player_handle_,playWnd.Width,playWnd.Height);
}
  1. NT_SP_SetVideoFrameCallBack：设置YUV/RGB32数据回调，可用于对接第三方视频分析，或自行绘制等，如系统不支持D3D绘制，可设置回调数据，上层GDI模式绘制：
/*定义视频帧图像格式*/
public enum NT_SP_E_VIDEO_FRAME_FORMAT : uint
{
      NT_SP_E_VIDEO_FRAME_FORMAT_RGB32 = 1, // 32位的rgb格式, r, g, b各占8, 另外一个字节保留, 内存字节格式为: bb gg rr xx, 主要是和windows位图匹配, 在小端模式下，按DWORD类型操作，最高位是xx, 依次是rr, gg, bb
      NT_SP_E_VIDEO_FRAME_FORMAT_ARGB = 2, // 32位的argb格式，内存字节格式是: bb gg rr aa 这种类型，和windows位图匹配
      NT_SP_E_VIDEO_FRAME_FROMAT_I420 = 3, // YUV420格式, 三个分量保存在三个面上
}
  1. NT_SP_SetVideoFrameCallBackV2：设置YUV/RGB32数据回调，与NT_SP_SetVideoFrameCallBack接口的不同在于，吐出来的视频数据, 可以指定宽高；
  2. NT_SP_SetRenderVideoFrameTimestampCallBack：设置绘制视频帧时，视频帧时间戳回调，一般播放器无时间戳回调需求的话，无需设置：
//video timestamp callback
video_frame_ts_callback_ = new SP_SDKRenderVideoFrameTimestampCallBack(SP_SDKRenderVideoFrameTimestampCallBack);
NTSmartPlayerSDK.NT_SP_SetRenderVideoFrameTimestampCallBack(player_handle_, IntPtr.Zero, video_frame_ts_callback_);
  1. NT_SP_SetAudioPCMFrameCallBack：设置音频PCM帧回调, 吐PCM数据出来，目前每帧大小是10ms，一般播放器无使用需求的话，无需设置；
  1. NT_SP_SetUserDataCallBack：设置用户数据回调，此接口需要和推送端SDK配套使用，用于返回推送端设定的实时用户数据（如时间戳、经纬度等各种扩展指令或信息），如只是单纯使用播放SDK，无需设置；
  1. NT_SP_SetSEIDataCallBack：设置视频SEI数据回调，如只是单纯使用播放SDK，不需要额外处理扩展SEI数据的话，无需设置。

D3DRender检测

目前，几乎很少存在不支持D3D绘制的情况，考虑到系统通用性，我们在播放之前，先做检测，具体调用接口如下：

/*
 * handle: 播放句柄
 * hwnd: 这个要传入真正用来绘制的窗口句柄
 * is_support: 如果支持的话 *is_support 为1， 不支持的话为0
 * 接口调用成功返回NT_ERC_OK
 */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportD3DRender(IntPtr handle, IntPtr hwnd, ref Int32 is_support);

对于不支持D3D绘制的情况下，设置回调YUV数据，上层直接用GDI模式绘制，注意：GDI绘制效率偏低。

Int32 in_support_d3d_render = 0;

if (NT.NTBaseCodeDefine.NT_ERC_OK == NTSmartPlayerSDK.NT_SP_IsSupportD3DRender(player_handle_, playWnd.Handle, ref in_support_d3d_render))
{
    if (1 == in_support_d3d_render)
    {
        is_support_d3d_render = true;
    }
}

if (is_support_d3d_render)
{
    is_gdi_render_ = false;

    // 支持d3d绘制的话，就用D3D绘制
    NTSmartPlayerSDK.NT_SP_SetRenderWindow(player_handle_, playWnd.Handle);

    if (btn_check_render_scale_mode.Checked)
    {
        NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 1);
    }
    else
    {
        NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 0);
    }
}
else
{
    is_gdi_render_ = true;
    playWnd.Visible = false;

    // 不支持D3D就让播放器吐出数据来，用GDI绘制

    //video frame callback (YUV/RGB)
    //format请参见 NT_SP_E_VIDEO_FRAME_FORMAT，如需回调YUV，请设置为 NT_SP_E_VIDEO_FRAME_FROMAT_I420
    video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);
NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);
}

设置播放URL

NT_SP_SetURL：支持rtsp/rtmp/本地FLV文件(全路径)。

设置回调PCM

NT_SP_SetIsOutputAudioDevice：设置是否播放出声音，这个和静音接口是有区别的，这个接口的主要目的是为了用户设置了外部PCM回调接口后，又不想让SDK播放出声音时使用。

RTMP/RTSP播放参数设置

具体可参照Demo源码里面InitCommonSDKParam()：

播放前可选设置接口

  1. NT_SP_SetBuffer：设置视频播放缓冲buffer大小，单位：毫秒；
  2. NT_SP_SetRTSPTcpMode：设置RTSP TCP 模式, 1为TCP, 0为UDP, 此接口仅RTSP有效；
  3. NT_SP_SetRtspTimeout：设置RTSP超时时间, timeout单位为秒，必须大于0；
  4. NT_SP_SetRtspAutoSwitchTcpUdp：对于RTSP来说，有些可能支持rtp over udp方式，有些可能支持使用rtp over tcp方式. 为了方便使用，有些场景下可以开启自动尝试切换开关, 打开后如果udp无法播放，sdk会自动尝试tcp, 如果tcp方式播放不了,sdk会自动尝试udp， is_auto_switch_tcp_udp： 如果设置1的话, sdk将在tcp和udp之间尝试切换播放，如果设置为0，则不尝试切换；
  5. NT_SP_SetFastStartup：设置秒开, 1为秒开, 0为不秒开，此接口用于如RTMP服务器缓存GOP时，酌情使用；
  6. NT_SP_SetLowLatencyMode：设置低延时播放模式，默认是正常播放模式，mode: 1为低延时模式， 0为正常模式，低延迟模式下，可能会导致音视频不同步，或视频帧不均匀；
  7. NT_SP_SetReportDownloadSpeed：设置下载速度上报, 默认不上报下载速度；

* is_report: 上报开关, 1: 表上报. 0: 表示不上报. 其他值无效.

* report_interval： 上报时间间隔（上报频率），单位是秒，最小值是1秒1次. 如果小于1且设置了上报，将调用失败

* 注意：如果设置上报的话，请设置SetEventCallBack, 然后在回调函数里面处理这个事件.

* 上报事件是：NT_SP_E_EVENT_ID_DOWNLOAD_SPEED

  1. NT_SP_GetDownloadSpeed：主动获取下载速度，speed： 返回下载速度，单位是Byte/s；
  2. NT_SP_SetParam：万能接口, 设置参数， 大多数问题， 这些接口都能解决；
  3. NT_SP_GetParam：万能接口, 得到参数， 大多数问题，这些接口都能解决；

播放前后可实时调用的接口

  1. NT_SP_SetMute：播放过程中，实时静音、取消静音，可播放之前调用，亦或播放过程中实时调用；
  2. NT_SP_SetAudioVolume：不同于实时静音接口，此接口可以更细粒度的控制音量，默认范围[0,100]，其中0是静音，100是最大音量, 默认是100；
  3. NT_SP_SetOnlyDecodeVideoKeyFrame：多窗口播放场景下，部分窗口可能只需要播放关键帧，如有类似场景需求，可用此接口；
  4. NT_SP_SetRotation：设置视频View旋转，顺时针旋转，degress： 设置0， 90， 180， 270度有效，其他值无效，注意：除了0度，其他角度播放会耗费更多CPU；
  5. NT_SP_SetFlipVertical：设置视频View上下反转(垂直反转)；
  6. NT_SP_SetFlipHorizontal：设置视频View水平反转；
  7. NT_SP_SetRenderScaleMode:设置视频画面的填充模式，如填充整个绘制窗口、等比例填充绘制窗口，如不设置，默认填充整个绘制窗口；

开始播放

NT_SP_StartPlay

开始播放RTMP或RTSP流数据。

RTMP/RTSP拉流端录像

  1. NT_SP_SetRecorderDirectory：设置录像目录
  2. NT_SP_SetRecorderFileMaxSize：设置单个文件最大大小
  3. NT_SP_SetRecorderFileNameRuler：设置录像文件名生成规则
  4. NT_SP_SetRecorderCallBack：设置录像回调接口
  5. NT_SP_SetRecorderAudioTranscodeAAC：设置录像时音频转AAC编码的开关, aac比较通用，sdk增加其他音频编码(比如speex, pcmu, pcma等)转aac的功能
  6. NT_SP_SetRecorderVideo：设置是否录视频，默认的话，如果视频源有视频就录，没有就没得录, 但有些场景下可能不想录制视频，只想录音频，所以增加个开关
  7. NT_SP_SetRecorderAudio：设置是否录音频，默认的话，如果视频源有音频就录，没有就没得录, 但有些场景下可能不想录制音频，只想录视频，所以增加个开关
  8. NT_SP_StartRecorder：启动录像
  9. NT_SP_StopRecorder：停止录像

实时快照

NT_SP_CaptureImage

用于播放端实时截取当前播放图片，图片以PNG形式保存至本地。

String name = capture_image_path_ + "\\" +  DateTime.Now.ToString("hh-mm-ss") + ".png";

byte[] buffer1 = Encoding.Default.GetBytes(name);
byte[] buffer2 = Encoding.Convert(Encoding.Default, Encoding.UTF8, buffer1, 0, buffer1.Length);

byte[] buffer3 = new byte[buffer2.Length + 1];
buffer3[buffer2.Length] = 0;

Array.Copy(buffer2, buffer3, buffer2.Length);

IntPtr file_name_ptr = Marshal.AllocHGlobal(buffer3.Length);
Marshal.Copy(buffer3, 0, file_name_ptr, buffer3.Length);

capture_image_call_back_ = new SP_SDKCaptureImageCallBack(SDKCaptureImageCallBack);

UInt32 ret = NTSmartPlayerSDK.NT_SP_CaptureImage(player_handle_, file_name_ptr, IntPtr.Zero, capture_image_call_back_);

Marshal.FreeHGlobal(file_name_ptr);

if (NT.NTBaseCodeDefine.NT_ERC_OK == ret)
{
    // 发送截图请求成功
}
else if ((UInt32)NT.NTSmartPlayerDefine.SP_E_ERROR_CODE.NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS == ret)
{
    // 通知用户延时
    MessageBox.Show("Too many capture image requests!");
}
else
{
    // 其他失败
}

快速切换URL

NT_SP_SwitchURL

快速切换URL，用于不用析构整个player实例的前提下，实时切换播放的URL。

用户数据回调

NT_SP_SetUserDataCallBack

设置用户数据回调，用于接收扩展SEI模块发送的用户数据信息，如不是配合我们扩展SEI发送DK，此接口无需调用。

SEI数据回调

NT_SP_SetSEIDataCallBack

设置视频sei数据回调，用于接收SEI数据回调，如流数据不存在SEI或不准备处理SEI数据，此接口无需调用。

停止播放

NT_SP_StopPlay

停止播放RTMP或RTSP流数据。

关闭播放实例

NT_SP_Close

调用Close接口后，player handler置空。

if ( player_handle_ != IntPtr.Zero)
{
     NTSmartPlayerSDK.NT_SP_Close(player_handle_);
     player_handle_ = IntPtr.Zero;
}

Uninit

NT_SP_UnInit

UnInit() 是SDK最后一个调用的接口，多实例环境下，只需要调用一次即可。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2156309.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Java—SPI 机制详解

Java—SPI 机制详解

参考文章 Java常用机制 - SPI机制详解 | Java 全栈知识体系包含: Java 基础, Java 部分源码, JVM, Spring, Spring Boot, Spring Cloud, 数据库原理, MySQL, ElasticSearch, MongoDB, Docker, k8s, CI&CD, Linux, DevOps, 分布式, 中间件, 开发工具, Git, IDE, 源码阅读&a…
阅读更多...
安全带检测系统源码分享

安全带检测系统源码分享

安全带检测检测系统源码分享 [一条龙教学YOLOV8标注好的数据集一键训练_70全套改进创新点发刊_Web前端展示] 1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 项目来源AACV Association for the Advancement of Computer Visio…
阅读更多...
OpenCV基础入门30讲（Python）——第三讲 图像对象的创建与赋值

OpenCV基础入门30讲（Python）——第三讲 图像对象的创建与赋值

在OpenCV里，对图像的操作是最为基本的。接下来我们看一下图像对象的创建与赋值。 注：前文介绍过的代码和操作不再重复。 代码 在 main 文件中，先导入新的模块 # 导入 numpy 模块，重命名为 np import numpy as np 再写进以下代…
阅读更多...
一条龙小程序开发教程

一条龙小程序开发教程

初次上手 微信小程序已经成为国内前端的一个重要业务，跟 Web 和手机 App 有着同等的重要性。小程序开发者供不应求，市场招聘需求极其旺盛，企业都抢着要。 尽管如此，小程序的教程却很缺，要么是不够系统，要么…
阅读更多...
Python 从入门到实战24（类的继承）

Python 从入门到实战24（类的继承）

我们的目标是：通过这一套资料学习下来，通过熟练掌握python基础，然后结合经典实例、实践相结合，使我们完全掌握python，并做到独立完成项目开发的能力。 上篇文章我们讨论了类的定义、使用方法、property的相关知识。今…
阅读更多...
PHP API 框架：构建高效API的利器

PHP API 框架：构建高效API的利器

在当今快速发展的互联网时代，API（应用程序编程接口）已成为连接不同应用程序和服务的关键。PHP，作为一种流行的服务器端脚本语言，提供了多种强大的框架来简化API的开发。本文将介绍PHP API框架的重要性，以及…
阅读更多...
嵌入式系统基础讲解

嵌入式系统基础讲解

​ 大家好，我是程序员小羊！ 前言： 嵌入式系统是计算机科学与电子工程的交叉领域，广泛应用于消费电子、工业控制、汽车、医疗设备等多个行业。嵌入式系统设计涉及硬件和软件的协同开发，要求开发者掌握多方面的基础知识。…
阅读更多...
Tomcat系列漏洞复现

Tomcat系列漏洞复现

CVE-2017-12615——Tomcat put⽅法任意⽂件写⼊漏洞 漏洞描述 当 Tomcat运⾏在Windows操作系统时，且启⽤了HTTP PUT请求⽅法（例如，将 readonly初始化参数由默认值设置为false），攻击者将有可能可通过精⼼构造的攻击请求…
阅读更多...
mybatis 配置文件完成增删改查(四) ：多条件 动态sql查询

mybatis 配置文件完成增删改查(四) ：多条件 动态sql查询

文章目录 就是你在接收数据时，有的查询条件不写，也能从查到相应的stauts也可能为空恒等式标签 代替where关键字 就是你在接收数据时，有的查询条件不写，也能从查到相应的 注意是写字段名 还是 属性名 companyName不写也能查出满足…
阅读更多...
K8s容器运行时，移除Dockershim后存在哪些疑惑？

K8s容器运行时，移除Dockershim后存在哪些疑惑？

K8s容器运行时，移除Dockershim后存在哪些疑惑？ 大家好，我是秋意零。 K8s版本截止目前（24/09）已经发布到了1.31.x版本。早在K8s版本从1.24.x起（22/05），默认的容器运行时就不再是Doc…
阅读更多...
车载测试项目实操学习：CAN通信测试、UDS诊断测试、自动化测试、功能安全测试、CAN一致性测试、HIL测试：9-20

车载测试项目实操学习：CAN通信测试、UDS诊断测试、自动化测试、功能安全测试、CAN一致性测试、HIL测试：9-20

FOTA模块中OTA的知识点：1.测试过程中发现哪几类问题？ 可能就是一个单键的ecu，比如升了一个门的ecu，他的升了之后就关不上，还有就是升级组合ecu的时候，c屏上不显示进度条。 2.在做ota测试的过程中&#xff…
阅读更多...
【d46】【Java】【力扣】876.链表的中间结点

【d46】【Java】【力扣】876.链表的中间结点

思路 先获得总体长度， 再得到中间节点 的索引，，这里的索引是从1开始的索引，而不是从0开始的索引(这种理解方式更简单) 排错：另一个思路：将链表都放进list，获得中间的数字，然后遍历…
阅读更多...
AIGC8: 高通骁龙AIPC开发者大会记录B

AIGC8: 高通骁龙AIPC开发者大会记录B

图中是一个小男孩在市场卖他的作品。 AI应用开发出来之后，无论是个人开发者还是企业开发者。 如何推广分发是面临的大问题。 做出来的东西一定要符合商业规律。否则就是实验室里面的玩物，或者自嗨的东西。 背景 上次是回顾和思考前面两个硬件营销总的…
阅读更多...
【PSINS工具箱】159联邦滤波器|优化后的MATLAB代码

【PSINS工具箱】159联邦滤波器|优化后的MATLAB代码

文章目录 程序说明概述主要功能代码结构关键函数 运行结果与解析程序代码 程序说明 概述 该程序实现了一个联邦滤波器的仿真，结合了惯性导航系统（SINS）、全球导航卫星系统（GNSS）和中央导航系统（CNS&#…
阅读更多...
Gin框架入门(2)--异常捕获与日志实现

Gin框架入门(2)--异常捕获与日志实现

异常捕获 Go语言的异常捕获采用的是延迟处理的方法实现的，实际上就是利用defer，panic和recover三个关键字和函数来实现的。 关键字 defer关键字(函数) 这个关键字在控制语句中就有所涉及，本质上是采用一个栈的存储结构，在整个…
阅读更多...
ffmpeg面向对象——参数配置机制探索及其设计模式

ffmpeg面向对象——参数配置机制探索及其设计模式

目录概览 0.参数配置对象流程图0.1 用到的设计模式0.2 与朴素思想的对比 1.参数传递部分1.1 AVDictionary字典容器类1.1.1 类定义及类图1.1.2 构造函数1.1.3 析构函数1.1.4 设置/读取等配置参数 1.2 参数配置实例 2.参数配置生效部分2.1 参数过滤模块2.1.1 AVOption类2.1.1.1 类…
阅读更多...
2024-09-18 实操层面理解进程

2024-09-18 实操层面理解进程

一、进程初探 # ps ajx | head -1PPID PID PGID SID TTY TPGID STAT UID TIME COMMANDroothcss-ecs:~# ps ajx | head -1; ps ajx | grep procPPID PID PGID SID TTY TPGID STAT UID TIME COMMAND24696 24707 24707 24679 …
阅读更多...
串的存储实现方法（与链表相关）

串的存储实现方法（与链表相关）

一、 定义 字符串是由零个（空串）或多个字符组成的有限序列。 eg:S"Hello World!" 串相等：两个串长度相等并且对应位置的字符都相等时，两个串才相等。 二、串的存储实现 2.1 定长顺序串 2.2 堆串 和定长顺序串的…
阅读更多...
【速成Redis】01 Redis简介及windows上如何安装redis

【速成Redis】01 Redis简介及windows上如何安装redis

前言： 适用于：需要快速掌握redis技能的人（比如我），在b站，找了个课看。 01.课程简介_哔哩哔哩_bilibili01.课程简介是【GeekHour】一小时Redis教程的第1集视频，该合集共计19集，视频…
阅读更多...
乐橙云平台接入SVMSPro平台

乐橙云平台接入SVMSPro平台

乐橙云平台接入SVMSPro平台 步骤一：进入乐橙开放平台：https://open.imoulife.com/ ，点右上角的登陆，填写自己的用户名密码，进入控制台； 步骤二：登陆进去后，我的应用—>应用信息&a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023