WebRTC客户端主要流程分析

news2025/1/10 1:40:32

1.通信过程

因为WebRTC规范里没有包含信令协议,所以像OWT、mediasoup等支持WebRTC的开源项目,其通信两端建立连接的过程中的信令逻辑各不相同。但是,总体上来说,其通信过程必然会包括以下过程。

  1. 发起端创建本地的PeerConnection,并且创建Offer。

  2. 发起端通过信令服务器将Offer发送给应答端。

  3. 应答端创建本地的PeerConnection,把发起端的Offer设置到PeerConnection中,并且获取到Answer。

  4. 应答端通过信令服务器将Answer发送给发起端。

  5. 发起端把应答段的Answer设置到PeerConnection中。

  6. 两端都收集本地PeerConnection的ICE Candidate,通过信令服务器发送给对方,对方收到ICE Candidate后设置给本地的PeerConnection。

  7. 两端成功建立音视频通道,开始收发音视频数据。

这个过程如果是在局域网中,可以通过某种方式与对端直接建立好信令通道,则可以不需要信令服务器,直接建立P2P的音视频通道。

这个过程中有些概念可以了解一下。

PeerConnection:WebRTC最初设计师用于浏览器的P2P媒体通信,所以其核心接口类就是PeerConnection,简称PC。

Offer、Answer:都属于SDP。SDP是一种描述会话协议,用于描述一次会话的多媒体数据格式等配置信息。通信双方交换SDP就是为了协商一个双方都支持的会话配置。

ICE:一种NAT穿透协议,利用STUN、TURN协议完成工作。ICE会在SDP中增加传输地址信息,然后对其进行连通性测试,测试成功后就可以用于传输媒体数据了。

ICE Candidate:即ICE的传输地址信息,包括host、srflx、relayed和prflx。

文末免费领取

 

2.核心流程

WebRTC支持的客户端系统有iOS、Mac、Android、Windows和Linux。各端的代码各不相同,但是,其核心API的调用过程是类似的。所以,只要把握了总体的调用过程就能顺藤摸瓜的去查看各端的详细代码。这里总结下调用的关键步骤:

全局初始化。

创建PeerConnectionFactory。

通过PeerConnectionFactory接口创建PeerConnection。

创建Capturer。

通过PeerConnectionFactory接口创建Source、Track。

通过PeerConnection接口创建Transceiver。

创建Offer、Answer,设置给PeerConnection,并相互交换。

相互交换ICE Candidate,通过ICE Candidate回调接受对端ICE Candidate,设置给PeerConnection。

P2P连接的状态可以通过监听PeerConnection的状态回调函数(Windows端是OnIceConnectionChange)。

其中,几个重要的WebRTC中的概念可以了解一下:

  1. Capturer:视频数据采集,包括相机、屏幕、视频文件等。

  2. Source:数据源,数据来自Capturer或其他,然后将数据传给Track。

  3. Track:媒体数据交换的载体。

  4. Sink:Track数据的消费者,本地预览和渲染远端视频都是Sink。

  5. Transceiver:负责收发媒体数据。

以视频数据收发为例,发送端的Capturer采集到视频数据,交给Source,再由Source交给本地的Track,然后本地Track中数据分为2路,一路给本地Sink做预览,一路由Transceiver发送给接收端。接收端的Track收到数据后交给接收端的Sink进行渲染。

作者:caesar1228

文末名片可以免费领取音视频开发学习资料,内容包括(C/C++,Linux 服务器开发,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,srs)以及音视频学习路线图等等。

见下方↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/86632.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于微信小程序的校友录系统-计算机毕业设计

项目介绍 本系统采用微信开发者开发、结合后台java语言以及Mysql数据库等技术。系统主要分为管理员和用户、校友三部分,管理员服务端:首页、个人中心、用户管理、校友管理、校友风采管理、校友视频管理、视频分类管理、班级信息管理、留言板管理、论坛交…

虹科方案|适用于VMware vSphere®环境的Mac Pro®和微型服务器存储连接

一、前言 Thunderbolt支持ATTO的VMWare ESXi和ThunderLink产品线,使我们能够创建基于Mac的vSphere设置,从而能够为我们的macOS服务器提供虚拟化服务。将虚拟硬件、快照和Veeam备份与macOS服务器的简单性相结合,将改变SMB市场的游戏规则。 二…

3y开发都不的不写单元测试,然后被被批了

他是3y,一年CRUD经验用十年的markdown程序员👨🏻‍💻常年被誉为职业八股文选手 最近在看单元测试的东西,想跟大家聊聊我的感受。单元测试这块说实在的,我并不太熟悉,我几乎不写单元测试&#x…

基于Sovit3D可视化开发的智慧港口数字孪生系统

港口作为经济的晴雨表,是现代经济的血液,是促进贸易和地区发展的重要基础设施。全球贸易中约90%的贸易由海运业承载,港口是其中重要一环。 建设背景 作为“21世纪海上丝绸之路”的重要节点,港口在“一带一路”建设中有着举足轻重…

nginx下载与安装

文章目录一.下载二.安装1.将压缩包上传到我们的服务器 /opt 目录下2.安装编译文件需要的c3.解压压缩包(首先需要进入 /opt 目录下 即压缩包文件所在目录)4.将解压后的文件夹剪切到指定目录 nginx ,这里我们放在了 /usr/local 目录下5.进入nginx文件目录6…

CentOS 7.9升级内核(kernel-5.4.218)

记录:362 场景:在CentOS 7.9操作系统上,使用ELRepo镜像仓库中kernel包,升级Linux 3.10.0-1160.el7.x86_64内核到kernel-5.4.218。ELRepo项目专注于Linux和CentOS操作系统的硬件相关的软件包。 版本: 操作系统&#…

自动化测试框架如果都总结成这样,人人都能学好

1、自动化测试框架设计的核心,可以概括为解决以下这些问题: 1)测试数据要怎么准备,如何在框架中实现,是否可复用。 2)测试用例的批量导入。 3)用例之间是否存在逻辑关系,相互之间是否有影响,在框架中该如何…

nginx平滑升级(2022.12.13)

相关视频教程: https://www.bilibili.com/video/BV1BK411W7hn 相关文章: https://blog.csdn.net/u012885136/article/details/122054931 nginx平滑升级 1、旧版本的nginx ps -ef | grep nginx2、解压新版本nginx ,进行编译安装 tar -xvf nginx-1.20.…

Spring使用指南 ~ 5、Spring AOP 使用简介

Spring AOP 使用简介 一、通知(Advice) 公共使用类 Agent.java package com.luo.spring.guides.aop.simple.domain;public class Agent {public void speak() {System.out.println("Bond");} }1、前置通知 package com.luo.spring.guides.…

算法拾遗二十二之Dijstra算法优化+认识一些经典的递归过程

Dijstra算法优化 public static class NodeRecord {public Node node;public int distance;public NodeRecord(Node node, int distance) {this.node node;this.distance distance;}}public static class NodeHeap {private Node[] nodes; // 实际的堆结构// key 某一个node&…

VS2019封装C++接口至可执行动态链接库.dll

VS2019封装C接口至可执行动态链接库.dll 本文主要总结如何对已实现的C函数、类进行封装,以便在其他平台或者语言上进行便捷使用或者二次开发! 重点参考: 1.https://blog.csdn.net/hai_fellow_Z/article/details/117290517 2.https://blog.csd…

打工人的发展困境

近期在公司内部QE社区举办了一场研讨会,主题是《QA角色职业发展机遇讨论》。收集到以下观点,觉得挺有意思,又不局限于特定角色,于是用XX代替QA。 无论是在公司内部还是外部,XX都是单独作战居多,从他人身上…

都在说00后是躺平的一代,公司刚来的00后却把我卷哭了

上个月公司来了许多新面孔,其中居然有一个是00年的,虽然也给公司带来了一些新的血液,但也让我意识到,自己年级确实不小了。这小老弟是去年毕业的,在某软件公司干了半年,现在跳槽到我们公司起薪18K&#xff…

通过数据分析提升客流量和销售额

只有把每一位来光临的顾客都当作最后一位顾客,我们才可能真正实现营销和服务管理的精细化,正如只有把自己的每一天都当作生命的最后一天来对待的人才可能真正珍惜时间和生命一样。 如何提高门店的销售额可以说是大部分店长都十分困惑的问题,…

12月13日 OpenCV 实战基础学习笔记——Harris、SIFT

文章目录前言一、Harris 角点检测1、公式推导2、找到 E(u,v)E(u, v)E(u,v) 的最大值二、SIFT1、关键点定位 keypoint localisation2、特征描述 feature description前言 本文为12月13日 OpenCV 实战基础学习笔记,分为两个章节: Harri 角点检测&#xf…

docker安装Gitlab、修改密码、创建组、创建项目、创建用户、Git拉取代码

安装 建议内存大于2G 开放防火墙端口80和配置映射文件夹 firewall-cmd --zonepublic --add-port80/tcp --permanent firewall-cmd --reload mkdir -p /docker_data/gitlab/{data,logs,config}启动Gitlab容器(启动容器之前确保22,80,443端口没…

图解外包验收流程V2.0及详细说明实例

详细说明 01、【开发计划内容】-标准模板{文档} 1.包含二级模块开发计划,标注里程碑验收节点; 2.包含架构设计、数据库设计输出时间; 3.包含接口开发计划及其接口明细; 4.所有节点分配到具体的人和具体的开始结束时间&#xff1…

Python读取Word文档中的Excel嵌入文件

今天群友提出一个问题: 给出Word示例如下: 对于这种嵌入文件在Word中都属于ole文件。 下面我们假设需要读取每个嵌入的Excel文件中的python工作表中的A1单元格。 python调用宏实现 首先我们看看如何调用com接口的宏代码实现这个效果,最终完…

SpringBoot多模块项目初始化搭建

🎶 文章简介:SpringBoot多模块项目初始化搭建 💡 创作目的:详细介绍SpringBoot多模块项目的搭建 ☀️ 今日天气:阳光明媚 📝 每日一言:不求事事圆满,但求事事甘心。 文章目录1、新建…

数据结构与算法——Java实现单链表、双向链表、环型链表、约瑟夫

目录 一、单链表 1.1 单链表基本介绍 1.2 分析与实现带head头结点的单向链表 1.2.1第一种方式: 尾部添加元素示意图 1.2.2 尾部添加元素的代码实现以及遍历链表的实现 1.2.3 第二种方式: 根据排名将节点插入到指定位置的示意图 1.2.4 根据排名将节…