socket实现视频通话-WebRTC

最近喜欢研究视频流，所以思考了双向通信socket，接下来我们就一起来看看本地如何实现双向视频通讯的功能吧~

客户端获取视频流

首先思考如何获取视频流呢？

其实跟录音的功能差不多，都是查询电脑上是否有媒体设备，如果有录音和录像的设备，首先就需要授权，然后将视频流通过socket传输给服务端。

获取媒体设备

const stream = await navigator.mediaDevices.getUserMedia({
  audio: true,
  video: true
})

因为是打视频的功能，那A客户端本身也希望看到A的摄像头，所以我们直接将其赋值给一个video标签，就能看到图像了.

<p>这是A页面</p>

<div class="local-stream-page">
  <video autoplay controls muted id="elA"></video>
  <button onclick="onStart()">打视频给B页面</button>
</div>

<script>

  try {
    const stream = await navigator.mediaDevices.getUserMedia({
      audio: true,
      video: true
    })
    if (videoElA) {
      videoElA.srcObject = stream // 在 video 标签上播放媒体流
    }
    peerInit(stream) // 初始化连接
  } catch (error) {
    console.log('error：', error)
  }

</script>

然后就是重要部分了，我们需要用到WebRTC的API

RTCPeerConnection

RTCPeerConnection是WebRTC API中的一个对象，用于建立和管理两个或多个用户之间的实时通信。它允许通过互联网进行音频和视频通话，以及共享数据流。

RTCPeerConnection对象提供了一系列的方法和事件，用于配置、管理和控制媒体流的传输。它支持使用不同的技术，如ICE（Interactive Connectivity Establishment）和STUN（Session Traversal Utilities for NAT）来解决网络地址转换（NAT）问题，以便在防火墙后面的不同设备之间建立连接。

使用RTCPeerConnection对象，您可以创建媒体流并将其发送到其他设备，也可以接收来自其他设备的媒体流。它还支持使用SDP（Session Description Protocol）描述媒体会话的配置，以及通过ICE和STUN协议协商和转发媒体数据包的路由。

const peerInit = stream => {
  // 1. 创建连接实例
  peerA = new RTCPeerConnection()
  // 2. 添加视频流轨道
  stream.getTracks().forEach(track => {
    peerA.addTrack(track, stream)
  })


  // peerA 端
  peerA.onicecandidate = event => {
    if (event.candidate) {
      socketA.send(JSON.stringify({ type: 'candid', data: event.candidate })) // socketA发送数据
    }
  }
  // 检测连接状态
  peerA.onconnectionstatechange = event => {
    if (peerA.connectionState === 'connected') {
      console.log('对等连接成功！')
    }
  }

  // 互换sdp认证
  transSDP()
}

到这里我们发送数据部分就是这样子啦，但是还不行，因为两者通视频，还需要SDP认证，什么是SDP认证呢？

SDP（Session Description Protocol）认证是指通过在SDP协议中添加特定的信息来验证身份或其他属性的方法。SDP协议是一种用于描述多媒体会话的信息协议，它包含了音频、视频等媒体的编码格式、分辨率、网络地址等信息，用于在通话双方之间建立和维护媒体连接。

在SDP认证中，通过在SDP协议中添加特定的信息，如用户名、会议ID等，双方可以互相验证身份。此外，还可以通过在SDP协议中包含数字签名或加密信息等技术来增强认证的安全性。

SDP认证通常用于多媒体通信、视频会议等应用场景中，以确保通信的安全性和可信度。在SDP认证中，需要使用相应的协议或算法来验证SDP信息的来源和完整性，以确认身份或其他属性的合法性。

互换SDP认证

// peerA 端
const transSDP = async () => {
 
  let offer = await peerA.createOffer()
  // 向 peerB 传输 offer
  socketA.send(JSON.stringify({ type: 'offer', data: offer }))
  // 接收 peerB 传来的 answer
  socketA.onmessage = async evt => {
    
    let reader = new FileReader()
    reader.readAsText(evt.data, 'utf-8')
    reader.onload = async function() {
      let { type, data } = JSON.parse(reader.result)
      console.log(JSON.parse(reader.result), 111)
      if (type == 'answer') {
        await peerA.setLocalDescription(offer)
        await peerA.setRemoteDescription(data)
      }
    }
    
  }
}

这就是A客户端的全部代码啦~

放心,全部代码文章末尾会给到.

node服务端socket传输

接下来我们来看看服务端是如何处理的.对了,这里必须说一下,两个socket之间的通信,必须要靠服务端管理,所以这就是为什么一定要学node的原因😂

const WebSocket = require('ws');

// 创建一个 WebSocket 服务器，监听 8080 端口
const wss = new WebSocket.Server({ port: 8000 });

// 当有客户端连接时，创建一个 WebSocket 并将其添加到客户端列表中
wss.on('connection', function connection(ws) {
  console.log('Client connected');

  // 当客户端发送消息时，将消息发送给所有客户端
  ws.on('message', function incoming(message) {
    console.log('Received message:', message.toString('utf8')); // 接受的对象，客户端发送的是字符串,Buffer

    // 将消息发送给所有客户端
    wss.clients.forEach(function each(client) {
      if (client !== ws && client.readyState === WebSocket.OPEN) {
        client.send(message); // 客户端接受的是blob格式数据
      }
    });
  });

  // 当客户端断开连接时，将其从客户端列表中删除
  ws.on('close', function close() {
    console.log('Client disconnected');
  });
});

服务端用到了ws依赖, 如何区分两个不同的socket客户端, 特别是在同一个服务器下,同一个端口,不同的页面下,我发现必须要给两个socket一个唯一的标识才能做到,所以这期就先出功能,后面再继续补一下ws的源码学习.

不过这里要区分清楚,这是将当前的client客户端发送给处理自己以外的,其他所以socket客户端,发送消息这里,就是一对多的关系哦.

客户端接受视频流

服务端处理完了,就进行下一个客户端如何接受视频流

刚刚的sdp认证,肯定不止止A页面的事情,都说了是认证,那肯定通信双方需要知晓.

这里有一个顺序问题

1.首先是A页面创建offer—createOffer

2.然后是B页面设置远程描述—setRemoteDescription

3.B页面生成发送到A页面的answer—createAnswer

4.B页面设置本地描述—setLocalDescription

5.A页面设置本地描述—setLocalDescription(传参是A页面的offer)

6.A页面设备远程描述–setRemoteDescription(传参是B页面的answer)

只要这上面6步都正常执行,B页面才能接收到A页面的视频流和音频流

const transSDP = async () => {
  // 1. 创建 offer
  let offer = await peerA.createOffer()
  await peerB.setRemoteDescription(offer)
  // 2. 创建 answer
  let answer = await peerB.createAnswer()
  await peerB.setLocalDescription(answer)
  // 3. 发送端设置 SDP
  await peerA.setLocalDescription(offer)
  await peerA.setRemoteDescription(answer)
}

加上socket之后就是这样

不过既然是socket了,所以数据上要做转换处理,接收到的是blob数据

// B接收A的消息
// peerB 端，接收 peerA 传来的 offer
socketB.onmessage = evt => {
  // console.log(evt.data)
  handleBlobToText(evt.data)
}

const handleBlobToText = (blob) => {
  let reader = new FileReader()
  reader.readAsText(blob, 'utf-8') // 接收到的是blob数据，先转成文本
  reader.onload = async function() {
    console.log(reader.result)
    let { type, data } = JSON.parse(reader.result) // 文本转对象
    console.log(JSON.parse(reader.result))
    if (type == 'offer') {
      await peerB.setRemoteDescription(data)
      console.log('2.然后是B页面设置远程描述', new Date().getTime())
      let answer = await peerB.createAnswer()
      console.log('3.B页面生成发送到A页面的answer', new Date().getTime())
      await peerB.setLocalDescription(answer)
      console.log('4.B页面设置本地描述', new Date().getTime())
      // 向 peerA 传输 answer
      socketB.send(JSON.stringify({ type: 'answer', data: answer }))
    }
    if (type == 'candid') {
      peerB.addIceCandidate(data)
    }
  }
}

socketB.onerror = function() {
  console.log('WebSocket error. Ready state:', socketB.readyState);
};

根据时间戳,就能发现这六步的顺序.

将接收到的视频流渲染到B页面的video标签中,这就能接受的A页面的视频流了.

const socketB = new WebSocket('ws://localhost:8000');

const peerB = new RTCPeerConnection()
const videoElB = document.getElementById('elB')

// 监听数据传来
peerB.ontrack = async event => {
  const [remoteStream] = event.streams
  videoElB.srcObject = remoteStream
}