需要源码请点赞关注收藏后评论区留言私信~~~
一、引入WebRTC开源库
WebRTC开源库的集成步骤如下:
(1)给App模块的build.gradle添加WebRTC的依赖库配置;
(2)App得申请录音和相机权限,还得申请互联网权限;
(3)在代码中配置STUN/TURN服务器信息,并将它作为ICE候选者;
Peer对象的功能实现
每台接入WebRTC的设备都拥有自己的Peer对象,通过Peer对象完成点对点连接的相关操作。Peer对象主要实现下列几项功能:
(1)根据连接工厂、媒体流和ICE服务器初始化点对点连接。
(2)实现接口PeerConnection.Observer,主要重写onIceCandidate和onAddStream两个方法,其中前者在收到ICE候选者时回调,后者在添加媒体流时回调。
(3)实现接口SdpObserver,主要重写onCreateSuccess方法,该方法在SDP连接创建成功时回调,此时不但要设置本地连接的会话描述,还要把媒体能力的会话描述送给信令服务器。
二、实现WebRTC的发起方
初始化发起方音视频的媒体流之时,主要完成下列三项任务:
(1)创建并初始化视频捕捉器,以便通过摄像头实时获取视频画面;
(2)创建音视频的媒体流,并给媒体流先后添加音频轨道和视频轨道;
(3)指定视频轨道中我方的渲染图层,也就是关联SurfaceViewRenderer控件;
发起方界面如下
代码如下
package com.example.live;
import androidx.appcompat.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
import android.widget.TextView;
import com.example.live.bean.ContactInfo;
import com.example.live.constant.ChatConst;
import com.example.live.util.SocketUtil;
import com.example.live.webrtc.Peer;
import com.example.live.webrtc.ProxyVideoSink;
import org.json.JSONException;
import org.json.JSONObject;
import org.webrtc.AudioSource;
import org.webrtc.AudioTrack;
import org.webrtc.Camera1Enumerator;
import org.webrtc.Camera2Enumerator;
import org.webrtc.CameraEnumerator;
import org.webrtc.DefaultVideoDecoderFactory;
import org.webrtc.DefaultVideoEncoderFactory;
import org.webrtc.EglBase;
import org.webrtc.IceCandidate;
import org.webrtc.MediaConstraints;
import org.webrtc.MediaStream;
import org.webrtc.PeerConnection;
import org.webrtc.PeerConnectionFactory;
import org.webrtc.RendererCommon;
import org.webrtc.SessionDescription;
import org.webrtc.SurfaceTextureHelper;
import org.webrtc.SurfaceViewRenderer;
import org.webrtc.VideoCapturer;
import org.webrtc.VideoDecoderFactory;
import org.webrtc.VideoEncoderFactory;
import org.webrtc.VideoSource;
import org.webrtc.VideoTrack;
import org.webrtc.audio.AudioDeviceModule;
import org.webrtc.audio.JavaAudioDeviceModule;
import java.util.List;
import io.socket.client.Socket;
public class VideoOfferActivity extends AppCompatActivity {
private final static String TAG = "VideoOfferActivity";
private Socket mSocket; // 声明一个套接字对象
private SurfaceViewRenderer svr_local; // 本地的表面视图渲染器(我方)
private PeerConnectionFactory mConnFactory; // 点对点连接工厂
private EglBase mEglBase; // OpenGL ES 与本地设备之间的接口对象
private MediaStream mMediaStream; // 媒体流
private VideoCapturer mVideoCapturer; // 视频捕捉器
private MediaConstraints mOfferConstraints; // 提供方的媒体条件
private MediaConstraints mAudioConstraints; // 音频的媒体条件
private List<PeerConnection.IceServer> mIceServers = ChatConst.getIceServerList(); // ICE服务器列表
private Peer mPeer; // 点对点对象
private ContactInfo mContact = new ContactInfo("提供方", "接收方");
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_video_offer);
initRender(); // 初始化渲染图层
initStream(); // 初始化音视频的媒体流
initSocket(); // 初始化信令交互的套接字
initView(); // 初始化视图界面
}
// 初始化视图界面
private void initView() {
TextView tv_title = findViewById(R.id.tv_title);
tv_title.setText("这里是视频提供方");
findViewById(R.id.iv_back).setOnClickListener(v -> dialOff()); // 挂断通话
}
// 挂断通话
private void dialOff() {
mSocket.off("other_hang_up"); // 取消监听对方的挂断请求
SocketUtil.emit(mSocket, "self_hang_up", mContact); // 发出挂断通话消息
finish(); // 关闭当前页面
}
@Override
public void onBackPressed() {
super.onBackPressed();
dialOff(); // 挂断通话
}
// 初始化渲染图层
private void initRender() {
svr_local = findViewById(R.id.svr_local);
mEglBase = EglBase.create(); // 创建EglBase实例
// 以下初始化我方的渲染图层
svr_local.init(mEglBase.getEglBaseContext(), null);
svr_local.setMirror(true); // 是否设置镜像
svr_local.setZOrderMediaOverlay(true); // 是否置于顶层
// 设置缩放类型,SCALE_ASPECT_FILL表示充满视图
svr_local.setScalingType(RendererCommon.ScalingType.SCALE_ASPECT_FIT);
svr_local.setEnableHardwareScaler(false); // 是否开启硬件缩放
}
// 初始化音视频的媒体流
private void initStream() {
Log.d(TAG, "initStream");
// 初始化点对点连接工厂
PeerConnectionFactory.initialize(
PeerConnectionFactory.InitializationOptions.builder(getApplicationContext())
.createInitializationOptions());
// 创建视频的编解码方式
VideoEncoderFactory encoderFactory;
VideoDecoderFactory decoderFactory;
encoderFactory = new DefaultVideoEncoderFactory(
mEglBase.getEglBaseContext(), true, true);
decoderFactory = new DefaultVideoDecoderFactory(mEglBase.getEglBaseContext());
AudioDeviceModule audioModule = JavaAudioDeviceModule.builder(this).createAudioDeviceModule();
// 创建点对点连接工厂
PeerConnectionFactory.Options options = new PeerConnectionFactory.Options();
mConnFactory = PeerConnectionFactory.builder()
.setOptions(options)
.setAudioDeviceModule(audioModule)
.setVideoEncoderFactory(encoderFactory)
.setVideoDecoderFactory(decoderFactory)
.createPeerConnectionFactory();
initConstraints(); // 初始化视频通话的各项条件
// 创建音视频的媒体流
mMediaStream = mConnFactory.createLocalMediaStream("local_stream");
// 以下创建并添加音频轨道
AudioSource audioSource = mConnFactory.createAudioSource(mAudioConstraints);
AudioTrack audioTrack = mConnFactory.createAudioTrack("audio_track", audioSource);
mMediaStream.addTrack(audioTrack);
// 以下创建并初始化视频捕捉器
mVideoCapturer = createVideoCapture();
VideoSource videoSource = mConnFactory.createVideoSource(mVideoCapturer.isScreencast());
SurfaceTextureHelper surfaceHelper = SurfaceTextureHelper.create("CaptureThread", mEglBase.getEglBaseContext());
mVideoCapturer.initialize(surfaceHelper, this, videoSource.getCapturerObserver());
// 设置视频画质。三个参数分别表示:视频宽度、视频高度、每秒传输帧数fps
mVideoCapturer.startCapture(720, 1080, 15);
// 以下创建并添加视频轨道
VideoTrack videoTrack = mConnFactory.createVideoTrack("video_track", videoSource);
mMediaStream.addTrack(videoTrack);
ProxyVideoSink localSink = new ProxyVideoSink();
localSink.setTarget(svr_local); // 指定视频轨道中我方的渲染图层
mMediaStream.videoTracks.get(0).addSink(localSink);
}
// 初始化信令交互的套接字
private void initSocket() {
mSocket = MainApplication.getInstance().getSocket();
mSocket.connect(); // 建立Socket连接
// 等待接入ICE候选者,目的是打通流媒体传输网络
mSocket.on("IceInfo", args -> {
Log.d(TAG, "IceInfo");
try {
JSONObject json = (JSONObject) args[0];
IceCandidate candidate = new IceCandidate(json.getString("id"),
json.getInt("label"), json.getString("candidate")
);
mPeer.getConnection().addIceCandidate(candidate); // 添加ICE候选者
} catch (JSONException e) {
e.printStackTrace();
}
});
// 等待对方的会话连接,以便建立双方的通信链路
mSocket.on("SdpInfo", args -> {
Log.d(TAG, "SdpInfo");
try {
JSONObject json = (JSONObject) args[0];
SessionDescription sd = new SessionDescription
(SessionDescription.Type.fromCanonicalForm(
json.getString("type")), json.getString("description"));
mPeer.getConnection().setRemoteDescription(mPeer, sd); // 设置对方的会话描述
} catch (JSONException e) {
e.printStackTrace();
}
});
mSocket.on("other_hang_up", (args) -> dialOff()); // 等待对方挂断通话
Log.d(TAG, "self_dial_in");
SocketUtil.emit(mSocket, "self_dial_in", mContact); // 我方发起了视频通话
// 等待对方接受视频通话
mSocket.on("other_dial_in", (args) -> {
String other_name = (String) args[0];
Log.d(TAG, mContact.from+" to "+mContact.to+", other_name="+other_name);
// 第四个参数表示对方接受视频通话之后,如何显示对方的视频画面
mPeer = new Peer(mSocket, mContact.from, mContact.to, (userId, remoteStream) -> Log.d(TAG, "new Peer"));
mPeer.init(mConnFactory, mMediaStream, mIceServers); // 初始化点对点连接
mPeer.getConnection().createOffer(mPeer, mOfferConstraints); // 创建供应
});
}
// 初始化视频通话的各项条件
private void initConstraints() {
// 创建发起方的媒体条件
mOfferConstraints = new MediaConstraints();
// 是否接受音频流
mOfferConstraints.mandatory.add(new MediaConstraints.KeyValuePair("OfferToReceiveAudio", "true"));
// 是否接受视频流
mOfferConstraints.mandatory.add(new MediaConstraints.KeyValuePair("OfferToReceiveVideo", "true"));
// 创建音频流的媒体条件
mAudioConstraints = new MediaConstraints();
// 是否消除回声
mAudioConstraints.mandatory.add(new MediaConstraints.KeyValuePair("googEchoCancellation", "true"));
// 是否自动增益
mAudioConstraints.mandatory.add(new MediaConstraints.KeyValuePair("googAutoGainControl", "true"));
// 是否过滤高音
mAudioConstraints.mandatory.add(new MediaConstraints.KeyValuePair("googHighpassFilter", "true"));
// 是否抑制噪音
mAudioConstraints.mandatory.add(new MediaConstraints.KeyValuePair("googNoiseSuppression", "true"));
}
// 根据相机类型创建对应的视频捕捉器
private VideoCapturer createCameraCapture(CameraEnumerator enumerator) {
final String[] deviceNames = enumerator.getDeviceNames();
// 先使用前置摄像头
for (String deviceName : deviceNames) {
if (enumerator.isFrontFacing(deviceName)) {
VideoCapturer videoCapturer = enumerator.createCapturer(deviceName, null);
if (videoCapturer != null) {
return videoCapturer;
}
}
}
// 没有前置摄像头再找后置摄像头
for (String deviceName : deviceNames) {
if (!enumerator.isFrontFacing(deviceName)) {
VideoCapturer videoCapturer = enumerator.createCapturer(deviceName, null);
if (videoCapturer != null) {
return videoCapturer;
}
}
}
return null;
}
// 创建视频捕捉器
private VideoCapturer createVideoCapture() {
VideoCapturer videoCapturer;
if (Camera2Enumerator.isSupported(this)) { // 优先使用二代相机
videoCapturer = createCameraCapture(new Camera2Enumerator(this));
} else { // 如果不支持二代相机,就使用传统相机
videoCapturer = createCameraCapture(new Camera1Enumerator(true));
}
return videoCapturer;
}
@Override
protected void onDestroy() {
super.onDestroy();
mSocket.off("other_dial_in"); // 取消监听对方的接入请求
mSocket.off("other_hang_up"); // 取消监听对方的挂断请求
mSocket.off("IceInfo"); // 取消监听流媒体传输
mSocket.off("SdpInfo"); // 取消监听会话连接
svr_local.release(); // 释放本地的渲染器资源(我方)
try { // 停止视频捕捉,也就是关闭摄像头
mVideoCapturer.stopCapture();
} catch (Exception e) {
e.printStackTrace();
}
if (mSocket.connected()) { // 已经连上Socket服务器
mSocket.disconnect(); // 断开Socket连接
}
}
}
三、实现WebRTC的接收方
除了向信令服务器发送同意通话指令以外,接受方与发起方的处理逻辑还有下列两处区别:
(1)收到对方的会话连接后,要调用createAnswer方法创建应答,然后发起方才能传来音视频数据;
(2)创建Peer对象之时,第四个输入参数要收下对方远程的媒体流对象,并将其设置到视频轨道中对方的渲染图层;
接受后效果如下
代码如下
package com.example.live;
import androidx.appcompat.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
import android.widget.TextView;
import com.example.live.bean.ContactInfo;
import com.example.live.constant.ChatConst;
import com.example.live.util.SocketUtil;
import com.example.live.webrtc.Peer;
import com.example.live.webrtc.ProxyVideoSink;
import org.json.JSONException;
import org.json.JSONObject;
import org.webrtc.DefaultVideoDecoderFactory;
import org.webrtc.DefaultVideoEncoderFactory;
import org.webrtc.EglBase;
import org.webrtc.IceCandidate;
import org.webrtc.MediaConstraints;
import org.webrtc.MediaStream;
import org.webrtc.PeerConnection;
import org.webrtc.PeerConnectionFactory;
import org.webrtc.RendererCommon;
import org.webrtc.SessionDescription;
import org.webrtc.SurfaceViewRenderer;
import org.webrtc.VideoDecoderFactory;
import org.webrtc.VideoEncoderFactory;
import org.webrtc.VideoTrack;
import org.webrtc.audio.AudioDeviceModule;
import org.webrtc.audio.JavaAudioDeviceModule;
import java.util.List;
import io.socket.client.Socket;
public class VideoRecipientActivity extends AppCompatActivity {
private final static String TAG = "VideoRecipientActivity";
private Socket mSocket; // 声明一个套接字对象
private SurfaceViewRenderer svr_remote; // 远程的表面视图渲染器(对方)
private PeerConnectionFactory mConnFactory; // 点对点连接工厂
private EglBase mEglBase; // OpenGL ES 与本地设备之间的接口对象
private MediaStream mMediaStream; // 媒体流
private List<PeerConnection.IceServer> mIceServers = ChatConst.getIceServerList(); // ICE服务器列表
private Peer mPeer; // 点对点对象
private ContactInfo mContact = new ContactInfo("接收方", "提供方");
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_video_recipient);
initRender(); // 初始化渲染图层
initStream(); // 初始化音视频的媒体流
initSocket(); // 初始化信令交互的套接字
initView(); // 初始化视图界面
}
// 初始化视图界面
private void initView() {
TextView tv_title = findViewById(R.id.tv_title);
tv_title.setText("这里是视频接收方");
findViewById(R.id.iv_back).setOnClickListener(v -> dialOff()); // 挂断通话
}
// 挂断通话
private void dialOff() {
mSocket.off("other_hang_up"); // 取消监听对方的挂断请求
SocketUtil.emit(mSocket, "self_hang_up", mContact); // 发出挂断通话消息
finish(); // 关闭当前页面
}
@Override
public void onBackPressed() {
super.onBackPressed();
dialOff(); // 挂断通话
}
// 初始化渲染图层
private void initRender() {
svr_remote = findViewById(R.id.svr_remote);
mEglBase = EglBase.create(); // 创建EglBase实例
// 以下初始化对方的渲染图层
svr_remote.init(mEglBase.getEglBaseContext(), null);
svr_remote.setMirror(false); // 是否设置镜像
svr_remote.setZOrderMediaOverlay(false); // 是否置于顶层
// 设置缩放类型,SCALE_ASPECT_FILL表示充满视图
svr_remote.setScalingType(RendererCommon.ScalingType.SCALE_ASPECT_FILL);
svr_remote.setEnableHardwareScaler(false); // 是否开启硬件缩放
}
// 初始化音视频的媒体流
private void initStream() {
Log.d(TAG, "initStream");
// 初始化点对点连接工厂
PeerConnectionFactory.initialize(
PeerConnectionFactory.InitializationOptions.builder(getApplicationContext())
.createInitializationOptions());
// 创建视频的编解码方式
VideoEncoderFactory encoderFactory;
VideoDecoderFactory decoderFactory;
encoderFactory = new DefaultVideoEncoderFactory(
mEglBase.getEglBaseContext(), true, true);
decoderFactory = new DefaultVideoDecoderFactory(mEglBase.getEglBaseContext());
AudioDeviceModule audioModule = JavaAudioDeviceModule.builder(this).createAudioDeviceModule();
// 创建点对点连接工厂
PeerConnectionFactory.Options options = new PeerConnectionFactory.Options();
mConnFactory = PeerConnectionFactory.builder()
.setOptions(options)
.setAudioDeviceModule(audioModule)
.setVideoEncoderFactory(encoderFactory)
.setVideoDecoderFactory(decoderFactory)
.createPeerConnectionFactory();
// 创建音视频的媒体流
mMediaStream = mConnFactory.createLocalMediaStream("local_stream");
}
// 初始化信令交互的套接字
private void initSocket() {
mSocket = MainApplication.getInstance().getSocket();
mSocket.connect(); // 建立Socket连接
// 等待接入ICE候选者,目的是打通流媒体传输网络
mSocket.on("IceInfo", args -> {
Log.d(TAG, "IceInfo");
try {
JSONObject json = (JSONObject) args[0];
IceCandidate candidate = new IceCandidate(json.getString("id"),
json.getInt("label"), json.getString("candidate")
);
mPeer.getConnection().addIceCandidate(candidate); // 添加ICE候选者
} catch (JSONException e) {
e.printStackTrace();
}
});
// 等待对方的会话连接,以便建立双方的通信链路
mSocket.on("SdpInfo", args -> {
Log.d(TAG, "SdpInfo");
try {
JSONObject json = (JSONObject) args[0];
SessionDescription sd = new SessionDescription
(SessionDescription.Type.fromCanonicalForm(
json.getString("type")), json.getString("description"));
mPeer.getConnection().setRemoteDescription(mPeer, sd); // 设置对方的会话描述
// 接受方要创建应答
mPeer.getConnection().createAnswer(mPeer, new MediaConstraints());
} catch (JSONException e) {
e.printStackTrace();
}
});
// 第四个参数表示对方接受视频通话之后,如何显示对方的视频画面
mPeer = new Peer(mSocket, mContact.from, mContact.to, (userId, remoteStream) -> {
String desc = String.format("from=%s, to=%s", mContact.from, mContact.to);
Log.d(TAG, "addRemoteStream "+desc);
ProxyVideoSink remoteSink = new ProxyVideoSink();
remoteSink.setTarget(svr_remote); // 设置视频轨道中对方的渲染图层
VideoTrack videoTrack = remoteStream.videoTracks.get(0);
videoTrack.addSink(remoteSink);
});
mPeer.init(mConnFactory, mMediaStream, mIceServers); // 初始化点对点连接
mSocket.on("other_hang_up", (args) -> dialOff()); // 等待对方挂断通话
Log.d(TAG, "self_dial_in");
SocketUtil.emit(mSocket, "self_dial_in", mContact); // 我方同意了视频通话
}
@Override
protected void onDestroy() {
super.onDestroy();
mSocket.off("other_dial_in"); // 取消监听对方的接入请求
mSocket.off("other_hang_up"); // 取消监听对方的挂断请求
mSocket.off("IceInfo"); // 取消监听流媒体传输
mSocket.off("SdpInfo"); // 取消监听会话连接
svr_remote.release(); // 释放远程的渲染器资源(对方)
if (mSocket.connected()) { // 已经连上Socket服务器
mSocket.disconnect(); // 断开Socket连接
}
}
}
创作不易 觉得有帮助请点赞关注收藏~~~