一种基于WebRTC的多人语音视频通话方法及系统与流程

本发明涉及视频通话领域，特别涉及一种基于webrtc的多人语音视频通话方法及系统。

背景技术：

随着互联网技术和通信技术的快速发展，人们的交流方式与交流内容得到了极大的丰富和发展。在节奏越来越快的信息时代，传统的基于文字的交流方式不仅效率显得有些低，而且有时并不能准确的表达人们的本意。所以，支持语音视频的通信方式逐渐盛行起来。对于早期的网页即时通讯，仍然需要下载臃肿而且并不安全的插件。但webrtc的出现，弥补了传统即时通讯的不足。

webrtc，即webreal-timecommunication，是一个支持网页浏览器进行实时语音视频通话的技术。其直接的应用就是允许开发者能实现视频通话或者其他的点对点的数据传输。webrtc有一整套的音视频解决方案，并且代码是开源的。此外，webrtc也是全平台支持的。其不仅局限于网页端，也提供了移动开发使用的接口。这为二次开发移动端应用提供了基础。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提供一种基于webrtc的多人语音视频通话方法，该方法抛弃传统流媒体通信方式，降低通信延迟，应对复杂网络环境，提高用户体验，丰富用户交流形式，降低系统维护成本；而且操作简单灵活，具有较高的信息传递和响应的速度，适用于大多数移动终端。

本发明的另一目的在于提供一种基于webrtc的多人语音视频通话系统。

本发明的目的通过以下的技术方案实现：

一种基于webrtc的多人语音视频通话方法，包含以下步骤：

步骤1、第一位用户指定连接房间号roomid与房间大小n，发起n-1路通话；

步骤2、所述第一位用户采集网络信息以及本地会话信息，并将这些连接数据发送至服务器，等待接收端与之建立连接；

步骤3、第二位用户指定同样的房间号roomid和房间大小n，发起n-1路通话，同时第二位用户采集网络信息以及本地会话信息，作为连接数据；

步骤4、所述第二位用户选取其中一路通话作为接收端，回应第一位用户的通话请求，与之建立连接；同时剩余的n-1-1路通话等待新的接收端与之建立连接；

步骤5、重复步骤3、4，第三位用户分别与第一、二位用户建立连接，依次循环，最终实现n个客户端之间的两两互联互通。

所述步骤1具体为：第一位用户指定连接房间号roomid与房间大小n，并作为n-1路通话的发起端，发起通话，等待接收端与之建立连接；所述第一位用户构成一个client，由唯一的clientid标识；每一路通话称之为instance，由唯一的instanceid标识，是p2p连接的最小单位，同时根据指定编码格式，开始采集本地音视频数据。

所述步骤2具体为：所述第一位用户在每一路通话instance中，通过nat穿透技术采集网络信息，用作跨网段通信；同时采集本地媒体描述，并将采集的网络信息和本地媒体描述发送至服务器，由服务器中转，等待接收端获取。

所述本地媒体描述包括音视频的相关参数。

所述步骤3具体为：第二位用户通过指定连接房间号roomid与房间大小n，从服务器获取连接数据，以及当前等待连接用户client数m(目前由于前面只有一个client发起了请求，所以m＝1)，同时采集网络信息以及本地媒体描述信息。

所述步骤4具体为：第二位用户client在本地n-1个instance中，随机选择m个instance用作接收端，对m个client做响应，建立p2p连接；同时又将剩余的n-1-m个instance作为发起端，发起通话请求，等待新的接收端与之建立连接。

所述步骤5具体为：重复步骤3和步骤4，第三位用户client首先获取连接数据以及当前等待连接用户client数m(此时m＝2)，分别以本地连接数据回应第一、第二位client，与之建立p2p连接；以此类推，当n个用户client陆续通过相同的连接房间号roomid和房间大小n建立连接后，将实现n个用户两两互联互通。

本发明另一的目的通过以下的技术方案实现：

一种基于webrtc的多人语音视频通话系统，包括本地音频视频流采集模块、p2p连接管理模块和多人管理模块；其中

本地音频视频流采集模块，负责采集本地音频视频流，并进行编码；客户端启动摄像头与麦克风，通过指定编码格式获取音视频流，并创建音频轨道和视频轨道；

p2p连接管理模块，负责在两个客户端之间的信令交互，进而建立webrtc连接；每一个p2p连接由一个instance管理，具有唯一的instanceid；

多人管理模块，负责协调在多人环境下，n-1路通话的组织与管理；在当前client中，有n-1个instance通过向服务器请求，能够获取当前情境中已经加入房间的用户数m，其中m<n；然后在本地client中的n-1路通话，即在n-1个instance中，随机选取m路通话作为p2p连接的接收端，同时满足：对于每个client，只响应的其中一个instance；剩余的n-1-m路通话作为新的发起端，等待接收端与之建立连接。

本发明与现有技术相比，具有如下优点和有益效果：

1、android操作系统应用广泛，不仅在手机终端，在平板电脑和可穿戴设备上也十分受欢迎。本发明将webrtc用于android应用的开发，既丰富了android的通信交流手段，又使得webrtc得到很好的推广。

2、nat技术，即网络地址转化技术，是一种把内部网络私有ip地址转换为可以在internet合法传播的外部网络地址的技术。由于公网ip地址紧缺，所以大部分计算机是处于nat之后的网络环境中。但对于webrtc协议来说，nat会导致其在跨网段的环境中失效。因此，本发明为了解决该问题，需要实现nat外侧与内侧进行自由通信，即nat穿透，通过nat穿透这一技术手段，较好地解决了上述技术问题。stun协议或turn协议可以很好的解决大部分nat穿透问题。ice协议就是结合stun协议和turn协议这两部分而形成的综合性nat穿透解决方案。

多媒体会话描述sdp，主要应用于webrtc中客户端与客户端之间的会话初始化以及信令交互。双方将收集的sdp信息发送给服务器，再由服务器中转给对方。这一过程是通过一对peerconnection对象的offer/answer操作来完成。

websocket协议，是一种即时通信协议。其本质上是建立在tcp协议上的socket连接，在应用层进行了封装，简化了接口以及调用接口。websocket协议可以使客户端与服务器之间建立全双工的高速数据通道。在通信过程中，使用基于文本的消息传输数据。与轮询和长连接相比，在传输稳定性和传输数据量方面也具有很大的优势。

信令，应用在协调通讯的过程中。为了建立webrtc通信，客户端双方需要进行一系列的信令交互。虽然应用webrtc协议可以使网络中的两台主机能够直接进行通信，即p2p通信。但这并不意味着webrtc不需要服务器。在建立数据传输的信道的过程中，必须有服务器进行参与。而信令就发挥这样的作用。

2、本发明是基于webrtc的android平台而实现多人语音视频通话的，由参与通话的用户两两建立p2p连接，舍弃了高昂复杂的流媒体服务器，降低了维护成本。

3、本发明各个用户之间地位相同，加入与离开通话的机制灵活。

4、本发明的技术方案具有低延迟，操作简单灵活、跨网段、适用于android平台的特点。在小型通话场景中，具有良好的用户体验。

附图说明

图1为多人通信方案示意图。

图2为p2p连接建立流程图。

图3为本地音视频流捕获流程图。

图4为多人通话管理结构示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

一种基于webrtc的多人语音视频通话方法，具体实施包括以下步骤：

步骤1、第一位用户指定连接房间号roomid与房间大小n，发起n-1路通话。

步骤2、该用户采集网络信息以及本地会话信息，并将这些连接数据发送至服务器，等待接收端与之建立连接。

步骤3、第二位用户指定同样的房间号roomid和房间大小n，发起n-1路通话。同时采集网络信息以及本地会话信息，作为连接数据。

步骤4、第二位用户选取其中一路通话作为接收端，回应第一位用户的通话请求，与之建立连接。同时剩余的n-1-1路通话等待新的接收端与之建立连接。

步骤5、重复步骤3、步骤4，第三位用户分别与第一、二位用户建立连接……最终实现多个客户端之间的两两互联互通。

进一步地，所述步骤1进一步具体为：第一位用户指定连接房间号roomid与房间大小n，并发起n-1通话。此时每一路通话均指定为p2p连接的发起端，等待接收端与之建立连接。该用户构成一个client，由唯一的clientid标识。每一路通话称之为instance，由唯一的instanceid标识，是p2p连接的最小单位。instance既可以作为发起端，也可以作为接收端，由多人管理模块指定为发起端或接收端的角色。同时根据指定编码格式，开始摄像头与麦克风，采集本地音视频数据。并加载渲染器，将本地视频数据呈现出来。

进一步地，所述步骤2进一步具体为：在每一路instance通话中：开始与打洞服务器通信，通过nat穿透技术，采集网络信息，比如所在公网ip地址以及端口信息。并保存为icecandidate实例，用过跨网段通信。同时采集本地媒体描述信息sdp，如音视频的相关参数。这两部分信息需要调用setlocalicecandidate()和setlocalsdp()方法保存到本地peerconnection实例中；同时向服务器发送httppost请求，将这两部分数据保存到服务器，等待接收端获取。

进一步地，所述步骤3进一步具体为：第二位用户client通过指定连接房间号roomid与房间大小n，发起n-1路通话，即n-1个instance。首先获取当前已经加入该房间的用户client数m。因为此时只有第一位用户加入房间，所以m＝1。根据指定编码格式，该用户开始摄像头与麦克风，采集本地音视频数据。并加载渲染器，将本地视频数据呈现出来。同时访问打洞服务器，获取网络信息；采集本地视频信息。这两部分信息存为icecandidate实例和sdp实例，作为本地连接数据保存在每一个instance的peerconnection实例中。

进一步地，所述步骤4进一步具体为：第二位用户client在本地n-1个instance中，随机选择m个instance指定为接收端角色。并使用本地的连接数据分别对m个client做响应，并获取对方保存在服务器的连接数据，使之与每个client中的一个instance建立p2p连接。然后，在第二位用户的n-1路通话中，选取没有回应接收端的n-1-m条线路，即剩余的n-1-m个instance。将这些instance分别指定为发送端的角色。把以上收集的本地连接数据以同样的方式发送至服务器，等待接收端与之建立连接。

进一步地，所述步骤5进一步具体为：重复步骤3和步骤4。第三位用户client同样地获取已经加入该房间的client数量m，此时m＝2。成功收集本地连接数据后，该client随机选取m个instance分别回应m个client中的一个instance，使之分别建立p2p连接。同样地，当n个用户，即n个client，陆续通过相同的连接房间号roomid和房间大小n建立连接后，将实现n个用户两两互联互通。

如图1、4，所述一种基于webrtc的多人语音视频通话方法，是基于一种基于webrtc的多人语音视频通话系统实现的，一种基于webrtc的多人语音视频通话系统包括以下模块：

本地音频视频流采集模块，负责采集本地音频视频流，并进行编码等工作。如图3，客户端启动摄像头与麦克风，通过指定编码格式获取音视频流audiosource/videosource。并创建音频轨道和视频轨道audiotrack/videotrack。这两条轨道需要存入同一个mediastream实例中。最后再将mediastream实例与peerconnection实例相关联。

p2p连接管理模块，负责在两个客户端之间的信令交互，进而建立webrtc连接。每一个p2p连接由一个instance管理，具有唯一的instanceid。如图2，建立p2p连接需要以下步骤：

第一步：由发起端向服务器发起通话请求。待服务器检查连接房间号roomid和相关参数无误后，发起端instance将创建peerconnection实例。peerconnection实例是实现p2p核心实例，也是instance的关键部分，保存了关于连接的所有信息。

第二步：发起端instance收集并保存本地sdp信息。

第三步：将sdp信息发送给服务器——这一动作称之为offer。

第四步：接收端instance以相同的参数访问服务器，获得发起端的sdp信息，同时收集本地sdp信息。同样地，这些信息都保存在接收端instance的peerconnection实例中。

第五步：接收端instance将本地sdp信息回应给发起端——这一动作称之为answer。

第六步：当发起端和接收端分别拥有对方的sdp信息后，基于webrtc的p2p连接随之建立。

接收端instance从服务器获取连接数据，可以通过httppost请求，是一个“拉”的动作。而接收端instance回应发起端instance，是通过websocket主动将数据推送过去，是“推”的一个动作。如果两端分别处于不同的网络中，就需要首先访问stun/turn/ice服务器，获得自己暴露在internet的ip地址以及端口等信息，保存为icecandidate实例，作为信令交互的一部分，使处于不同网络环境中的主机之间直接建立通信。

多人管理模块，负责协调在多人环境下，n-1路通话的组织与管理。在当前client中，有n-1个instance。通过向服务器请求，可以获取当前情境中已经加入房间的用户数m(m<n)。然后在本地client中的n-1路通话，即n-1个instance中，随机选取m路通话作为p2p连接的接收端。并且需要保证：对于每个client，只响应的其中一个instance。剩余的n-1-m路通话作为新的发起端，等待接收端与之建立连接。该模块负责指定本client中每一个instance的角色，保证多位用户之间有序的建立p2p连接。当某一路的p2p连接中断，该模块将回收连接资源，并重置角色，进而保证用户的退出重连。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。