基于教育考试的多方音视频通话方法及系统与流程

本发明实施例涉及数据业务技术领域，尤其涉及一种基于教育考试的多方音视频通话方法及系统。

背景技术：

现有的视频会议系统基于多点控制单元来设计开发复杂的解决方案，多点控制单元需要架设中心mcu服务器，而mcu服务器的基础设施成本高；音视频数据处理需要解码和再编码技术，引入额外的延迟和质量损失；转码和组合物等会导致对应用程序的用户界面弹性较小等技术问题，尤其是针对小规模的业务场景应用，传统的基于多点控制单元的音视频技术性价比低。

技术实现要素：

本发明实施例提供一种基于教育考试的多方音视频通话方法及系统，以实现低延迟高质量的多方音视频通话，降低建设成本。

第一方面，本发明实施例提供一种基于教育考试的多方音视频通话方法，包括一个或多个省级客户端、市级客户端、区级客户端以及考点级客户端，所述省级客户端、市级客户端、区级客户端以及考点级客户端内置有音视频插件，所述方法包括以下步骤：

考点级客户端接收外部操作对应的用于接通所述省级客户端的音视频通话的请求指令；

响应于所述请求指令，所述考点级客户端通过浏览器页面经教育网专用网络向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道；

在建立所述音视频通话通道时，所述考点级客户端经所述教育网专用网络向所述省级客户端发送应急事件信息；

响应于所述应急事件信息，所述省级客户端通过本地浏览器页面分别向所述市级客户端、所述区级客户端以及所述考点级客户端发送音视频通话请求，以在所述省级客户端、所述市级客户端、所述区级客户端以及所述考点级客户端之间经教育网专用网络上建立多方音视频通话通道，进行省级-市级-区级-考点级四级音视频会议通话；

基于所述省级客户端发送的音视频通话请求，所述市级客户端、所述区级客户端以及所述考点级客户端分别向所述省级客户端发送反馈信息。

在其中一个实施例中，所述响应于所述请求指令，所述考点级客户端通过浏览器页面向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道，包括：

考点级客户端创建offersdp对象，并通过signal服务器将所述offersdp对象发送至所述省级客户端，所述offersdp对象保存有当前音视频的参数；

所述省级客户端创建answersdp对象，并通过所述signal服务器将所述answersdp对象发送至考点级客户端，以在所述考点级客户端和所述省级客户端之间创建音视频通道。

在其中一个实施例中，还包括：

基于创建所述音视频通道，所述考点级客户端将采集到的第一candidate信息通过signal服务器发送至所述省级客户端；

所述省级客户端将采集到的第二candidate信息通过signal服务器发送至所述考点级客户端，以在所述考点级客户端和所述省级客户端之间建立音视频传输的p2p通道；其中，所述第一candidate信息包括所述考点级客户端的ip地址信息，所述第二candidate信息包括所述省级客户端的ip地址信息。

在其中一个实施例中，还包括：

响应于所述音视频通话请求，所述省级客户端、所述市级客户端、所述区级客户端以及所述考点级客户端中的至少两者启动音视频插件。

在其中一个实施例中，还包括：

若所述省级客户端同时接收到多个所述考点级客户端发送音视频通话请求，则获取所述考点级客户端所对应的音视频流中的音视频活跃度信息；

根据所述音视频活跃度信息确定接通所述考点级客户端的优先级；

按照所述优先级确定接通所述考点级客户端的顺序。

在其中一个实施例中，所述获取所述考点级客户端的音视频活跃度的步骤包括：

检测各所述考点级客户端所对应的音视频流所采集到的音视频信号时长或音视频信号强度。

在其中一个实施例中，所述按照所述优先级确定接通所述考点级客户端的顺序的步骤之后，还包括：

根据所述音视频活跃度信息以及所述优先级，确定所述考点级客户端与省级客户端之间的各音视频通达的码率。

第二方面，本发明实施例还提供一种基于教育考试的多方音视频通话系统，包括一个或多个省级客户端、市级客户端、区级客户端以及考点级客户端，包括：

考点级客户端用于接收外部操作对应的接通所述省级客户端的音视频通话的请求指令，并通过浏览器页面向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道；

在建立所述音视频通话通道时，所述考点级客户端还用于向所述省级客户端发送应急事件信息；

所述省级客户端用于响应所述应急事件信息，并通过本地浏览器页面分别向所述市级客户端、所述区级客户端以及所述考点级客户端发送音视频通话请求，以在所述省级客户端、所述市级客户端、所述区级客户端以及所述考点级客户端之间建立多方音视频通话通道，进行省级-市级-区级-考点级四级音视频会议通话。

在其中一个实施例中，各所述省级客户端、市级客户端、区级客户端以及考点级客户端设置有唯一的命名信息，所述命名信息用于唯一地标识不同的客户端。

在其中一个实施例中，所述省级客户端、市级客户端、区级客户端以及考点级客户端为移动手机、平板、pos机和/或计算机电脑。

本发明实施例提供的基于教育考试的多方音视频通话方法及系统，通过采用网页即时通信，利用支持网页浏览器进行实时语音对话或视频对话的api，在省级、市级、区县级以及考点级客户端之间建立音视频通道，实现多方音视频通话，无需安装音视频客户端。同时本方案基于从每一个发送者创建多个一对一的数据流到每一个接收端，降低传输延迟，提高音视频传输质量，适合于教育考试的多方音视频会议通话。

附图说明

图1是一实施例提供的一种基于教育考试的多方音视频通话系统示意图；

图2是一实施例提供的一种基于教育考试的多方音视频通话方法的流程图；

图3是一实施例提供的基于教育考试的多方音视频通话方法的交互示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本技术的发明是基于教育考试行业中的应急指挥相关需求，在考试过程中，根据实际情况，下级考点或者考务组织部门在发生突发情况时，需要向上级考务部门进行紧急事件上报，上级在收到事件上报后，迫切的需要实时查看事件的详细情况，包括实时视频，并可能需要与各级考务部门一起开会讨论该事件。作为此技术的应用，支持省、市、区县和考点四级考务部门进行多方音视频会议通话，方便领导进行应急指挥。

如图1所示，图1是一实施例提供的一种基于教育考试的多方音视频通话系统示意图，如图1所示，该基于教育考试的多方音视频通话系统包括：一个或多个省级客户端、市级客户端、区级客户端以及考点级客户端，所述省级客户端、市级客户端、区级客户端以及考点级客户端内置有音视频插件。其中，省级客户端、市级客户端、区级客户端以及考点级客户端每两者之间可以进行通信连接。在其他实施例中，不同的省级客户端之间、市级客户端之间、区级客户端之间以及考点级客户端之间每两者之间也可以进行通信连接。示例性的，各个不同的省级客户端、市级客户端、区级客户端以及考点级客户端可以设置唯一的特征标识，用于区分于不同的省级客户端、市级客户端、区级客户端以及考点级客户端。

在该多方音视频通话系统中，考点级客户端用于接收外部操作对应的接通所述省级客户端的音视频通话的请求指令，并通过浏览器页面向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道；

在建立所述音视频通话通道时，所述考点级客户端还用于向所述省级客户端发送应急事件信息；

所述省级客户端用于响应所述应急事件信息，并通过本地浏览器页面分别向所述市级客户端、所述区级客户端以及所述考点级客户端发送音视频通话请求，以在所述省级客户端、所述市级客户端、所述区级客户端以及所述考点级客户端之间建立多方音视频通话通道，进行省级-市级-区级-考点级四级音视频会议通话。

在一实施例中，所述省级客户端、市级客户端、区级客户端以及考点级客户端为移动手机、平板、pos机和/或计算机电脑。

其中，作为省级客户端、市级客户端、区级客户端以及考点级客户端的移动手机、平板、pos机和/或计算机电脑中内置有浏览器插件或应用程序，在其他实施例中，可以是带有浏览器的其他便携式设备。

图2是一实施例提供的一种基于教育考试的多方音视频通话方法的流程图，本实施例提供的基于教育考试的多方音视频通话方法，本实施例可适用于教育考试的多方音视频通话的情况，该方法可以由基于教育考试的多方音视频通话系统来执行。如图2所示，该多方音视频通话方法具体包括如下步骤：

s110、考点级客户端接收外部操作对应的用于接通所述省级客户端的音视频通话通道的请求指令。

在实施例中，如图3所示，图3是一实施例提供的基于教育考试的多方音视频通话方法的交互示意图。用户通过在考点级客户端的设定位置上做出选择请求接通的一个或多个省级客户端的外部操作，考点级客户端根据用户作出的外部操作，生成相应的请求指令，该请求指令用于请求接通所选择的省级客户端的音视频通话通道。

s120、响应于所述请求指令，所述考点级客户端通过浏览器页面经教育网专用网络向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道。

考点级客户端内置有浏览器，通过浏览器网页向省级客户端发送音视频通话请求。在实施例中，浏览器网页中设置有请求接通的省级客户端的ip地址或统一资源定位符(uniformresourcelocator，url)，url包括通信协议信息、路径信息以及所请求接通的省级客户端的命名信息，其中省级客户端的命名信息位于url的尾部，命名信息用于唯一地标识不同的客户端。通过获取省级客户端所对应的ip地址或url，请求接通省级客户端所在的音视频通道。

s130、在建立所述音视频通话通道时，所述考点级客户端经所述教育网专用网络向所述省级客户端发送应急事件信息。

在建立考点级客户端和省级客户端之间的音视频通道后，考点级客户端通过所建立的音视频通道发送应急事件信息。示例性的，应急事件信息可以为音频信息、视频信息、音视频信息、文字、图片信息等。

s140、响应于所述应急事件信息，所述省级客户端通过本地浏览器页面分别向所述市级客户端、所述区级客户端以及所述考点级客户端发送音视频通话请求，以在所述省级客户端、所述市级客户端、所述区级客户端以及所述考点级客户端之间经教育网专用网络建立多方音视频通话通道，进行省级-市级-区级-考点级四级音视频会议通话；

实施例中，省级客户端接收到应急事件信息后，提取出应急事件信息中的关键字，从关键字对应的解决方案中自动向市级客户端、区级客户端以及考点级客户端发送音视频通话请求。或者，接收到应急事件信息后，省级客户端根据该应急事件信息在浏览器网页界面上显示出应急事件信息，用户根据显示出来的应急事件信息，在省级客户端上作出相应的外部操作。省级客户端根据外部操作生成相应的请求指令，向市级客户端、区级客户端以及考点级客户端发送音视频通话请求，从而接通省级客户端、市级客户端、区级客户端以及考点级客户端之间的多方音视频通话通道，进行省级-市级-区级-考点级四级音视频会议通话。

s150、基于所述省级客户端发送的音视频通话请求，所述市级客户端、所述区级客户端以及所述考点级客户端分别向所述省级客户端发送反馈信息。

各市级客户端、区级客户端以及考点级客户端接收到省级客户端发送的音视频信息后，分别向省级客户端发送反馈信息，表示已经收到省级客户端发送的信息，或者对已作出的处理动作反馈至省级客户端。

需要说明的是，由于教育考试的具有特殊的保密性，实施例中所采用的传输网络为教育网专用网络，以防止音视频通话信息的外泄。

本实施例中采用网络即时通信(webreal-timecommunication，webrtc)技术，不再需要借助音视频相关的客户端，直接通过浏览器的web页面就可以实现音视频对聊功能，并通过webrtc源码快速构建自己的音视频对聊功能，简单快捷。webrtc并不提供服务器，如stun服务器和signal服务器，服务器端通过自身构建来实现，节省了部署实体服务器的成本。

本实施例提供的多方视音频通话方法是基于教育考试的小规模视频会议业务场景，利用webrtc技术实现视频会议，实现延时低，传输质量高的教育考试多方音视频通话。通过webrtc技术不需要假设任何服务器，基于从每一个发送者创建多个一对一的数据流到每一个接收端，降低传输延迟，保证了音视频传输质量，适合于教育考试的多方音视频会议通话。

进一步的，上述步骤s120：响应于所述请求指令，所述考点级客户端通过浏览器页面向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道，包括以下步骤：

s1201、考点级客户端创建offersdp对象，并通过signal服务器将所述offersdp对象发送至所述省级客户端，所述offersdp对象保存有当前音视频的参数。

具体的，考点级客户端首先创建peerconnection对象，然后打开本地音视频插件，将音视频数据封装成mediastream添加到peerconnection中。进一步的，考点级客户端调用peerconnection的createoffer方法创建一个用于offer的sdp对象，sdp对象中保存当前音视频的相关参数。考点级客户端通过peerconnection的setlocaldescription方法将该sdp对象保存起来，并通过signal服务器发送给省级客户端。

需要说明的是，当另一客户端向其他客户端发起音视频通话请求时，遵循同样的流程。

s1202、所述省级客户端创建answersdp对象，并通过所述signal服务器将所述answersdp对象发送至考点级客户端，以在所述考点级客户端和所述省级客户端之间创建音视频通道。

具体的，省级客户端接收到考点级客户端发送过的offersdp对象，通过peerconnection的setremotedescription方法将其保存起来，并调用peerconnection的createanswer方法创建一个应答的sdp对象，通过peerconnection的setlocaldescription的方法保存该应答sdp对象并将它通过signal服务器发送给考点级客户端。考点级客户端接收到省级客户端发送过来的应答sdp对象，将其通过peerconnection的setremotedescription方法保存起来。在sdp信息的offer/answer流程中，考点级客户端和省级客户端已经根据sdp信息创建好相应的音视频通道。

需要说明的是，当其他客户端响应另一客户端发起音视频通话请求时，遵循同样的流程。

进一步的，上述步骤s120：响应于所述请求指令，所述考点级客户端通过浏览器页面向所述省级客户端发送音视频通话请求，以在所述省级客户端和所述考点级客户端之间建立音视频通话通道之后，还可以包括以下步骤：

s1203、基于创建所述音视频通道，所述考点级客户端将采集到的第一candidate信息通过signal服务器发送至所述省级客户端。

具体的，在sdp信息的offer/answer流程中，考点级客户端和省级客户端已经根据sdp信息创建好相应的音视频通道，并开启candidate数据的收集。

当考点级客户端收集到第一candidate信息后，peerconnection会通过onicecandidate接口给考点级客户端发送通知，考点级客户端将收到的candidate信息通过signal服务器发送给省级客户端，省级客户端通过peerconnection的addicecandidate方法保存起来。其中，第一candidate信息包括该考点级客户端的ip地址，公网ip地址等。

s1204、所述省级客户端将采集到的第二candidate信息通过signal服务器发送至所述考点级客户端，以在所述考点级客户端和所述省级客户端之间建立音视频传输的p2p通道；其中，所述第一candidate信息包括所述考点级客户端的ip地址信息，所述第二candidate信息包括所述省级客户端的ip地址信息。

同样的，当省级客户端收集到第二candidate信息后，peerconnection会通过onicecandidate接口给省级客户端发送通知，省级客户端将收到的candidate信息通过signal服务器发送给考点级客户端，考点级客户端通过peerconnection的addicecandidate方法保存起来。其中，第二candidate信息包括该省级客户端的ip地址，公网ip地址等。

基于上述实施例，本实施例提供的基于教育考试的多方音视频通话方法还包括：响应于所述音视频通话请求，所述省级客户端、所述市级客户端、所述区级客户端以及所述考点级客户端中的至少两者启动音视频插件。

响应于音视频通话请求，接通音视频通话通道的两个客户端启动音视频插件，以用于音视频通话。在多方音视频通话中，参与到多方音视频通话中的多个客户端均启动音视频插件以进行音视频通话。

进一步的，若所述省级客户端同时接收到多个所述考点级客户端发送音视频通话请求，在其中一个实施例中，可以通过以下步骤确定接通考点级客户端的书序，具体可以包括：

s201、获取所述考点级客户端所对应的音视频流中的音视频活跃度信息。

音视频活跃度信息用于统计当前时间段内用户在音视频流中的检测到的音视频信号的时长或采集到的音视频信号的强度。连接到音视频通话中的每路音视频流的活跃度信息会根据用户的使用状态不同而不同。

示例性的，当用户长时间进行语音交流时，该用户对应的客户端所在的视频流的活跃度越高。当用户长时间沉默或者没有其他操作时，该用户对应的客户端所在的视频流的活跃度越低。当该音视频流的活跃度越高，说明当前音视频流的重要性越高，反之，当该音视频流的活跃度越低，说明当前音视频流的重要性越低。

s202、根据所述音视频活跃度信息确定接通所述考点级客户端的优先级。

当考点级客户端需要接通省级客户端的音视频通道时，向服务端发送接通音视频通道的请求指令。服务端获取请求接通省级客户端的考点级客户端所在音视频通道的音视频流，并统计各音视频流的活跃度信息，并根据活跃度信息由高到低进行排序，音视频流的排名越靠前，该音视频流的活跃度越高名同事音视频的活跃度越高，其可分得的码率越高，从而保证其音视频通话的质量。

s203、按照所述优先级确定接通所述考点级客户端的顺序。

根据音视频信息的活跃度的排序结果，确定各考点级客户端请求接通省级客户端之间的音视频通道重要性，排名越靠前，对请求接通省级客户端的重要性或紧急程度越高，越先接通该考点级客户端与省级客户端之间的音视频流通道。

上述步骤通过采集请求接通省级客户端的各考点级客户端与省级客户端之间的音视频通路的活跃度信息，根据活跃度信息确定接通考点级客户端的优先级，避免了当多个考点级客户端同时向省级客户端发送接通请求时，导致的信号拥堵问题，同时每个接收端，如省级客户端都会根据实际情况产生不同的比特率，提高了音视频通话的质量。

在一实施例中，所述获取所述考点级客户端的音视频活跃度信息的步骤可以为：检测各所述考点级客户端所对应的音视频流所采集到的音视频信号时长或音视频信号强度。

每路音视频流的活跃度可以用当前时间段采集到的音视频信号强度或音视频信号的时长来表征。若采集到音视频信号，说明此时有用户在讲话；若采集到的音视频信号的时长或强度越大，则此刻该用户所使用的音视频流的音视频活跃度信息越高。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。