一种视频会议中数据传输方法、服务器以及系统与流程

本发明涉及通信领域，特别涉及一种视频会议中的数据传输方法、服务器以及系统。

背景技术：

传统的视频会议系统一般采用两种编码模式。一种是统一编码，即视频会议服务器对与会终端全部采用同一个分辨率、帧率、码率进行编码，并将编码后的数据发送给各终端设备。采用统一编码，服务器只进行一次编码，性能消耗极小，但是由于各个会议终端只能接收统一画面，会议端的视频质量则不能保证，高清会议端尤为明显。另一种是独立编码，即视频会议服务器对与会终端分别采用其各自的分辨率、帧率、码率进行编码。通过独立编码可以保证所有会议终端的视频质量，但服务器需要进行多次编码，比较消耗媒体性能。

随着高性能、大容量、高质量的视频会议的需要，要求媒体服务器具备高适应性和高性能利用率，而传统的统一编码虽然可以保证媒体性能但是无法保证视频质量，而独立编码虽然可以保证视频质量但无法保证媒体性能。

技术实现要素：

本发明实施例提供了一种视频会议中数据传输方法、服务器以及系统，以解决现有技术中视频编码无法兼顾性能与消耗的问题。

为解决上述问题，本发明实施例的技术方案实现如下：

一种视频会议中数据传输方法，包括：

确定视频会议中多个会议终端的能力档次以及各能力档次对应的编码规则；

依据所述各能力档次对应的编码规则对待传输数据进行一次或多次编码；

将编码后的数据发送给各所述编码规则对应能力档次的会议终端。

进一步的，在确定视频会议中多个会议终端的能力档次以及各能力档次对应的编码规则之前，所述方法还包括：

获取所述多个会议终端的媒体参数信息，其中，所述媒体参数信息包括码率、分辨率和帧率；

根据所述媒体参数信息设置所述多个会议终端的能力档次。

进一步的，所述获取所述多个会议终端的媒体参数信息包括：

接收第一会议终端反馈的当前下行码率，其中，所述第一会议终端为视频会议中设置有辅助功能的会议终端，所述辅助功能包括体验质量qoe、自动升降速或fec反向纠错；

获取第二会议终端的上行码率，其中，所述第二会议终端为视频会议中未设置辅助功能的会议终端。

进一步的，所述获取所述多个会议终端的媒体参数信息包括：

在所述第一会议终端设置有自动升降速和fec功能的情况下，接收fec功能对应的当前下行码率。

进一步的，所述获取第二会议终端的上行码率包括：

判断是否对所述第二会议终端发送的数据进行解码；

在判断结果为是的情况下，检测得到所述第二会议终端的当前上行码率；

在判断结果为否的情况下，获取所述第二会议终端的协商码率或者所述第二会议终端停止解码前检测到的上行码率。

进一步的，所述依据所述各能力档次对应的编码规则对待传输数据进行一次或多次编码包括：

依据所述各能力档次对应的帧率、分辨率和码率对所述待传输数据进行一次或多次编码；或者，

在一个或多个会议终端离开视频会议的情况下，确定离开的会议终端所对应的能力档次中剩余会议终端的最小码率；

依据所述最小码率对所述待传输数据进行编码。

进一步的，所述确定视频会议中多个会议终端的能力档次包括：

在检测到一个或多个所述会议终端的媒体参数信息发生变化的情况下，根据变化后的媒体参数信息调整一个或多个所述会议终端的能力档次。

进一步的，在依据所述各能力档次对应的编码规则对待传输数据进行一次或多次编码之前，还包括：

接收多个所述会议终端发送的视频数据；

对接收到的多个视频数据进行编排得到所述待传输数据。

本发明实施例还提供了一种视频会议服务器，包括存储器和处理器，其特征在于，所述存储器中存储有数据传输指令，所述处理器通过执行所述数据传输指令以实现如上所述的任一种方法。

本发明实施例还提供了一种视频会议系统，包括多个会议终端以及视频会议服务端，其特征在于，

所述视频会议服务器，用于确定所述多个会议终端的能力档次以及各能力档次对应的编码规则；依据所述各能力档次对应的编码规则对待传输数据进行一次或多次编码；将编码后的数据发送给各所述编码规则对应能力档次的会议终端；

所述会议终端，用于接收所述编码后的数据，并解码播放。

通过上述方法，视频会议服务器可以根据会议终端的能力档次进行相应的编码，通过对能力相当的一个或多个终端进行数据的统一编码，从而确保了会议终端视频的质量，同时编码次数相较于独立编码大大降低，减小了视频会议系统的性能损耗。

附图说明

图1是根据实施例一的一种视频会议中数据传输方法流程图；

图2是根据本发明实施例一的一种多能力档次表；

图3是根据本发明实施例二的一种视频会议服务器框图；

图4是根据本发明实施例三的一种视频会议系统框图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。需要说明的是，下列实施例中的方案在不产生冲突的情况下，方案可以任意组合。

实施例一

本发明实施例一提供了一种视频会议中数据传输方法。图1是根据实施例一的一种视频会议中数据传输方法流程图，如图1所示，该方法包括以下步骤：

s102:确定视频会议中多个会议终端的能力档次以及各能力档次对应的编码规则；

s104:依据该各能力档次对应的编码规则对待传输数据进行一次或多次编码；

s106:将编码后的数据发送给各该编码规则对应能力档次的会议终端。

进一步的，在确定视频会议中多个会议终端的能力档次以及各能力档次对应的编码规则之前，该方法还包括：获取该多个会议终端的媒体参数信息，其中，该媒体参数信息包括码率、分辨率和帧率；根据该媒体参数信息设置该多个会议终端的能力档次。

能力档次是由用户根据需要自定义的。媒体参数信息反映的是设备的视频信息传输能力，其中码率和分辨率是最为影响设备性能的参数，而帧率一般只有15和30两个档次，相较于前者不太能反应设备的性能。因此，实际设置设备的能力档次时可以优选仅依据码率进行设置，或者仅依据分辨率进行设置，或者依据码率与分辨率二者的结合进行设置。当然也可以采取码率与帧率的结合，或者分辨率与帧率的结合，或者码率、分辨率与帧率的结合进行设置。

需要说明的是，能力档次的设置还可以结合会议终端的编码类型，目前常见的编码类型包括：h264bp，h264hp，h265。本实施例中，优选以会议终端的编码类型、码率、分辨率以及帧率共同确定终端的能力档次，具体如附图2所示。

图2是根据本发明实施例一的一种多能力档次表。多能力档次表中编码类型分为h264bp，h264hp，h265。以h264bp为例，2m及以上码率、1080p分辨率、30帧率是第一档次；768k～2m码率、720p分辨率、30帧率是第二档次；448k～768k码率、448p分辨率、15帧率是第三档次；128k～448k码率、228p分辨率、15帧率是第四档次。本实施例中，将相同帧率和相同分辨率的终端设置为一个能力档次。那么h264bp、2m及以上码率、1080p分辨率、30帧率的终端，与h264hp、1m及以上码率、1080p分辨率、30帧率的终端，以及h265、512k及以上码率、1080p分辨率、30帧率的终端属于第一档次。依次类推可以得到第二档次的三个设备、第三档次的三个设备和第四档次的三个设备。这样，服务器在编码时，对于相同档次的多个终端设备可以按照相同的媒体参数编码，一般按照相同档次中的最低码率、最低帧率、最低分辨率设置。通过这种方式，服务器只需要进行四次编码即可。

进一步的，获取该多个会议终端的媒体参数信息包括：接收第一会议终端反馈的当前下行码率，其中，该第一会议终端为视频会议中设置有辅助功能的会议终端，该辅助功能包括体验质量qoe、自动升降速或fec反向纠错；获取第二会议终端的上行码率，其中，该第二会议终端为视频会议中未设置辅助功能的会议终端。

下行码率是指服务器向终端设备发送数据时所需要采取的码率。会议终端告知服务器自己能够接收的码率，那么服务器按照这个码率设置能力档次并编码，就可以保证对应终端有能力处理服务器按照相应码流所发送的数据。一般而言，如果设备未设置有辅助能力，他的下行码流相当于上行码率，这种情况下直接按照该设备的上行码率进行能力档次划分并编码即可；但如果设备设置有辅助能力，他的下行码流就会小于他的上行码率，这种情况下需要按照他的下行码率进行能力档次划分并编码。

进一步的，该获取该多个会议终端的媒体参数信息包括：在该第一会议终端设置有自动升降速和fec功能的情况下，接收fec功能对应的当前下行码率。

对于qos、自动升降速、fec三种辅助功能而言，自动升降速和fec两种功能是可能同时存在的，这种情况下按照fec对应的下行码率进行划分档次。

进一步的，该获取第二会议终端的上行码率包括：判断是否对该第二会议终端发送的数据进行解码；在判断结果为是的情况下，检测得到该第二会议终端的当前上行码率；在判断结果为否的情况下，获取该第二会议终端的协商码率或者该第二会议终端停止解码前检测到的上行码率。

当设备未设置有辅助功能时，服务器可以直接根据终端的上行码率进行编码，此时又可以分两种情况进行处理。一种情况是，会议终端上传的视频不会被服务器解码并处理。视频会议中，服务器会接收与会的所有终端发送的视频数据，服务器在接收到数据后对视频进行编排后形成新的视频数据，并将新的视频数据编码发送给所有的会议终端，这样会议终端就可以通过屏幕显示看到所有的与会者。但是，有些情况下，服务器可能只会对一个或几个重要的参会者，比如领导的视频进行处理后编码发送给其他会议终端，对于不参与视频编排的会议终端而言，可以按照协议的码率或者停止解码前最近一次检测到的上行码率对其进行能力档次的划分，并为其提供编码服务。对于参与视频编排的会议终端而言，它上传视频的码率可能是围绕协商码率上下浮动的，所以为了处理时的精确，需要按照实时检测到的上行码率对其进行能力档次的划分，并为其提供编码服务。

另外需要说明的是，会议终端加入视频会议系统时，会与服务器进行媒体参数的协商，包括协商的码率、协商的分辨率、协商的帧率，但是实际数据传输过程中，并不能排除码率、分辨率、帧率与初始协商值不同的情形。

进一步的，该依据该各能力档次对应的编码规则对待传输数据进行一次或多次编码包括：依据该各能力档次对应的帧率、分辨率和码率对该待传输数据进行一次或多次编码；或者，在一个或多个会议终端离开视频会议的情况下，确定离开的会议终端所对应的能力档次中剩余会议终端的最小码率；依据该最小码率对该待传输数据进行编码。

为会议终端划分能力档次的最终目的是对相同档次的设备进行相同的编码处理，以确保视频的效果，同时节省服务器的编码次数。因此，可以想象，对于相同档次的设备来说，他们的编码参数——码率、分辨率、帧率应该是一致的。一般编码参数是按照所有设备中的最小码率、最小分辨率、最小帧率进行初始设置的，这样就可以保证所有设备都有能力处理服务器发送的编码数据。那么一旦某一个能力档次中有设备退出视频会议系统，设备的最小码率、最小分辨率、最小帧率就有可能发生变化，此时服务器可以动态调整当前的编码参数进行编码。可是按照剩余终端的最小码率、最小分辨率、最小帧率来编码，也可以选择仅依据调整后的部分参数来编码，不过考虑到码率对编码性能的影响最大，一般优选至少考虑最小码率的信息。

另外，在设备退出会议系统时，服务器会将该终端的媒体通道从会议成员链表中删除，服务器也可以根据调整后的设备重新设置能力档次对应的编码参数，甚至重新划分能力档次，当然服务器也可以不修改能力档次表以及对应的编码参数，只是在实际编码时进行动态调整。

进一步的，该确定视频会议中多个会议终端的能力档次包括：在检测到一个或多个该会议终端的媒体参数信息发生变化的情况下，根据变化后的媒体参数信息调整一个或多个该会议终端的能力档次。

上述方式同样涉及服务器动态调整编码的方法，以带来更好的编码质量。

进一步的，在依据该各能力档次对应的编码规则对待传输数据进行一次或多次编码之前，还包括：接收多个该会议终端发送的视频数据；对接收到的多个视频数据进行编排得到该待传输数据。

上述方案是对服务器处理视频数据的说明。服务器接收多个终端发送的视频数据，对视频数据解码后编排处理，将处理后的数据再次编码发给所有与会设备，从而实现了视频会议的基本功能，这样会议终端就可以通过屏幕显示看到所有的与会者。

本发明实施例一的方法同样可以适用于音频数据，不过对于音频数据而言，其媒体参数一般仅涉及到码率，因此在设置能力档次以及编码时也需要进行适应性的调整。不过需要说明的是，音频编码相较于视频编码对服务器性能消耗很小。

实施例二

本发明实施例二提供了一种视频会议服务器。图3是根据本发明实施例二的一种视频会议服务器框图，如图3所示，该视频会议服务器包括存储器32和处理器34，其中，该存储器中存储有数据传输指令，该处理器通过执行该数据传输指令以实现以下操作：

确定视频会议中多个会议终端的能力档次以及各能力档次对应的编码规则；依据该各能力档次对应的编码规则对待传输数据进行一次或多次编码；将编码后的数据发送给各该编码规则对应能力档次的会议终端。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：获取该多个会议终端的媒体参数信息，其中，该媒体参数信息包括码率、分辨率和帧率；根据该媒体参数信息设置该多个会议终端的能力档次。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：接收第一会议终端反馈的当前下行码率，其中，该第一会议终端为视频会议中设置有辅助功能的会议终端，该辅助功能包括体验质量qoe、自动升降速或fec反向纠错；获取第二会议终端的上行码率，其中，该第二会议终端为视频会议中未设置辅助功能的会议终端。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：在该第一会议终端设置有自动升降速和fec功能的情况下，接收fec功能对应的当前下行码率。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：判断是否对该第二会议终端发送的数据进行解码；在判断结果为是的情况下，检测获得该第二会议终端的当前上行码率；在判断结果为否的情况下，获取该第二会议终端的协商码率或者该第二会议终端停止解码前检测到的上行码率。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：依据该各能力档次对应的帧率、分辨率和码率对该待传输数据进行一次或多次编码；或者，在一个或多个会议终端离开视频会议的情况下，确定离开的会议终端所对应的能力档次中剩余会议终端的最小码率；依据该最小码率对该待传输数据进行编码。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：在检测到一个或多个该会议终端的媒体参数信息发生变化的情况下，根据变化后的媒体参数信息调整一个或多个该会议终端的能力档次。

进一步的，该处理器还通过执行该数据传输指令以实现以下操作：接收多个该会议终端发送的视频数据；对接收到的多个视频数据进行编排得到该待传输数据。

实施例三

本发明实施例三提供了一种视频会议系统。图4是根据本发明实施例三的一种视频会议系统框图，如图4所示，该系统包含视频会议服务器42、多个会议终端44。

其中，视频会议终端42，用于确定视频会议中多个会议终端44的能力档次以及各能力档次对应的编码规则；依据该各能力档次对应的编码规则对待传输数据进行一次或多次编码；将编码后的数据发送给各该编码规则对应能力档次的会议终端。

会议终端44，用于接收该编码后的数据，并解码播放。

进一步的，该视频会议终端还用于获取该多个会议终端的媒体参数信息，其中，该媒体参数信息包括码率、分辨率和帧率；根据该媒体参数信息设置该多个会议终端的能力档次。

进一步的，该视频会议终端还用于接收第一会议终端反馈的当前下行码率，其中，该第一会议终端为视频会议中设置有辅助功能的会议终端，该辅助功能包括体验质量qoe、自动升降速或fec反向纠错；获取第二会议终端的上行码率，其中，该第二会议终端为视频会议中未设置辅助功能的会议终端。

进一步的，该视频会议终端还用于在该第一会议终端设置有自动升降速和fec功能的情况下，接收fec功能对应的当前下行码率。

进一步的，该视频会议终端还用于判断是否对该第二会议终端发送的数据进行解码；在判断结果为是的情况下，检测获得该第二会议终端的当前上行码率；在判断结果为否的情况下，获取该第二会议终端的协商码率或者该第二会议终端停止解码前检测到的上行码率。

进一步的，该视频会议终端还用于依据该各能力档次对应的帧率、分辨率和码率对该待传输数据进行一次或多次编码；或者，在一个或多个会议终端离开视频会议的情况下，确定离开的会议终端所对应的能力档次中剩余会议终端的最小码率；依据该最小码率对该待传输数据进行编码。

进一步的，该视频会议终端还用于在检测到一个或多个该会议终端的媒体参数信息发生变化的情况下，根据变化后的媒体参数信息调整一个或多个该会议终端的能力档次。

进一步的，该视频会议终端还用于接收多个该会议终端发送的视频数据；对接收到的多个视频数据进行编排得到该待传输数据。

实施例四

本发明的实施例四还提供了一种存储介质。可选地，在本实施例四中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

s1，确定视频会议中多个会议终端的能力档次以及各能力档次对应的编码规则；

s2，依据该各能力档次对应的编码规则对待传输数据进行一次或多次编码；

s3，将编码后的数据发送给各该编码规则对应能力档次的会议终端。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述步骤s1、s2以及s3。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

以上所述仅为本发明的优选实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。