视频数据流的分配方法、装置和系统与流程

文档序号:15170152发布日期:2018-08-14 17:53阅读:213来源:国知局

本发明涉及通信技术应用领域,具体而言,涉及一种视频数据流的分配方法、装置和系统。



背景技术:

随着通信技术的发展,为人们提供了各种便利,例如,购物、吃饭、缴费等等,特别是在办公领域,从电话传真时代,公司与公司之间,公司与个人之间,以及人与人之间的通信沟通,到视频时代,即使分隔两地,甚至身处异国,只要约定好时间,两个,或多个用户将可以通过网络开视频会议。

目前使用的视频会议的视频流传输方式主要有:服务器转发方式和媒体控制单元(mediacontrolunit,简称mcu)中转方式两种,以三端入会的视频会议为例:

方式一,使用服务器转发的视频会议模式,图1a是三个视频终端向转发服务器收发视频流的示意图,如图1a所示,三个视频终端a、b、c入会,各自将采集到的视频流a、b、c发送给转发服务器。转发服务器根据视频会议参会人员,转发b、c的视频流给终端a;转发a、c的视频流给终端b;转发a、b的视频流给终端c。最终视频终端显示图如图1b显示,图1b是三个视频终端中任一终端显示画面的示意图。

方式二,使用mcu中转的视频会议模式,图1c是三个视频终端向转发服务器收发视频流由mcu混频的示意图,如图1c所示,三个视频终端a、b、c入会,各自将采集到的视频流a、b、c发送给转发服务器。转发服务器将视频流a、b、c都转发给媒体控制单元。mcu先将视频流a、b、c解码成为yuv的图像格式,再将yuv的图像格式进行分辨率切换,将视频流a、b、c混屏成一个yuv图像,再将混频后的yuv图像重新编码成媒体流。最后将muc混屏后的媒体流发送给终端a,终端b和终端c。

最终方式一或方式二的视频终端显示图将如图1b显示。

在现有的实现过程中,使用mcu中转的视频会议模式,合成视频后发给终端,在实际使用过程中,多了视频解码、混屏、编码的操作,加大了视频的网络延时。同时,增加了服务端的资源开销,需要有额外的mcu或编解码设备,增加了视频会议成本。

在使用服务器转发模式的过程中,每个终端只上传一路媒体流,但是在上传的过程中每个终端上传的媒体流的规格(码流大小和分辨率等级)均是一样的,如果每一路接收流接收主画面规格的流,会导致接收带宽太大;如果每一路接收流接收非主画面规格的流,会导致主画面太模糊,影响参会人员用户体验。

针对上述现有技术中由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议显示效率低的问题,目前尚未提出有效的解决方案。



技术实现要素:

本发明实施例提供了一种视频数据流的分配方法、装置和系统,以至少解决由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

根据本发明实施例的一个方面,提供了一种视频数据流的分配系统,包括:服务器和至少两个终端,其中,至少两个终端,用于向服务器上传媒体流;服务器,用于接收来自终端的媒体流,对至少两个终端分别匹配对应的待显示媒体流,并将待显示媒体流分别返回对应的终端。

可选的,至少两个终端包括:图像采集装置和媒体流处理装置,其中,图像采集装置,用于采集终端当前所处环境的图像,和/或,终端中的显示装置显示的图像;媒体流处理装置,与图像采集装置连接,用于将图像依据预设编码格式进行编码,得到至少两类媒体流,其中,至少两类媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流。

进一步地,可选的,图像采集装置包括:外接摄像采集设备和/或内嵌有窗口截取软件的装置。

可选的,服务器,包括:第一接收单元,第一解析单元和第一分配单元,其中,第一接收单元,用于接收至少两个终端中的第一终端发送的第一媒体流获取请求和第二终端发送的第二媒体流获取请求;第一解析单元,与第一接收单元连接,用于依据接收到的第一媒体流获取请求和第二媒体流获取请求,获取第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态;第一分配单元,与第一解析单元连接,用于依据第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态,分别对第一终端和第二终端分配对应的待显示媒体流。

可选的,服务器,包括:第二接收单元,第二解析单元和第二分配单元,其中,第二接收单元,用于接收至少两个终端中的第一终端发送的第一媒体流获取请求和第二终端发送的第二媒体流获取请求;第二解析单元,与第二接收单元连接,用于依据第一媒体流获取请求和第二媒体流获取请求获取第一终端和第二终端所需的媒体流的显示类型;第二分配单元,与第二解析单元连接,用于依据显示类型对第一终端和第二终端分配对应的待显示媒体流。

可选的,媒体流包括:音频、视频、图像或文本中的一种或至少两种的组合。

根据本发明实施例的另一方面,还提供了一种视频数据流的分配方法,包括:向服务器上传多路媒体流,其中,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流;多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;接收服务器分配的待显示媒体流;显示待显示媒体流。

根据本发明实施例的另一方面,还提供了另一种视频数据流的分配方法,包括:向服务器上传多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;接收服务器分配的待显示媒体流;显示待显示媒体流。

可选的,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流。

可选的,在向服务器发送媒体流获取请求之前,该方法还包括:将设备类型和/或带宽传输状态进行封装,得到媒体流获取请求。

可选的,在向服务器发送媒体流获取请求之前,该方法还包括:将用于在主画面显示的媒体流类型进行封装,得到媒体流获取请求,其中,媒体流类型包括:参与视频中的终端标识和当前显示分辨率。

根据本发明实施例的又一方面,还提供了一种视频数据流的分配方法,包括:接收各个终端上传的多路媒体流;接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流。

根据本发明实施例的又一方面,还提供了另一种视频数据流的分配方法,包括:接收各个终端上传的多路媒体流;接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率。

根据本发明实施例的又一方面,还提供了又一种视频数据流的分配方法,包括:接收各个终端上传的多路媒体流;接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率;将携带对应各个终端的设备类型和/或带宽传输状态的待显示媒体流,或,依据媒体流获取请求获取的各个终端指定的待显示媒体流发送至各个终端。

根据本发明实施例的再一方面,还提供了一种视频数据流的分配装置,包括:第一上传模块,用于向服务器上传多路媒体流,其中,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流;多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;第一发送模块,用于向服务器发送媒体流获取请求,其中,媒体流获取请求为获取视频中其他终端的媒体流的请求;第一接收模块,用于接收服务器分配的待显示媒体流;第一显示模块,用于显示待显示媒体流。

根据本发明实施例的再一方面,还提供了另一种视频数据流的分配装置,包括:第二上传模块,用于向服务器上传多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;第二发送模块,用于向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第二接收模块,用于接收服务器分配的待显示媒体流;第二显示模块,用于显示待显示媒体流。

根据本发明另一实施例的一方面,还提供了另一种视频数据流的分配装置,包括:第三接收模块,用于接收各个终端上传的多路媒体流;第四接收模块,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第一分配模块,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流。

根据本发明另一实施例的一方面,还提供了又一种视频数据流的分配装置,包括:第五接收模块,用于接收各个终端上传的多路媒体流;第六接收模块,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第二分配模块,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率。

根据本发明另一实施例的一方面,还提供了再一种视频数据流的分配装置,包括:第七接收模块,用于接收各个终端上传的多路媒体流;第八接收模块,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第三分配模块,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率;第三发送模块,用于将携带对应各个终端的设备类型和/或带宽传输状态的待显示媒体流,或,依据媒体流获取请求获取的各个终端指定的待显示媒体流发送至各个终端。

在本发明实施例中,通过服务器和至少两个终端,其中,至少两个终端,用于向服务器上传媒体流;服务器,用于接收来自终端的媒体流,对至少两个终端分别匹配对应的待显示媒体流,并将待显示媒体流分别返回对应的终端,达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1a是三个视频终端向转发服务器收发视频流的示意图;

图1b是三个视频终端中任一终端显示画面的示意图;

图1c是三个视频终端向转发服务器收发视频流由mcu混频的示意图;

图2是本申请一个实施例提供的视频数据流的分配系统的结构示意图;

图3是本申请一个实施例提供的一种视频数据流的分配系统的交互示意图;

图4是本申请一个实施例提供的一种视频数据流的分配系统的结构示意图;

图5是根据本申请实施例二的视频数据流的分配方法的流程图;

图6是根据本申请实施例三的视频数据流的分配方法的流程图;

图7是根据本申请实施例四的视频数据流的分配方法的流程图;

图8是根据本申请实施例五的视频数据流的分配方法的流程图;

图9是根据本申请实施例六的视频数据流的分配方法的流程图;

图10是根据本申请实施例七的视频数据流的分配装置的结构示意图

图11是根据本申请实施例八的视频数据流的分配装置的结构示意图;

图12是根据本申请实施例九的视频数据流的分配装置的结构示意图;

图13是根据本申请实施例十的视频数据流的分配装置的结构示意图;

图14是根据本申请实施例十一的视频数据流的分配装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:

媒体流:由终端侧采集的多媒体数据流。其中,该多媒体数据流中可以包括:图像、文字或声音中的任意一种或至少两种的组合,例如音视频信号。

实施例1

根据本申请实施例,提供了一种视频数据流的分配系统的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例提供的视频数据流的分配系统,可以适用于视频会议,该分配系统中分配的数据流以媒体流体现,其中,该分配系统包括:服务器和至少两个终端,由至少两个终端分别上传各自终端的多路媒体流至服务器,在视频会议的过程中,服务器依据各个终端的媒体流获取请求分配对应的媒体流,从而避免了现有技术中出现的由于各个终端都上传相同规格的媒体流造成的,在服务器分配各个媒体流时,由于终端类型以及传输带宽的影响,将同规格的媒体流分配给不同终端造成的传输时终端所处带宽传输压力大的问题,其中,上述规格可以包括:码流大小和分辨率等级。

图2是本申请一个实施例提供的视频数据流的分配系统的结构示意图,如图2所示,该视频数据流的分配系统,包括:服务器21和至少两个终端22,其中,

至少两个终端22,用于向服务器21上传媒体流;服务器21,与至少两个终端22连接,用于接收来自终端的媒体流,对至少两个终端22分别匹配对应的待显示媒体流,并将待显示媒体流分别返回对应的终端。

其中,需要说明的是本申请实施例中的至少两个终端22可以为笔记本电脑、个人电脑(personalcomputer,简称pc)智能手机、智能电视、平板电脑、掌上商务和智能穿戴设备,例如,虚拟现实设备(virtualreality,简称vr)或增强现实设备(augmentedreality,简称ar)。服务器21为未嵌入媒体控制单元mcu的服务器。

具体的,本申请实施例提供的视频数据流的分配系统区别于现有技术的在于,首先,在服务器结构上,本申请实施例中的服务器未嵌入mcu或不需要外接携带mcu的设备,终端可以依据预先设置,在各终端本地显示时,依据媒体流获取请求到的媒体流进行显示,即,省略掉了现有技术中还需要在mcu中经历视频解码、混屏、编码的操作,这些操作加大了视频的网络延时。同时,增加了服务器端的资源开销,需要有额外的mcu或编解码设备,这样会增加视频会议成本。

其次,在媒体流传输上,在各个终端侧,会将采集到的视频数据生成各个等级的媒体流,例如,4k标准(2048分辨率)、1080p分辨率或720p分辨率,依据分辨率的不同进行分类型编码压缩,得到不同分辨率等级的媒体流,或,为保障带宽的正常传输,依据不同码流的大小对视频流进行编码压缩,得到不同码流大小的媒体流。

例如,在终端上传分两路进行上传的情况下,其中一路媒体流可以设置为分辨率为1280*720,码率为2000kbps;另一路媒体流设置分辨率为160*90,码率为56kbps;

在分三路进行上传的情况下,第一路媒体流设置分辨率为1280*720,码率为2000kbps;第二路媒体流设置分辨率为640*360,码率为512kbps;第三路媒体流设置分辨率为160*90,码率为56kbps。

最后将多路媒体流上传至服务器,在视频会议过程中,服务器根据终端发送的中的媒体流获取请求中指示分配对应的媒体流,或,依据媒体流获取请求中携带的所需显示的终端标识和当前带宽的传输状态,由服务器依据终端标识和当前带宽的传输状态分配对应的媒体流,在媒体流传输上,以及终端显示上都能节约带宽资源上的开销,或,避免显示过程中媒体流的浪费,例如,在能显示720p画质的终端上,显示1080p或2048p画质的媒体流,由于该终端仅能显示720p效果的图像,那么该终端智能通过压缩高码率的媒体流,将分辨率压缩至720p的效果,那么在媒体流的获取过程中将会对带宽资源造成浪费,在显示上其实也是一种浪费。

这里上述多路媒体流的不同等级仅为说明,以实现本申请实施例提供的视频数据流的分配系统为准,具体不做限定。

本申请实施例提供的视频数据流的分配系统要解决的技术问题是属于视频应用领域,可以适用于视频会议,解决在视频应用中,由于参与视频分享的人员太多,如果依据现有技术中下载码流和分辨率统一的媒体流,会导致视频会议终端cpu计算压力太高,内存消耗大,网络带宽占用多,网络延时严重的问题。

其中,本申请实施例提的视频数据流的分配系统降低终端cpu计算压力、降低内存消耗以及节约网络带宽表现在由于是通过服务器适配对应的媒体流,会比现有技术中获取的过程中节约很多带宽,同时由于对终端适配对应的媒体流,在终端播放的过程中节约了终端内部的资源,例如,减轻存储压力,以及计算压力(解码过程的运算压力);并且,由于本申请实施例中省略了mcu或携带有mcu的服务器混频的过程,将解决网络延时的问题。

在本申请实施例提供的视频数据流的分配系统中,通过服务器和至少两个终端,其中,至少两个终端,用于向服务器上传媒体流;服务器,用于接收来自终端的媒体流,对至少两个终端分别匹配对应的待显示媒体流,并将待显示媒体流分别返回对应的终端,达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

可选的,至少两个终端22包括:

图像采集装置和媒体流处理装置,其中,图像采集装置,用于采集终端当前所处环境的图像,和/或,该终端中的显示装置显示的图像;媒体流处理装置,与图像采集装置连接,用于将图像依据预设编码格式进行编码,得到至少两类媒体流,其中,至少两类媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流。

其中,在本申请实施例提供的视频数据流的分配系统中可以以至少两个终端为例进行说明,需要说明的是,每个终端中至少要包括上述图像采集装置以及媒体流出来装置,基于上述对媒体流分级编码压缩,通过图像采集装置采集当前终端当前所处环境的图像,和/或,该终端中的显示装置显示的图像,通过媒体流处理装置,依据预设编码格式对该图像进行编码,得到至少两类的媒体流。

需要说明的是,该显示装置显示的图像可以为用于显示各个类型文本的应用窗口,例如:word文档、ppt、excel表格、autocad、viso等等。

进一步地,可选的,图像采集装置包括:外接摄像采集设备和/或内嵌有窗口截取软件的装置。

其中,本申请实施例提供的视频数据流的分配系统由于适用于视频会议,在获取媒体流的过程中除了常规意义上对当前某一终端所处环境进行拍摄,依据拍摄的画面得到媒体流之外,还可以通过内嵌有窗口截取软件的装置获取该终端当前显示的应用窗口,以使得在视频会议个人发言时展示当前发言人所讲述的文本图像。

可选的,服务器21,包括:第一接收单元,第一解析单元和第一分配单元,其中,第一接收单元,用于接收至少两个终端中的第一终端发送的第一媒体流获取请求和第二终端发送的第二媒体流获取请求;第一解析单元,与第一接收单元连接,用于依据接收到的第一媒体流获取请求和第二媒体流获取请求,获取第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态;第一分配单元,与第一解析单元连接,用于依据第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态,分别对第一终端和第二终端分配对应的待显示媒体流。

可选的,服务器21,包括:第二接收单元,第二解析单元和第二分配单元,其中,第二接收单元,用于接收至少两个终端中的第一终端发送的第一媒体流获取请求和第二终端发送的第二媒体流获取请求;第二解析单元,与第二接收单元连接,用于依据第一媒体流获取请求和第二媒体流获取请求获取第一终端和第二终端所需的媒体流的显示类型;第二分配单元,与第二解析单元连接,用于依据显示类型对第一终端和第二终端分配对应的待显示媒体流。

其中,服务器21侧,图3是本申请一个实施例提供的一种视频数据流的分配系统的交互示意图,如图3所示,在分配媒体流时,分为两种情况:

情况一,依据各终端各自设备类型和带宽传输状态对各终端分配对应的待显示媒体流;以两个终端为例,

s1,在视频会议过程中,第一终端向服务器发送第一媒体流获取请求;第二终端向服务器发送第二媒体流获取请求;

s2,服务器依据第一媒体流获取请求和第二媒体流获取请求进行解析,分别得到第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态;

s3,服务器依据第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态分别分配对应的待显示媒体流。

需要说明的是,在步骤s2中,服务器得到的第一终端的设备类型和带宽传输状态,以及第二终端的设备类型和带宽传输状态可以通过在建立通信连接时得到,也可以由各终端分别发送各自的媒体流获取请求中携带,这里本申请不做限定,以实现本申请实施例提供的视频会议数据流的分配系统为准。

情况二,依据各终端指定要求的媒体流,分配对应的待显示媒体流;仍依据上述两个终端举例,

s1,在视频会议过程中,第一终端向服务器发送第一媒体流获取请求;第二终端向服务器发送第二媒体流获取请求;

s2,服务器依据第一媒体流获取请求和第二媒体流获取请求,获取第一终端和第二终端所需的媒体流的显示类型;

s3,服务器依据第一终端和第二终端所需的媒体流的显示类型,分别对第一终端和第二终端分配对应的待显示媒体流。

上述示例以两个终端为例进行说明,三个乃至更多的终端在本申请实施例提供的视频数据流的分配系统中,实现方式相同,此处不再赘述。

可选的,媒体流包括:音频、视频、图像或文本中的一种或至少两种的组合。

综上,在本申请实施例提供的视频数据流的分配系统中,图4是本申请一个实施例提供的一种视频数据流的分配系统的结构示意图,如图4所示,在每个终端摄像头采集到视频数据后,将摄像头数据发送给两路或更多路流。每路媒体流,根据需要,设定不通的分辨率、码率、帧率。图4所示的结构中以三个终端为例进行说明。

在实际使用过程中,需要设置为图1b中的主画面a的媒体流为较高的分辨率和码率。设置图1b中的换面b和画面c的媒体流时,只需要比较低的分辨率和码率。多路流分辨率的宽高比须保持一致,在视频主画面和小画面切换时,有更好的用户体验。

所以,在终端上传时,可以同时上传两路媒体流或更多路媒体流,方便接收终端进行选择;当用户更改主画面时,实时切换所需显示的媒体流即可完成该功能。

目前两路流上传时,一路媒体流设置分辨率为1280*720,码率为2000kbps;另一路媒体流设置分辨率为160*90,码率为56kbps。

三路流上传时可以设置为:第一路媒体流设置分辨率为1280*720,码率为2000kbps;第二路媒体流设置分辨率为640*360,码率为512kbps;第三路媒体流设置分辨率为160*90,码率为56kbps。

当终端a的两路流或三路流上传到转发服务器后,终端b和终端c可以选择终端a上传的哪一路流作为当前显示的媒体流。而不显示的那几路媒体流,终端b和终端c没有必要下载。根据实际需要,如果要在主画面显示,则选择高分辨率和码率的媒体流,从而达到更好的用户体验;如果不在主画面显示,则选择低分辨率和码率的媒体流,从而降低网络带宽,减少终端的cpu和内存开销。

本申请提供的实施例采用同时上传两路或更多路流的方法,对同一个画面上传多路视频,对视频的分辨率、清晰度进行分级。各个接收终端根据自身需要,选择需要接收的流,满足主画面高分辨率和清晰度的同时,减少画面b和画面c的分辨率和码率。最终达到较好的用户体验同时尽量少的占用网络带宽和cpu、内存开销。

实施例2

在上述运行环境下,本申请提供了如图5所示的视频数据流的分配方法。在终端侧,图5是根据本申请实施例二的视频数据流的分配方法的流程图。

步骤s502,向服务器上传多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;

本申请上述步骤s502中,基于实施例一中提供的运行环境,本申请实施例提供的视频会议数据流的分配方法可以适用于终端侧,其中,终端向服务器上传多路媒体流。

具体的,基于实施例一,本实施例中终端上传的多路媒体流为终端通过图像采集装置拍摄得到的视频流,以预设编码格式的方式,按照不同像素和/或码流大小标准对同一视频流进行压缩,得到对应不同像素和码流大小标准的多个媒体流,将得到的多个媒体流确定为多路媒体流,进而将该多路媒体流上传至服务器。

步骤s504,向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;

本申请上述步骤s504中,在视频会议过程中,即,可以为视频会议开始之前,也可以为视频会议时后需要与其他终端交互过程中,以与其他终端进行通信交互为例,终端向服务器发送媒体流获取请求,以使得服务器依据该媒体流获取请求,分配对应的媒体流。

步骤s506,接收服务器分配的待显示媒体流;

本申请上述步骤s506中,基于上述步骤s504中向服务器发送的媒体流获取请求,终端接收服务器返回的待显示媒体流。

步骤s508,显示待显示媒体流。

本申请上述步骤s508中,基于上述步骤s506中接收到的服务器返回的待显示媒体流,终端显示该待显示媒体流。

具体的,在终端向服务器发送媒体流获取请求之后,服务器返回的待显示媒体流可以为至少一个终端的待显示媒体流,即,假设当前终端为终端a,在终端a向服务器发送媒体流获取请求之后,服务器返回的待显示媒体流将可以包括终端b、终端c或终端d等等参与当前视频会议的终端的待显示媒体流,以达到在终端a侧显示如图1b显示的画面。

结合步骤s502至步骤s508,本实施例提供的终端中在视频会议场景下,各个终端的执行步骤均与步骤s502至步骤508相同,此处不再赘述。

在本申请实施例提供的视频数据流的分配方法中,通过向服务器上传多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;接收服务器分配的待显示媒体流;显示待显示媒体流,达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

可选的,步骤s502中向服务器上传多路媒体流包括:

step1,通过图像采集装置采集图像,生成媒体流;

step2,依据预设编码格式对媒体流进行编码,得到多路媒体流;

step3,向服务器上传多路媒体流。

具体的,基于实施例一中终端对媒体流进行分别编码的过程,将采集到的视频数据生成各个等级的媒体流,例如,4k标准(2048分辨率)、1080p分辨率或720p分辨率,依据分辨率的不同进行分类型编码压缩,得到不同分辨率等级的媒体流,或,为保障带宽的正常传输,依据不同码流的大小对视频流进行编码压缩,得到不同码流大小的媒体流。

例如,在终端上传分两路进行上传的情况下,其中一路媒体流可以设置为分辨率为1280*720,码率为2000kbps;另一路媒体流设置分辨率为160*90,码率为56kbps;

在分三路进行上传的情况下,第一路媒体流设置分辨率为1280*720,码率为2000kbps;第二路媒体流设置分辨率为640*360,码率为512kbps;第三路媒体流设置分辨率为160*90,码率为56kbps。

需要说明的是,上述示例仅为说明向服务器上传多路媒体流的过程,以实现本申请实施例提供的视频数据流的分配方法为准,具体不做限定。

可选的,在步骤s504中向服务器发送媒体流获取请求之前,本申请实施例提供的视频数据流的分配方法还包括:

步骤s503,将设备类型和/或带宽传输状态进行封装,得到媒体流获取请求。

可选的,在步骤s504中向服务器发送媒体流获取请求之前,本申请实施例提供的视频数据流的分配方法中还包括:

步骤s503’,将用于在主画面显示的媒体流类型进行封装,得到媒体流获取请求,其中,媒体流类型包括:参与视频会议中的终端标识和当前显示分辨率。

具体的,上述步骤s503和步骤s503’,分为终端的两种不同的媒体流获取请求的情况,分别对应实施例一中服务器分配媒体流的两种情况:

情况一:将设备类型和/或带宽传输状态进行封装,得到媒体流获取请求;

例如,当前终端的设备类型为笔记本电脑、个人电脑(personalcomputer,简称pc)智能手机、智能电视、平板电脑、掌上商务和智能穿戴设备,例如,虚拟现实设备(virtualreality,简称vr)或增强现实设备(augmentedreality,简称ar)中的任意一种;和/或,通过与服务器的通信交互,测试得到的当前终端与服务器之间的带宽传输状态(链路状态),如果当前带宽传输状态低于预设传输标准,则在媒体流获取请求中可以以当前测试的结果反馈给服务器,由服务器判断分配给当前终端那类待显示媒体流。

情况二:将用于在主画面显示的媒体流类型进行封装,得到媒体流获取请求;

例如,当前终端直接向服务器指示当前终端的主画面显示的媒体流类型,以及其他显示窗口的显示媒体流,即,假设当前终端a,向服务器指示当前主画面为需要显示终端b的媒体流,且由于当前与服务器之间的链路传输速率慢,用于下载终端b媒体流的带宽低,则向服务器指示获取终端b的媒体流中满足终端a当前显示的媒体流,将上述标准进行封装,得到媒体流获取请求。

实施例3

在上述运行环境下,本申请提供了如图6所示的视频数据流的分配方法。在终端侧,图6是根据本申请实施例三的视频数据流的分配方法的流程图。

步骤s602,向服务器上传多路媒体流,其中,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流;多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;

步骤s604,向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;

步骤s606,接收服务器分配的待显示媒体流;

步骤s608,显示待显示媒体流。

在本申请实施例提供的视频数据流的分配方法中,通过向服务器上传多路媒体流,其中,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流;多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;接收服务器分配的待显示媒体流;显示待显示媒体流,达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

实施例4

在上述运行环境下,本申请提供了如图7所示的视频数据流的分配方法。在服务器侧,图7是根据本申请实施例四的视频数据流的分配方法的流程图。

步骤s702,接收各个终端上传的多路媒体流;

本申请上述步骤s702中,基于实施例一中提供的运行环境,本申请实施例提供的视频数据流的分配方法可以适用于服务器侧,其中,服务器接收各个终端上传的多路媒体流。

具体的,对应实施例2中提到的,每个终端在上传媒体流时将以多路上传的形式上传至服务器,所以在服务器侧,对于一个终端上传的媒体流将会接到同一媒体内容不同类型的媒体流。

步骤s704,接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;

本申请上述步骤s704中,在视频会议过程中,服务器接收各个终端发送的媒体流获取请求。

步骤s706,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流。

本申请上述步骤s706中,基于步骤s704中接收到的媒体流获取请求,服务器通过解析各个终端发送的媒体流获取请求,获取各个终端的需求,进而依据该需求对各个终端分配对应的待显示媒体流。

在本申请实施例提供的视频数据流的分配方法中,通过接收各个终端上传的多路媒体流;在视频会议过程中,接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取参于视频会议中其他终端的媒体流的请求;依据媒体流获取请求对各个终端分配对应的待显示媒体流。达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

实施例5

在上述运行环境下,本申请提供了如图8所示的视频数据流的分配方法。在服务器侧,图8是根据本申请实施例五的视频数据流的分配方法的流程图。

步骤s802,接收各个终端上传的多路媒体流;

步骤s804,接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;

步骤s806,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;

其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:

解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;

或者,

解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率。

具体的,步骤s806中依据媒体流获取请求对各个终端分配对应的待显示媒体流包括:

step1,解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;

step2,依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流。

或者,

step1’,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;

step2’,依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:参与视频会议中的终端标识和当前显示分辨率。

具体的,对应实施例二中的步骤s503和步骤s503’,在服务器侧,对应实施例二中终端的步骤s503中,对应的为本实施例中步骤s806中的step1和step2;对应实施例二中终端的步骤s503’中,对应的为本实施例中步骤s806中的step1’和step2’。

即,对应实施例一中在服务器分配媒体流时,分为的情况一和情况二。

这里本实施例区别于实施例4,服务器依据各个终端发送的媒体流获取请求,依据该媒体流获取请求中的不同的指示,对各个终端分配不同的媒体流。

在本申请实施例提供的视频数据流的分配方法中,通过接收各个终端上传的多路媒体流;接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率。达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

实施例6

在上述运行环境下,本申请提供了如图9所示的视频数据流的分配方法。在服务器侧,图9是根据本申请实施例六的视频数据流的分配方法的流程图。

步骤s902,接收各个终端上传的多路媒体流;

步骤s904,接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;

步骤s906,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率;

步骤s908,将携带对应各个终端的设备类型和/或带宽传输状态的待显示媒体流,或,依据媒体流获取请求获取的各个终端指定的待显示媒体流发送至各个终端。

这里本实施例区别于实施例5,在服务器侧,对各个终端分配待显示媒体流后,服务器将该待显示媒体流返回至各个终端。

在本申请实施例提供的视频数据流的分配方法中,通过接收各个终端上传的多路媒体流;接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率;将携带对应各个终端的设备类型和/或带宽传输状态的待显示媒体流,或,依据媒体流获取请求获取的各个终端指定的待显示媒体流发送至各个终端。达到了依据终端需求分配对应媒体流的目的,从而实现了依据终端显示能力分配对应媒体流的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的视频会议数据流的分配方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

实施例7

根据本发明实施例,还提供了一种用于实施上述方法实施例的装置实施例,本申请上述实施例所提供的装置可以在终端上运行。

图10是根据本申请实施例七的视频数据流的分配装置的结构示意图。

如图10所示,该视频数据流的分配装置可以包括:第二上传模块1002、第二发送模块1004、第二接收模块1006和第二显示模块1008。

其中,第二上传模块1002,用于向服务器上传多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;第二发送模块1004,用于向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第二接收模块1006,用于接收服务器分配的待显示媒体流;第二显示模块1008,用于显示待显示媒体流。

在本申请实施例中,通过第二上传模块,用于向服务器上传多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;第二发送模块,用于向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第二接收模块,用于接收服务器分配的待显示媒体流;第二显示模块,用于显示待显示媒体流,达到了能够依据事件的节点结构执行对应数据处理的目的,从而实现了提升对网络平台事件的处理效率的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

此处需要说明的是,上述第二上传模块1002、第二发送模块1004、第二接收模块1006和第二显示模块1008对应于实施例二中的步骤s502至步骤s508,该四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例二所公开的内容。需要说明的是,上述四个模块作为装置的一部分可以运行在实施例二提供的终端中,可以通过软件实现,也可以通过硬件实现。

实施例8

根据本发明实施例,还提供了一种用于实施上述方法实施例的装置实施例,本申请上述实施例所提供的装置可以在终端上运行。

图11是根据本申请实施例八的视频数据流的分配装置的结构示意图。

如图11所示,该视频数据流的分配装置可以包括:第一上传模块1102、第一发送模块1104、第一接收模块1106和第一显示模块1108。

其中,第一上传模块1102,用于向服务器上传多路媒体流,其中,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流;多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;第一发送模块1104,用于向服务器发送媒体流获取请求,其中,媒体流获取请求为获取视频中其他终端的媒体流的请求;第一接收模块1106,用于接收服务器分配的待显示媒体流;第一显示模块1108,用于显示待显示媒体流。

在本申请实施例中,通过第一上传模块,用于向服务器上传多路媒体流,其中,向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流;向服务器上传多路媒体流;多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;第一发送模块,用于向服务器发送媒体流获取请求,其中,媒体流获取请求为获取视频中其他终端的媒体流的请求;第一接收模块,用于接收服务器分配的待显示媒体流;第一显示模块,用于显示待显示媒体流,达到了能够依据事件的节点结构执行对应数据处理的目的,从而实现了提升对网络平台事件的处理效率的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

此处需要说明的是,上述第一上传模块1102、第一发送模块1104、第一接收模块1106和第一显示模块1108对应于实施例三中的步骤s602至步骤s608,该四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例三所公开的内容。需要说明的是,上述四个模块作为装置的一部分可以运行在实施例三提供的终端中,可以通过软件实现,也可以通过硬件实现。

实施例9

根据本发明实施例,还提供了一种用于实施上述方法实施例的装置实施例,本申请上述实施例所提供的装置可以在服务器上运行。

图12是根据本申请实施例九的视频数据流的分配装置的结构示意图。

如图12所示,该视频数据流的分配装置可以包括:第三接收模块1202、第四接收模块1204和第一分配模块1206。

其中,第三接收模块1202,用于接收各个终端上传的多路媒体流;第四接收模块1204,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第一分配模块1206,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流。

在本申请实施例中,通过第三接收模块,用于接收各个终端上传的多路媒体流;第四接收模块,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第一分配模块,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流,达到了能够依据事件的节点结构执行对应数据处理的目的,从而实现了提升对网络平台事件的处理效率的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

此处需要说明的是,上述第三接收模块1202、第四接收模块1204和第一分配模块1206对应于实施例四中的步骤s702至步骤s706,该三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例四所公开的内容。需要说明的是,上述三个模块作为装置的一部分可以运行在实施例四提供的服务器中,可以通过软件实现,也可以通过硬件实现。

实施例10

根据本发明实施例,还提供了一种用于实施上述方法实施例的装置实施例,本申请上述实施例所提供的装置可以在服务器上运行。

图13是根据本申请实施例十的视频数据流的分配装置的结构示意图。

如图13所示,该视频数据流的分配装置可以包括:第五接收模块1302、第六接收模块1304和第二分配模块1306。

其中,第五接收模块1302,用于接收各个终端上传的多路媒体流;第六接收模块1304,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第二分配模块1306,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率。

在本申请实施例中,通过第五接收模块,用于接收各个终端上传的多路媒体流;第六接收模块,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第二分配模块,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率,达到了能够依据事件的节点结构执行对应数据处理的目的,从而实现了提升对网络平台事件的处理效率的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

此处需要说明的是,上述第五接收模块1302、第六接收模块1304和第二分配模块1306对应于实施例五中的步骤s802至步骤s806,该三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例五所公开的内容。需要说明的是,上述三个模块作为装置的一部分可以运行在实施例五提供的服务器中,可以通过软件实现,也可以通过硬件实现。

实施例11

根据本发明实施例,还提供了一种用于实施上述方法实施例的装置实施例,本申请上述实施例所提供的装置可以在服务器上运行。

图14是根据本申请实施例十一的视频数据流的分配装置的结构示意图。

如图14所示,该视频数据流的分配装置可以包括:第七接收模块1402、第八接收模块1404、第三分配模块1406和第三发送模块1408。

其中,第七接收模块1402,用于接收各个终端上传的多路媒体流;第八接收模块1404,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第三分配模块1406,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率;第三发送模块1408,用于将携带对应各个终端的设备类型和/或带宽传输状态的待显示媒体流,或,依据媒体流获取请求获取的各个终端指定的待显示媒体流发送至各个终端。

在本申请实施例中,通过第七接收模块,用于接收各个终端上传的多路媒体流;第八接收模块,用于接收各个终端发送的媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;第三分配模块,用于依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流;其中,依据媒体流获取请求和各个终端上传的多路媒体流,对各个终端分配对应的待显示媒体流包括:解析媒体流获取请求,获取各个终端的设备类型和/或带宽传输状态;依据设备类型和/或带宽传输状态对各个终端分配对应的待显示媒体流;或者,解析媒体流获取请求,获取各个终端用于在主画面显示的媒体流类型;依据媒体流类型对各个终端分配对应的待显示媒体流,其中,媒体流类型包括:终端标识和当前显示分辨率;第三发送模块,用于将携带对应各个终端的设备类型和/或带宽传输状态的待显示媒体流,或,依据媒体流获取请求获取的各个终端指定的待显示媒体流发送至各个终端,达到了能够依据事件的节点结构执行对应数据处理的目的,从而实现了提升对网络平台事件的处理效率的技术效果,进而解决了由于媒体控制器或服务器转发各终端视频流的过程中,导致的视频会议中媒体流传输效率低的技术问题。

此处需要说明的是,上述第七接收模块1402、第八接收模块1404、第三分配模块1406和第三发送模块1408对应于实施例六中的步骤s902至步骤s908,该四个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例六所公开的内容。需要说明的是,上述四个模块作为装置的一部分可以运行在实施例六提供的服务器中,可以通过软件实现,也可以通过硬件实现。

实施例12

本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的视频数据流的分配方法所执行的程序代码。

可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:向服务器上传多路媒体流;向服务器发送媒体流获取请求,其中,媒体流获取请求为获取其他终端的媒体流的请求;接收服务器分配的待显示媒体流;显示待显示媒体流。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:向服务器上传多路媒体流包括:通过图像采集装置采集图像,生成媒体流;依据预设编码格式对媒体流进行编码,得到多路媒体流,其中,多路媒体流,用于服务器依据不同终端的显示能力和带宽传输状态分配对应分辨率以及码流的媒体流;向服务器上传多路媒体流。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在向服务器发送媒体流获取请求之前,将设备类型和/或带宽传输状态进行封装,得到媒体流获取请求。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在向服务器发送媒体流获取请求之前,将用于在主画面显示的媒体流类型进行封装,得到媒体流获取请求,其中,媒体流类型包括:参与视频会议中的终端标识和当前显示分辨率。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1