视频数据的编码、转发方法、装置、设备及存储介质与流程

本发明实施例涉及视频编码技术，例如，涉及一种视频数据的编码、转发方法、装置、设备及存储介质。

背景技术：

在音视频系统中，网络质量往往是影响音视频体验的核心要素，特别在大型音视频会议系统中，会议中的组网模式多种多样，各会议终端之间的网络信道及网络带宽可能有很大不同，以往的avc(advancedvideocoding)高级视频编码)模式，在编码终端只产生一条固定码率值的码流，那么对网络带宽比较好的会议终端(也即，解码终端或者成员终端)，音视频体效果会比较好，但是对网络带宽差的会议终端，音视频效果就会比较差。例如，在一个音视频会议中，如果有两个成员终端观看主席终端编码生成的视频，成员终端a的带宽是4m，而成员终端b的带宽是1m，那么这时主席终端产生的4m、1080p的码流，对成员终端a来说视频效果会很好而对于成员终端b来说视频效果就会很差，因为码流的带宽值已经大大超出成员b的网络带宽值。

针对上述问题，相关技术通常有两种解决思路：一种是在编码端编码生成多条码流，比如在上面的例子中，主席终端再多产生一条1m的视频码流来满足成员终端b的带宽；另一种是使用svc(scalablevideocoding，可伸缩视频编码)技术进行分层编码，即对码流在时域(帧率)，空间域(分辨率)以及质量域(视频)上分别进行分级，对不同带宽的解码终端分发不同的分层码流数据。

发明人在实现本发明的过程中，发现：针对多码流的解决方案，需要在编码端产生多条码流，如果大部分成员的带宽有很大差别，很难确定需要产生几路码流来覆盖所有带宽的差别，并且如果编码端编码多条码流，无疑会对主机性能有很高的要求；针对svc分层的解决方案，最多也只能产生6个分层，对解码终端的带宽情况也无法做到全面覆盖。

技术实现要素：

本发明实施例提供一种视频数据的编码、转发方法、装置、设备及存储介质，以优化现有的视频编码技术，兼顾编码性能以及对解码终端带宽的覆盖。

第一方面，本发明实施例提供了一种视频编码方法，包括：

编码终端实时生成视频分层数据，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

所述编码终端将所述视频分层数据转发至流媒体服务器；

其中，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽，则实时生成与所述需求带宽匹配的新的视频分层数据。

第二方面，本发明实施例提供了一种视频数据的转发方法，包括：

流媒体服务器接收编码终端实时发送的视频分层数据；

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。

第三方面，本发明实施例提供了一种视频数据的编码装置，应用与编码终端中，包括：

视频分层数据生成模块，用于实时生成视频分层数据，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

视频分层数据转发模块，用于将所述视频分层数据转发至流媒体服务器；

其中，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

视频分层数据再生成模块，用于如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽，则实时生成与所述需求带宽匹配的新的视频分层数据。

第四方面，本发明实施例提供了一种视频数据的转发装置，应用于流媒体服务器中，包括：

分层数据接收模块，用于接收编码终端发送的视频分层数据；

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

视频数据转发模块，用于根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

需求带宽反馈模块，用于如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。

第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的视频数据的编码方法，或者，实现如本发明任一实施例所述的视频数据的转发方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的视频数据的编码方法，或者，实现如本发明任一实施例所述的视频数据的转发方法。

本发明实施例的技术方案通过编码终端实时生成视频分层数据，并将所述视频分层数据转发至流媒体服务器；之后流媒体服务器接收该视频分层数据，并根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发，所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境，适配性的生成多个解码终端均能接收，且能发挥解码终端最优显示性能的视频数据，优化了现有的视频编码技术，兼顾了编码性能以及对解码终端带宽的覆盖，实现灵活性强，带宽覆盖范围广。

附图说明

图1是本发明实施例一中的一种视频数据的编码方法的流程图；

图2a是本发明实施例二中的一种视频数据的编码方法的流程图；

图2b是本发明实施例一中的一种数据分层方式中包括的各项设置参数的示意图；

图3a是本发明实施例三中的一种视频数据的转发方法的流程图；

图3b是本发明实施例的一种具体应用场景的结构图示意图；

图4是本发明实施例四中的一种视频数据的编码装置的结构图；

图5是本发明实施例五中的一种视频数据的转发装置的结构图；

图6是本发明实施例六中的一种计算机设备的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种视频数据的编码方法的流程图，本实施例可适用于编码终端自适应编码生成与多个解码终端的实际带宽环境匹配的视频分层数据的情况，该方法可以由视频数据的编码装置来执行，该装置可以通过软件和/或硬件的方式实现，并一般可以集成在内置有视频编码器的编码终端中，本实施例的方法具体包括如下步骤：

s110、编码终端实时生成视频分层数据，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同。

其中，所述编码终端(也可称为编码源)主要是指内置有视频编码器的计算机设备。视频编码器按照预设的视频压缩标准(例如，h.264-hp)，将多个视频文件分别编码生成独立的视频数据包以及音频数据包，并将上述视频数据包以及音频数据包通过一个流媒体服务器最终传输至多个解码终端进行解码播放。一般来说，编码终端可以和流媒体服务器直接相连，也可以通过一个或者多个接入交换机，和/或一个或者多个路由器间接相连。

在本实施例中，使用一个视频分层数据代替了相关技术中的一个视频数据包。相应的，编码终端根据预设的参数或者各个解码终端的实际情况，选择在该视频分层数据中包括一条或者多条数据流，每一条数据流中也可以包括有一个或者多个视频数据，以达到向不同信道环境的不同解码终端转发不同激活带宽的视频数据的效果。

激活带宽具体对应一个带宽范围，其主要用于指导流媒体服务器根据不同的信道带宽条件，选择转发不同的视频数据到对应的解码终端。

一般来说，不同数据流之间一般具有不同的图像质量参数，而一条数据流中包括的多个视频数据中则具有完全相同的图像质量参数。所述图像质量参数可以包括图像分辨率(宽度分辨率以及高度分辨率)、图像帧率、图像i帧间隔以及图像格式(yuv420或者yuv400)等参数。一般来说，考虑到用户的实际图像质量需求，可以在保证相同的图像质量参数时，进一步降低码率(也即，激活带宽)，因此，在一条数据流中设置的多个视频数据，可以保证在图像质量参数相同的基础上，上述多个视频数据可以适配不同的激活带宽。

可选的，在所述视频分层数据的一条数据流中，可以包括：增强层视频数据、标准层数据以及基础层视频数据；所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积，所述标准层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定百分数的乘积，所述第二设定百分数大于所述第一设定百分数。

在本实施例中，可以根据实际情况对上述第一设定百分数以及第二设定百分数进行预设，本实施例对此并不进行限制。发明人通过实践发现，将该第一设定百分数设置为80％，将该第二设定百分数设置为60％时，标准层数据以及基础层视频数据可以在进一步降低激活带宽的前提下，同时具有较优的图像显示效果。

在一个具体例子中，可以预先规定在视频分层数据中可以最多包括三条数据流，例如，主数据流、辅数据流以及灰度数据流；其中，每一条数据流中都包括三个视频数据，例如，增强层视频数据、标准层数据以及基础层视频数据等。相应的，在编码端生成的一个视频分层数据中，最多可以包括有9个视频数据，不同视频数据对应不同的激活带宽，以使得一个视频分层数据可以最多适配9个不同带宽环境的解码终端。

可选的，可以预先配置多种不同的数据分层方式，每种数据分层方式中预先规定视频分层数据中包括的数据流的数量，或者每个数据流中包括的视频数据的数量，以及各个不同数据流对应的视频质量参数等，并在该数据分层方式中预先规定各个视频数据的激活带宽。相应的，编码终端可以通过选定的一个数据分层方式，实时生成视频分层数据。

可选的，编码终端可以选择最优的一个分层方式(各个数据流的激活带宽均最大，也即，各个视频数据的图像质量均最好)，实时生成视频分层数据。

s120、所述编码终端将所述视频分层数据转发至流媒体服务器。

其中，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发。

在本实施例中，编码终端通过一个专门用于分发码流的流媒体服务器将实时生成的所述视频分层数据转发(或者可以先复制，后转发)至多个解码终端进行播放。相应的，该流媒体服务器可以根据与各个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据进行转发。

s130、所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽，则实时生成与所述需求带宽匹配的新的视频分层数据。

如前所示，所述编码终端可以根据预设的参数(例如，编码终端与流媒体服务器之间的网络带宽)或者各个解码终端的带宽环境，确定该视频分层数据中包括的各个视频数据所能适配的带宽环境。考虑到各个解码终端带宽环境的实时变化，或者说预设的参数与各个解码终端的带宽环境的不匹配性，编码终端实时生成的视频分层数据中虽然可以包括多个视频数据，但是有可能上述多个视频数据均无法适配多个解码终端中的一个或者多个。

例如，一个解码终端a的网络带宽为200k，而所述视频分层数据中视频数据对应的最小的激活带宽为256k，因此，该最小激活带宽对应的视频数据也无法成功转发至该解码终端a，此时，为了使得视频分层数据对该解码终端a的适配，流媒体服务器可以根据该解码终端a的网络带宽生成需求带宽反馈给视频分层数据，以使所述编码终端在后续的视频编码过程中，根据所述需求带宽实时生成包括一个该解码终端a能够接收的视频数据的视频分层数据，以进一步适配该解码终端a。

典型的，所述流媒体服务器可以将所述需求带宽可以添加于tmmbr(temporarymaximummediastreambitratenotification，临时最大媒体流比特率通知)消息中反馈至编码终端。其中，tmmbr用于流控，请求发送端按指定的最大比特率传输数据流，通常用于网络抖动情况下保证voip(voiceoverinternetprotocol，基于ip的语音传输)通信的流畅性(临时降低质量)，相应的，可以将所述需求带宽作为所述tmmbr消息中的最大比特率传输数据流参数，反馈至编码终端。

本发明实施例的技术方案通过编码终端实时生成视频分层数据，并将所述视频分层数据转发至流媒体服务器；之后流媒体服务器接收该视频分层数据，并根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发，所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境，适配性的生成多个解码终端均能接收，且能发挥解码终端最优显示性能的视频数据，优化了现有的视频编码技术，兼顾了编码性能以及对解码终端带宽的覆盖，实现灵活性强，带宽覆盖范围广。

实施例二

图2a是本发明实施例二提供的一种视频数据的编码方法的流程图，本实施例以上述实施例为基础，在本实施例中，编码终端实时生成视频分层数据，可以为：编码终端选取设定的带宽档位值，并根据所述带宽档位值、以及预设的带宽档位值与数据分层方式之间的映射关系，实时生成所述视频分层数据；以及，所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据，可以为：所述编码终端根据所述需求带宽，在多个数据分层方式中选取目标数据分层方式；根据所述目标数据分层方式实时生成所述视频分层数据。

相应的，本实施例的方法包括如下步骤：

s210、编码终端选取设定的带宽档位值，并根据所述带宽档位值、以及预设的带宽档位值与数据分层方式之间的映射关系，实时生成所述视频分层数据。

在本实施例中，所述编码终端可以根据其与流媒体服务器之间的带宽，动态选取设定的带宽档位值，也可以根据选取一个预先设定的固定的带宽档位值，还可以根据与多个解码终端分别对应的理论带宽，按照设定的算法，选取所述设定带宽档位值。

其中，根据实际的网络环境，可以将带宽档位值设置为4mbps、2.5mbps、1.5mbps、1.2mbps、920kbps、700kbps、512kbps、384kbps、256kbps、128kbps、96kbps、72kbps以及64kbps等档位。其中，一个带宽档位值对应一个带宽范围，例如：4mbps的带宽档位值对应的带宽范围为[4mbps，+∞)，2.5mbps的带宽档位值对应的带宽范围为[2.5mbps,4mbps)等。

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同。

典型的，可以预先规定带宽档位值与不同数据分层方式之间的对应关系。在数据分层方式中定义需要对一段视频内容编码生成几条数据流，此外，还可以在该数据分层方式中进一步规定与不同数据流对应的图像质量参数。

在上述各实施例的基础上，所述编码终端根据所述带宽档位值、以及预设的带宽档位值与数据分层方式之间的映射关系，实时生成所述视频分层数据，可以包括：

所述编码终端如果确定所述带宽档位值与第一类数据分层方式满足映射关系，则生成主数据流、辅数据流以及灰度数据流共三条数据流；所述编码终端如果确定所述带宽档位值与第二类数据分层方式满足映射关系，则生成主数据流以及辅数据流共两条数据流；所述编码终端如果确定所述带宽档位值与第三类数据分层方式满足映射关系，则仅生成一条主数据流；

其中，在一个视频分层数据中，主数据流的激活带宽大于辅数据流的激活带宽，辅数据流的激活带宽大于灰度数据流的激活带宽。换句话说，主数据流中包括的各个视频数据的激活带宽均大于辅数据流中包括的各个视频数据的激活带宽；辅数据流中包括的各个视频数据的激活带宽均大于灰度数据流中包括的各个视频数据的激活带宽。

进一步的，在所述视频分层数据的一条数据流中，可以包括：增强层视频数据、标准层数据以及基础层视频数据；所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积，所述标准层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定百分数的乘积，所述第二设定百分数大于所述第一设定百分数。

在本实施例中，可以制定带宽档位值与数据分层方式之间的映射关系。每个带宽档位值可以相应配置对应的数据分层方式，其中，在一个数据分层方式中可以具体配置有主数据流、辅数据流和灰度数据流的激活带宽(码率)、图像分辨率、图像格式以及图像帧率等信息。典型的，主数据流的激活带宽可以直接与对应的带宽档位值相匹配，以直接建立带宽档位值与数据分层方式之间的映射关系。

其中，在图2b中示出了一种数据分层方式中包括的各项设置参数的示意图。其中，图2b中的各项设置参数的定义如下：rate：表示主数据流增强层码率(激活带宽)；w：主数据流图像分辨率宽度像素；h：主数据流图像分辨率高度像素；frame：主数据流图像帧率；iinterval：主数据流图像i帧间隔；raw：主数据流图像格式，其中yuv420，表示彩色图像，yuv400表示黑白图像；slave_rate：辅数据流码率；slave_w：辅数据流图像分辨率宽度像素；slave_h：辅数据流图像分辨率高度像素；slave_fr：辅数据流图像帧率；slave_iinterval：辅数据流图像i帧间隔；slave_gray_bitrate：灰度数据流码率；gray_w：灰度数据流图像分辨率宽度像素；gray_h：灰度数据流图像分辨率高度像素；通过以上的参数配置，可以约定每个带宽档位值对应的三条数据流应该显示的图像质量、对应的信道带宽和图像相关参数等。

需要说明的是，在上述数据分层方式定义表中并未定义标准层视频数据以及基础层视频数据的激活带宽以及图像质量参数，原因是标准层视频数据以及基础层视频数据的激活带宽为增强层视频数据的激活带宽与不同设定百分数的乘积，且图像质量参数相同，因此无需重复定义。

典型的，需要在编码终端和流媒体服务器转发处理模块中均配置多种带宽档位值与数据分层方式之间的映射关系，并且编码终端和流媒体服务器中配置的映射关系的内容需要相一致，这样就可以确保当服务器发现到某个解码终端的带宽处于某个激活带宽的范围内时则取相应的视频数据进行转发。

s220、所述编码终端将所述视频分层数据转发至流媒体服务器。

其中，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发。

s230、所述编码终端判断是否接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽：若是，执行s240；否则，执行s250。

在本实施例中，如果流媒体服务器确定任一解码终端对视频分层数据中包括的全部视频数据均无法正常接收，例如，对应最小激活带宽的一个视频数据(典型的，灰度数据流中的基础层数据)的激活带宽也大于该解码终端与流媒体服务器之间的带宽，则该流媒体服务器会根据与该解码终端之间的带宽生成需求带宽，例如，直接将上述与该解码终端之间的带宽作为所述需求带宽。

s240、所述编码终端根据所述需求带宽，在多个数据分层方式中选取目标数据分层方式，执行s260。

具体的，所述编码终端根据所述需求带宽，在多个数据分层方式中选取目标数据分层方式，可以包括：

所述编码终端按照从高层到底层的顺序，在多个数据分层方式中，查找包括与需求带宽对应的视频数据的第一个数据分层方式，作为所述目标数据分层方式；其中，预先按照数据流的视频数据的激活带宽从高到低的顺序，将各所述数据分层方式进行从高层到底层的排序。

如前所述，不同数据分层方式可以对应不同的带宽档位值，不同带宽档位值中包括的各个数据流的视频数据的激活带宽也不尽相同，带宽档位值越大，对应的各个数据流的视频数据的激活带宽也就越大。因此，可以按照数据流的视频数据的激活带宽从高到低的顺序，将各所述数据分层方式进行从高层到底层的排序。

相应的，在按照从高层到底层的顺序，在多个数据分层方式中，查找包括与需求带宽对应的视频数据的第一个数据分层方式，一定能够满足该需求带宽要求，且各个视频流的视频质量最优的一个数据分层方式。因此，使用该数据分层方式实时生成视频分层数据，既能满足与该需求带宽对应的解码终端所需的视频数据，也能兼顾其他解码终端接收到的视频数据的视频质量。

s250、按照当前使用的数据分层方式，实时生成所述视频分层数据，并返回执行s220。

s260、根据所述目标数据分层方式实时生成所述视频分层数据，执行s220。

本发明实施例的技术方案给出了两种确定数据分层方式的实现形式，编码终端可以首先按照预定的参数首先选取一种数据分层方式实时生成视频分层数据，该视频分层数据中最多可以包括9层适配不同带宽环境的解码终端，以满足不同带宽环境的解码终端的需求。在流媒体服务器确定有一个或者多个解码终端不能对视频分层数据中包括的任一视频数据进行正常接收时，则会基于上述解码终端的带宽生成需求带宽反馈至编码终端，以使编码终端重新确定新的数据分层方式，达到既能满足与该需求带宽对应的解码终端所需的视频数据，也能兼顾其他解码终端接收到的视频数据的视频质量的技术效果，进一步提高了本发明实施例的动态适应性，以及实现的灵活性。

实施例三

图3a为本发明实施例三提供的一种视频数据的转发方法的流程图，本实施例可适用于流媒体服务器将视频分层数据中的视频数据自适应转发至对应的解码终端的情况，该方法可以由视频数据的转发装置来执行，该装置可以通过软件和/或硬件的方式实现，并一般可以集成在流媒体服务器中，本实施例的方法具体包括如下步骤：

s310、流媒体服务器接收编码终端实时发送的视频分层数据。

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同。

其中，在所述视频分层数据的一条数据流中，可以包括：增强层视频数据、标准层视频数据以及基础层视频数据；

所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积，所述标准层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定百分数的乘积，所述第二设定百分数大于所述第一设定百分数。

s320、所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发。

具体的，所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发可以包括：

所述流媒体服务器获取一个解码终端作为当前操作终端；所述流媒体服务器获取与所述当前操作终端之间的网络带宽作为比对带宽；所述流媒体服务器按照激活带宽从高到底的顺序，将所述视频分层数据中包括的与数据流对应的视频数据的激活带宽与所述比对带宽进行匹配；所述流媒体服务器如果确定目标数据流对应的目标视频数据的激活带宽与所述比对带宽相匹配，则在所述视频分层数据中获取所述目标视频数据向所述当前操作终端进行转发；所述流媒体服务器如果确定所述数据流中不包括与所述比对带宽相匹配的任一视频数据，则将所述当前操作终端作为一个目标解码终端；所述流媒体服务器返回执行所述流媒体服务器获取一个解码终端作为当前操作终端的操作，直至完成对全部解码终端的处理。

具体的，所述流媒体服务器按照激活带宽从高到底的顺序依次在所述视频分层数据中获取一个数据流，并在该数据流中按照从增强层视频数据到基础层视频数据的顺序，分别获取对应的激活带宽与所述比对带宽进行匹配，若当前获取的视频数据的激活带宽与该比对带宽相匹配(激活带宽小于等于所述第二比对带宽)，则说明该视频数据是能够通过适配该比对带宽的最好质量的一个视频数据，因此，可以直接将该视频数据转发至解码终端。

另外，需要说明的是，所述流媒体服务器在确定与至少两个解码终端之间的网络带宽时，可以通过协商的方式确定，协商的带宽可以是根据sip(sessioninitiationprotocol，会话初始协议)标准中的带宽协商方式进行。

s330、所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。

如前所述，如果一个解码终端的比对带宽与视频分层数据中的全部视频数据均不适配，则会将该解码终端确定为一个目标解码终端。

在本实施例中，所述流媒体服务器根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，可以包括：

所述流媒体服务器获取与所述至少一个目标解码终端之间的网络带宽；所述流媒体服务器根据所述至少一个网络带宽，生成所述需求带宽反馈至所述编码终端。

相应的，如果与所述至少一个目标解码终端之间的网络带宽为多个时，可以将上述多个网络带宽均作为所述需求带宽反馈至所述编码终端，还可以在多个网络带宽中选择一个最小带宽作为所述需求带宽反馈至所述编码终端，或者将上述多个网络带宽的均值作为所述需求带宽反馈至所述编码终端，本实施例对此并不进行限制。

典型的，所述流媒体服务器可以将所述需求带宽可以添加于tmmbr消息中反馈至编码终端。

本发明实施例由于编码终端根据实际的信道环境选择编码生成适配于不同激活带宽的多个视频数据，使得接收到多个视频数据的流媒体服务器能够根据实际的转发需求，在多个视频数据中选择匹配的视频数据转发至对应的解码终端，在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境，适配性的生成多个解码终端均能接收，且能发挥解码终端最优显示性能的视频数据，优化了现有的视频编码技术，兼顾了编码性能以及对解码终端带宽的覆盖，实现灵活性强，带宽覆盖范围广。

具体应用场景

为了将本发明各实施例的技术方案阐述的更加清楚，现将本发明各实施例的方案应用到具体的应用场景中进行简要说明。其中，在图3b中示出了本发明实施例的一种具体应用场景的结构图示意图。如图3b所示，编码终端发送了三条码流，每条码流分三层数据，媒体服务器分别与解码终端a、解码终端b以及解码终端c相连，并且分别与上述三个解码终端协商带宽。流媒体服务器根据与三个解码终端分别协商的带宽，从视频分层数据的9层数据中选择对应的视频数据分别发送至上述三个解码终端，如图3b所示，上述三个解码终端由于带宽环境不同，收到不同的视频数据，因此实际看到的图像质量是不同的，是根据解码终端的实际的带宽环境选择的最优效果。

通过本发明实施例的技术方案，兼顾了编码的性能和分层数据的覆盖，通过预设的数据分层方式将可以灵活的将覆盖范围扩大或缩小。相比传统的svc分层，该方案灵活性更强，带宽覆盖范围更广，相比多码流的方案，该方案的性能能够达到最优。

实施例四

图4是本发明实施例四提供的一种视频数据的编码装置的结构图，所述装置应用于编码终端中，如图4所示，所述装置包括：视频分层数据生成模块410、视频分层数据转发模块420以及视频分层数据再生成模块430。其中：

视频分层数据生成模块410，用于实时生成视频分层数据，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

视频分层数据转发模块420，用于将所述视频分层数据转发至流媒体服务器，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

视频分层数据再生成模块430，用于如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽，则实时生成与所述需求带宽匹配的新的视频分层数据。

本发明实施例的技术方案通过编码终端实时生成视频分层数据，并将所述视频分层数据转发至流媒体服务器；之后流媒体服务器接收该视频分层数据，并根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发，所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境，适配性的生成多个解码终端均能接收，且能发挥解码终端最优显示性能的视频数据，优化了现有的视频编码技术，兼顾了编码性能以及对解码终端带宽的覆盖，实现灵活性强，带宽覆盖范围广。

在上述各实施例的基础上，视频分层数据生成模块410，具体用于：

选取设定的带宽档位值，并根据所述带宽档位值、以及预设的带宽档位值与数据分层方式之间的映射关系，实时生成所述视频分层数据；和/或

视频分层数据再生成模块430，具体用于：

根据所述需求带宽，在多个数据分层方式中选取目标数据分层方式；根据所述目标数据分层方式实时生成所述视频分层数据。

在上述各实施例的基础上，视频分层数据生成模块410，进一步用于：如果确定所述带宽档位值与第一类数据分层方式满足映射关系，则生成主数据流、辅数据流以及灰度数据流共三条数据流；

所述编码终端如果确定所述带宽档位值与第二类数据分层方式满足映射关系，则生成主数据流以及辅数据流共两条数据流；

所述编码终端如果确定所述带宽档位值与第三类数据分层方式满足映射关系，则生成一条主数据流；

其中，在一个视频分层数据中，主数据流的激活带宽大于辅数据流的激活带宽，辅数据流的激活带宽大于灰度数据流的激活带宽；和/或

视频分层数据再生成模块430，进一步用于：

所述编码终端按照从高层到底层的顺序，在多个数据分层方式中，查找包括与需求带宽对应的视频数据的第一个数据分层方式，作为所述目标数据分层方式；

其中，预先按照视频数据的激活带宽从高到低的顺序，将各所述数据分层方式进行从高层到底层的排序。

在上述各实施例的基础上，在所述视频分层数据的一条数据流中，包括：增强层视频数据、标准层视频数据以及基础层视频数据；

所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积，所述标准层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定百分数的乘积，所述第二设定百分数大于所述第一设定百分数。

本发明实施例所提供的视频数据的编码装置可执行本发明任意实施例所提供的视频数据的编码方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五提供的一种视频数据的转发装置的结构图，所述装置应用于流媒体服务器中，如图5所示，所述装置包括：分层数据接收模块510、视频数据转发模块520以及需求带宽反馈模块530。其中：

分层数据接收模块510，用于接收编码终端发送的视频分层数据；

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

视频数据转发模块520，用于根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

需求带宽反馈模块530，用于如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。

本发明实施例由于编码终端根据实际的信道环境选择编码生成适配于不同激活带宽的多个视频数据，使得接收到多个视频数据的流媒体服务器能够根据实际的转发需求，在多个视频数据中选择匹配的视频数据转发至对应的解码终端，在本发明实施例的方案中编码终端可以根据解码终端实际的信道环境，适配性的生成多个解码终端均能接收，且能发挥解码终端最优显示性能的视频数据，优化了现有的视频编码技术，兼顾了编码性能以及对解码终端带宽的覆盖，实现灵活性强，带宽覆盖范围广。

在上述各实施例的基础上，在所述视频分层数据的一条数据流中，包括：增强层视频数据、标准层视频数据以及基础层视频数据；

所述基础层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第一设定百分数的乘积，所述标准层视频数据的激活带宽为同一数据流中的增强层视频数据的激活带宽与第二设定百分数的乘积，所述第二设定百分数大于所述第一设定百分数。

在上述各实施例的基础上，视频数据转发模块520，具体用于：

所述流媒体服务器获取一个解码终端作为当前操作终端；

所述流媒体服务器获取与所述当前操作终端之间的网络带宽作为比对带宽；

所述流媒体服务器按照激活带宽从高到底的顺序，将所述视频分层数据中包括的与数据流对应的视频数据的激活带宽与所述比对带宽进行匹配；

所述流媒体服务器如果确定目标数据流对应的目标视频数据的激活带宽与所述比对带宽相匹配，则在所述视频分层数据中获取所述目标视频数据向所述当前操作终端进行转发；

所述流媒体服务器如果确定所述数据流中不包括与所述比对带宽相匹配的任一视频数据，则将所述当前操作终端作为一个目标解码终端；

所述流媒体服务器返回执行所述流媒体服务器获取一个解码终端作为当前操作终端的操作，直至完成对全部解码终端的处理。

在上述各实施例的基础上，需求带宽反馈模块530，具体用于：

所述流媒体服务器获取与所述至少一个目标解码终端之间的网络带宽；

所述流媒体服务器根据所述至少一个网络带宽，生成所述需求带宽反馈至所述编码终端。

本发明实施例所提供的视频数据的转发装置可执行本发明任意实施例所提供的视频数据的转发方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如：在所述计算机设备为编码终端时，所述处理单元16可以实现本发明实施例所提供的一种视频数据的编码方法。

也即，所述处理单元16执行所述程序时实现：编码终端实时生成视频分层数据，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

所述编码终端将所述视频分层数据转发至流媒体服务器，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽，则实时生成与所述需求带宽匹配的新的视频分层数据。

又例如：在所述计算机设备为流媒体服务器时，所述处理单元16可以实现本发明实施例所提供的一种视频数据的转发方法。

也即，所述处理单元16执行所述程序时实现：流媒体服务器接收编码终端实时发送的视频分层数据；

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。

实施例七

本发明实施例七还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的视频数据的编码方法。

也即，所述处理单元执行所述程序时实现：编码终端实时生成视频分层数据，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

所述编码终端将所述视频分层数据转发至流媒体服务器，所述视频分层数据用于所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

所述编码终端如果接收到所述流媒体服务器针对所述视频分层数据反馈的需求带宽，则实时生成与所述需求带宽匹配的新的视频分层数据。

或者，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的视频数据的转发方法。

也即，所述处理单元执行所述程序时实现：流媒体服务器接收编码终端实时发送的视频分层数据；

其中，所述视频分层数据中包括至少一条数据流，一条数据流中包括至少一个视频数据，不同视频数据对应的激活带宽不同；

所述流媒体服务器根据与至少两个解码终端之间的网络带宽，在所述视频分层数据中选择匹配的视频数据向对应的所述解码终端进行转发；

所述流媒体服务器如果确定所述视频分层数据中的全部视频数据均不能转发到至少一个目标解码终端，则根据所述至少一个目标解码终端生成需求带宽反馈至所述编码终端，以使所述编码终端实时生成与所述需求带宽匹配的新的视频分层数据。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(readonlymemory，rom)、可擦式可编程只读存储器((erasableprogrammablereadonlymemory，eprom)或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(radiofrequency，rf)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。