专利名称：利用可伸缩视频编码来提供可选视频的系统、方法和介质的制作方法
技术领域：
本公开的主题涉及利用可伸缩视频编码来提供可选视频的系统、方法和介质。
背景技术：
数字视频系统已广泛用于从娱乐到视频会议的各种用途。许多数字视频系统需要 向不同的接收者提供不同的视频信号。这可以是一个相当复杂的过程。例如，常规上，当期望向不同的接收者提供不同的内容时，需要向每个接收者提供 独立的视频编码器。这样，要相对于接收者，用对应的编码器对给该用户的视频编码。不过， 在处理能力和带宽两方面，用于各个用户的专用编码器可能代价极高。因此，需要提供用于控制视频信号的机制。
发明内容
本公开提供了利用可伸缩视频编码来提供可选视频的系统、方法和介质。在一些 实施例中，提供了用于利用可伸缩视频编码来提供可选视频的系统，所述系统包括具有可 伸缩视频编码能力的编码器，用于接收基本内容序列和具有与基本内容流不同的内容的至 少一个附加内容序列，并产生至少一个SVC流，所述SVC流包括与基本内容序列对应的基本 层和与所述至少一个附加内容序列中的内容相对应的至少一个增强层；和数字处理设备， 用于控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。在一些实施例中，提供了利用可伸缩视频编码来提供可选视频的方法，所述方法 包括接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列；根据 所述基本内容序列和所述至少一个附加内容序列编码至少一个SVC流，所述SVC流包括与 基本内容序列相对应的基本层和与所述至少一个附加内容序列中的内容相对应的至少一 个增强层；和控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。在一些实施例中，提供了包含计算机可执行指令的计算机可读介质，当被处理器 执行时，所述计算机可执行指令使处理器执行一种利用可伸缩视频编码来提供可选视频的 方法，所述方法包括接收基本内容序列和具有与基本内容流不同的内容的至少一个附加 内容序列；根据所述基本内容序列和所述至少一个附加内容序列编码至少一个SVC流，所 述SVC流包括与基本内容序列相对应的基本层和与所述至少一个附加内容序列中的内容相 对应的至少一个增强层；和控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
图1是按照所公开主题的一些实施例的提供给具有SVC能力的编码器和从具有SVC能力的编码器接收的信号的图。 图2是按照所公开主题的一些实施例的具有SVC能力的编码器的图。图3是按照所公开主题的一些实施例的视频分发系统的图。图4是图解说明按照所公开主题的一些实施例的基本层和增强层的结合的图。图5是按照所公开主题的一些实施例的视频会议系统的图。图6是按照所公开主题的一些实施例的不同用户终端显示的图。
具体实施例方式提供了利用可伸缩视频编码来提供可选视频的系统、方法和介质。按照各个实施 例，可向具有可伸缩视频编码(SVC)能力的编码器提供两个或两个以上的视频信号，以致 编码器产生基本层和一个或一个以上的增强层。基本层可被用于提供基本视频内容，而增 强层(一个或多个)可被用于用增强视频内容来修改基本视频内容。通过控制增强层(一 个或多个)可用的时候(例如，通过隐藏对应的分组)，能够控制视频显示器对增强视频内 容的可用性。可伸缩视频协议可包括允许从利用该协议编码的数据中解码视频的不同表示的 任何视频压缩协议。视频的不同表示可包括不同的分辨率(空间可扩展性)、帧速率(时间 可扩展性)、比特率(SNR可扩展性)、内容的各个部分，和/或任何其它适当的特性。在不同 的实施例中，不同的表示可用数据的不同子集编码，或者可用数据的相同子集编码。例如， 一些可伸缩视频协议可利用分层，所述分层在一层中提供视频信号的一种或多种表示(诸 如，用户的高分辨率图像)，而在另一层中提供视频信号的一种或多种其它表示(诸如，用 户的低分辨率图像)。作为另一个例子，一些可伸缩视频协议可分割数据流(例如，以分组 的形式)，以致在数据流的不同部分中存在视频信号的不同表示。可伸缩视频协议的例子可 包括由国际电信联盟(ITU)的H.264/AVC标准(附录G)的可伸缩视频编码扩展所定义的 可伸缩视频编码(SVC)协议、由运动图像专家组所定义的MPEG2协议、ITU的H. 263 (附录 0)协议和运动图像专家组的MEPG4part2reS协议，所有这些协议均在此整体引为参考。参见图1，图中提供了在一些实施例中对视频编码的通用方法100的例示。如图所 示，基本内容序列102可被提供给具有SVC能力的编码器106。一个或多个附加内容序列 I-N 104也可被供给具有SVC能力的编码器106。响应于接收到这些内容序列，编码器随后 可提供包含基本层110和一个或多个增强层112的SVC流108。基本内容序列102可以是包含任何适当内容的任何适当视频信号。例如，在一些 实施例中，基本内容序列可以是完全或部分具有低分辨率格式的视频内容。作为一个更特 别的例子，所述低分辨率视频内容可适合于用作预告片，以诱使观众购买所述内容的分辨 率更高的版本。作为另一个例子，在一些实施例中，基本内容序列可以是完全或部分失真以 隐藏或阻止视频内容的完全观看的视频内容。作为另一个例子，在一些实施例中，基本内容 序列可以是遗失某些观众需要的文本(诸如，闭路字幕、翻译等等)或者图形(诸如，徽标、 图标、广告等等)的视频内容。附加内容序列(一个或多个)104可以是提供期望的全部内容序列的任何适当内 容。例如，当基本内容序列102包括低分辨率内容时，附加内容序列(一个或多个)104可 以是相同内容的更高分辨率序列。作为另一个例子，当基本内容序列102是遗失期望的文本或图形的视频内容时，附加内容序列(一个或多个)104可以是具有期望的文本或图形的 视频内容。在一些实 施例中，基本内容序列和附加内容序列(一个或多个)的分辨率和其它 参数可以相同。在一些实施例中，在附加内容被限制于显示屏幕的小部分的情况下(例如， 像在徽标或字幕的情况下)，有益的是把附加内容序列中的内容放置成使其对准宏块(MB) 边界。这可提高用SVC编码器编码的一个或多个增强层的视觉质量。具有SVC能力的编码器106可以是提供SVC流的任何适当的具有SVC能力的编码 器。例如，在一些实施例中，具有SVC能力的编码器106可实现分层方案(与粗粒度可扩展 性类似)，其中定义两层(基本层和增强层)，空间分辨率因数被设为1，只对基本层应用帧 内预测，利用残差编码(residual coding)对低质量序列和高质量序列之间的量化误差编 码，不进行运动数据、上采样、和/或其它转码。作为另一个例子，可利用IS0/IEC运动图像 专家组(MPEG)和ITU-T视频编码专家组(VCEG)的联合视频组(JVT)的可伸缩视频编码 (SVC)计划的联合可伸缩视频模型(JSVM)软件来实现具有SVC能力的编码器106。在下面 的附录中举例说明了配置JSVM软件的配置文件的例子。可另外或者替换地使用具有SVC 能力的编码器的任何其它适当配置。如上所述，具有SVC能力的编码器106能够提供SVC流108，SVC流108可包括基 本层110和一个或多个增强层112。当被解码时，基本层能够提供基本内容序列102中的信 号。当被解码时，一个或多个增强层112能够提供在与基本层110结合时，可被用于提供期 望的视频内容的任何适当内容。SVC流的解码可由任何适当的SVC解码器进行，而在一些实 施例中，基本层可用任何适当的AVC解码器解码。尽管图1图解说明具有一个基本层110和一个或多个增强层112的单个SVC流 108，不过在一些实施例中，具有SVC能力的编码器106可产生多个SVC流108。例如，当产 生三个增强层112时，可以产生三个SVC流108，其中每个流包括基本层和增强层中的相应 一个增强层。作为另一个例子，当产生多个SVC流时，除了基本层之外，任意一个或多个流 可包括多于一个的增强层。参见图2，图中提供可用在一些实施例中的具有SVC能力的编码器106的更详细例 示。如图所示，具有SVC能力的编码器106可接收基本内容序列102和附加内容序列104。 基本内容序列102随后可由运动补偿和帧内预测机构202处理。该机构能够进行任何适当 的SVC运动补偿和帧内预测处理。残差纹理信号204(由运动补偿和帧内预测机构202产 生)随后可被量化，并和运动信号206 —起被提供给熵编码机构208。熵编码机构208随后 可执行任何适当的熵编码功能，并把所得到的信号提供给多路复用器210。随后层间预测技术220可把来自运动补偿和帧内预测处理202的数据和附加内容 序列204 —起用于驱动运动补偿和预测机构212。可以使用来自运动补偿和帧内预测机构 202的任何适当数据。可以使用任何适当的SVC层间预测技术220，和机构212中的任何适 当的SVC运动补偿和帧内预测处理。残差纹理信号214(由运动补偿或帧内预测机构212产 生)随后可被量化，并和运动信号216 —起被提供给熵编码机构218。熵编码机构218随后 可执行任何适当的熵编码功能，并把所得到的信号提供给多路复用器210。多路复用器210 随后可把来自熵编码机构208和218的所得到的信号结合成服从SVC的流。在一些实施例中，还可向编码器106提供边信息。例如，所述边信息可以识别图像中的、与基本内容序列和附加内容序列之间的差异对应的内容所在的(例如，徽标或文本 可位于的)区域。所述边信息随后可在方框212内的模式判定步骤中被用于确定是否处理 附加内容序列。
图3图解说明按照一些实施例的视频分发系统300的例子。如图所示，分发控制 器306可从基本视频源302接收基本内容序列作为视频，并且从附加视频源304接收附加 内容序列作为视频。这些内容序列可被提供给作为分发控制器306的一部分的具有SVC能 力的编码器308。具有SVC能力的编码器308随后可产生SVC流，如上所述，所述SVC流包 括基本层和至少一个增强层，并把该SVC流提供给一个或多个视频显示器312、314和316。 分发控制器还可包括向一个或多个视频显示器312、314和316提供控制信号的控制器310。 所述控制信号可指出视频显示器将显示什么增强内容(如果有的话)。除了使用作为控制 器306的一部分并且与显示器312、314和316耦接的控制器310之外或作为其替换方案， 在一些实施例中，可在编码器308和显示器312、314和316之间设置独立的组件(例如，诸 如网络组件，诸如，路由器、网关等等)，所述独立的组件包含确定SVC流的哪些部分(例如， 哪些层)可被传给显示器312、314和316的控制器(例如，类似于控制器310)。控制器310，或者在网络组件、显示器、终端等中的类似机构可以使用任何适当的 软件和/或硬件来控制呈现哪些增强层，和/或隐藏SVC流的哪些分组。例如，这些设备可 包括数字处理设备，所述数字处理设备可包括微处理器、处理器、控制器、微控制器、可编程 逻辑器件、和/或用于控制呈现哪些增强层和/或隐藏SVC流的哪些分组的任何适当的硬 件和/或软件中的一个或多个。参见图4，图中示出了在一些实施例中如何使用这样的分发系统的例子。如图所 示，基本内容序列402和三个附加内容序列404、406和408可被提供给编码器308。编码器 随后可产生基本层410和增强层412、414和416。这些层随后可被组成三个SVC流具有 层410和412的一个SVC流；具有层410和414的另一个SVC流；和具有层410和416的再 一个SVC流。这三个SVC流的每一个均可被传给视频显示器312、314和316中的一个不同 视频显示器，并如图所示分别在显示418、420和422中呈现。除了提供三个SVC流之外或作为其替换方案，可以产生单个流，并且在视频显示 器312、314和316的每一个处只利用所选择的部分(例如，分组)。在一些实施例中，可以 如上所述在显示器或者在编码器和显示器之间的组件进行所述部分的选择。图5和6图解说明按照一些实施例的视频会议系统500。如图所示，系统500包括 多点会议单元(MCU)502。MCU 502可包括具有SVC能力的编码器504和视频发生器506。 视频发生器506可以任何适当的方式，产生连续呈现(CP)布局，并把该布局作为基本内容 序列提供给具有SVC能力的编码器504。具有SVC能力的编码器还可分别从当前讲话者终 端508、先前讲话者终端510和其它参与者终端512、514和516接收当前讲话者视频、先前 讲话者视频和其它参与者视频，作为附加内容序列。SVC流随后可从编码器504被提供给当 前讲话者终端508、先前讲话者终端510和其它参与者终端512、514和516，并且如以下结 合图6所述的那样被控制。如图6中所示，可以控制在当前讲话者终端508上的显示，以致用户看到来自基本 层(它可包括图形602和文本604)，以及与先前讲话者和一个或多个其它参与者相对应的 增强层的CP布局，如显示608中所示。可以控制先前讲话者终端510上的显示，以致用户看到来自基本层以及与当前讲话者和一个或多个其它参与者相对应的增强层的CP布局，如显示610中所示。可以控制其它参与者终端512、514和516上的显示，以致用户看到来 自基本层以及与当前讲话者和先前讲话者相对应的增强层的CP布局，如显示612中所示。 这样，终端的用户都看不到他或她自己的视频。尽管图5图解说明从具有SVC能力的编码器去向终端508、510及512、514和516 的不同SVC流，不过，在一些实施例中，这些SVC流可以都相同，并且可以提供选择在每个终 端上呈现哪些增强层的独立控制信号(未示出)。另外或者可替换地，具有SVC能力的编码 器或者任何其它适当的组件可以利用分组隐藏或者任何其它适当的技术，根据各流的目的 地，选择只提供某些增强层作为SVC流的一部分。尽管在上面的例证实施例中说明和例示了本发明，不过应当理解本公开只是对本 发明的举例说明，可以在本发明的实现细节方面做出众多的变化，而不脱离本发明的精神 和范围，本发明的精神和范围仅由下面的权利要求限定。可按照各种方式组合和重新排列 所公开实施例的特征。附录下面示出了在一些实施例中可以与JSVM 9. 1编码器一起使用的“encoder, cfg” 配置文件的一个例子#可伸缩H. 264/AVC扩展配置文件#飄OutputFiletest 264# 比特流文件RraiEfete30#最刘艇率 MIVMelay0#最；^|勾碰 W#(互动通信所需的)FramesToBeEncoded 30#巾贞数(以输入巾贞速率)(^sSnrRefinaiBnt1#(0 作为 OGS 的 SNR 层，#1:作为 MS 的 SNR 层)Braife^ctares1# 在 taip level 0 的关键酣象#[o 只有 res, ι :reswES, 2 =^(CT)]MSCbntrol1#(0 利用当前层的 ME" C，
#1 :禾_ EL基准图像的ME，# 2 ^lJ用乩基准图像的M)MMe5PidVbtIfef1ft MS关键图像的运动细化#(0:关，1:开)#=MCF-QCPSize1 CP 大小(_刘艇率)#(谓舸扩展性)IntraPeriod-1# 内周期MnberifefeiHicefenES1#基准图像白缴目BaseLayeiMxb1# 层牛試(0 -AVC w lat^e EFB,
#1 =AVC 兼容，2 -AYC w 子序列 Si)#連繼Searchixle4# 搜索黻(0 搬索，#4:快速搜索)SearchFmcFullPel0#搜索函数 flill pel# (0 :SAD, 1 :SSE, 2 :HADAMARD, 3 =SAD-YUV)SearchFuncSubPel0 搜索函数 sub pel# (0 :SAD, 1 :SSE, 2 :HADAMARD)Searffeige16# Μ范围(Rill Pel)BiPredIter2#biT):red 麟的最规代IteiSearffeige2#迭代白饼M范围(0 )#聊艇LoopFilterDisable0# 环路？麽波器 idc (0 开，#1 关，2:开，除了片 m界)LoopFilterAlphaOOQffset0ffi\lphaQffset(-6.. +6)有效范围LoopFilteifietaQffset0ffietaQffset (-6..+6)有效范围#B^CNuniiiyers2# 层数LayeiCfgfcasejxnteit cfg娠EEi件IayetCfg adidjxntent cfg 层KSS件ttayetCfg · Λ Λ · \ckta\layer2 cfg件ttayetCfg · Λ Λ · \ckta\layera cfg件ttayetCfg . Λ Λ · \ckta\layeri. cfg件ttayetCfgIayetScfg 层KK件ttayetCfgIayetficfg 层KK件ttayetCfg . Λ Λ · \ckta\layer7. cfg件PKAic&rffMMt&able1 ±曾力PltT缀和后爱单元(0 关，#1 开)，在SVC上下文中应#條冬为开(即，RS/0S/空丨耶獸賑时)MMOOBaseEnable1# 基本表示的 MMOO (0 关，1 开)Oestin^lag0 #设置时间级嵌糖甜己(0 关，1 开)IlHcIcbfiHble0 为葡氐时间级添加图像索弓I (0 关，1 开)#^=勵——lOXBlockSizes1# 限制]VC 的块大小# (0 关，1 在EL中，2 在所有层中)IOmticiihipaisaticnY1 对于IS 的简化 IVC#(0 关，1 在EL中，2 在所有层中)IOmtici￡aipai saticiC1 对Tfeg 的简化 IVC# (0 关，1 在EL中，2 在所有层中)
权利要求
1.一种利用可伸缩视频编码来提供可选视频的系统，包括具有可伸缩视频编码能力的编码器，用于接收基本内容序列和具有与基本内容流不同 的内容的至少一个附加内容序列，并产生至少一个SVC流，所述SVC流包括与基本内容序列 对应的基本层和与所述至少一个附加内容序列中的内容相对应的至少一个增强层；和数字处理设备，用于控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
2.按照权利要求1所述的系统，还包括用于接收并解码SVC流的SVC解码器。
3.按照权利要求2所述的系统，其中SVC解码器遵守H.264/AVC标准的可伸缩视频编 码扩展。
4.按照权利要求1所述的系统，其中基本内容序列是所述至少一个附加内容序列中的 至少一个之中的视频的低分辨率版本。
5.按照权利要求1所述的系统，其中基本内容序列包含失真的视频。
6.按照权利要求1所述的系统，其中所述至少一个附加内容序列包括文本。
7.按照权利要求1所述的系统，其中所述至少一个附加内容序列中的至少一个包括图形。
8.按照权利要求1所述的系统，其中数字处理设备通过隐藏与所述至少一个增强层相 关联的分组，控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
9.按照权利要求1所述的系统，其中数字处理设备通过向目的地提供控制信号，控制 是否在SVC流的目的地处显示SVC流中的至少一个增强层。
10.按照权利要求1所述的系统，其中所述基本层和所述至少一个增强层中的至少一 个被用于形成视频会议的连续呈现布局。
11.一种利用可伸缩视频编码来提供可选视频的方法，包括接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列；根据所述基本内容序列和所述至少一个附加内容序列编码至少一个SVC流，所述SVC 流包括与基本内容序列相对应的基本层和与所述至少一个附加内容序列中的内容相对应 的至少一个增强层；和控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
12.按照权利要求11所述的方法，还包括接收并解码SVC流。
13.按照权利要求12所述的方法，其中所述解码遵守H.264/AVC标准的可伸缩视频编 码扩展。
14.按照权利要求11所述的方法，其中基本内容序列是所述至少一个附加内容序列中 的至少一个之中的视频的低分辨率版本。
15.按照权利要求11所述的方法，其中基本内容序列包含失真的视频。
16.按照权利要求11所述的方法，其中所述至少一个附加内容序列包括文本。
17.按照权利要求11所述的方法，其中所述至少一个附加内容序列中的至少一个包括 图形。
18.按照权利要求11所述的方法，其中所述控制通过隐藏与所述至少一个增强层相关 的分组，控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
19.按照权利要求11所述的方法，其中所述控制通过向目的地提供控制信号，控制是 否在SVC流的目的地处显示SVC流中的至少一个增强层。
20.按照权利要求11所述的方法，其中所述基本层和所述至少一个增强层中的至少一 个被用于形成视频会议的连续呈现布局。
21.一种包含计算机可执行指令的计算机可读介质，当被处理器执行时，所述计算机可 执行指令使处理器执行一种利用可伸缩视频编码来提供可选视频的方法，包括接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列；根据所述基本内容序列和所述至少一个附加内容序列编码至少一个SVC流，所述SVC 流包括与基本内容序列相对应的基本层和与所述至少一个附加内容序列中的内容相对应 的至少一个增强层；和控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
22.按照权利要求21所述的介质，其中所述方法还包括接收并解码SVC流。
23.按照权利要求22所述的介质，其中所述解码遵守H.264/AVC标准的可伸缩视频编 码扩展。
24.按照权利要求21所述的介质，其中基本内容序列是所述至少一个附加内容序列中 的至少一个之中的视频的低分辨率版本。
25.按照权利要求21所述的介质，其中基本内容序列包含失真的视频。
26.按照权利要求21所述的介质，其中所述至少一个附加内容序列包括文本。
27.按照权利要求21所述的介质，其中所述至少一个附加内容序列中的至少一个包括 图形。
28.按照权利要求21所述的介质，其中所述控制通过隐藏与所述至少一个增强层相关 的分组，控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
29.按照权利要求21所述的介质，其中所述控制通过向目的地提供控制信号，控制是 否在SVC流的目的地处显示SVC流中的至少一个增强层。
30.按照权利要求21所述的方法，其中所述基本层和所述至少一个增强层中的至少一 个被用于形成视频会议的连续呈现布局。
全文摘要
本公开提供了利用可伸缩视频编码来提供可选视频的系统、方法和介质。在一些实施例中，提供了利用可伸缩视频编码来提供可选视频的系统，所述系统包括具有可伸缩视频编码能力的编码器，用于接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列，并产生至少一个SVC流，所述SVC流包括与基本内容序列对应的基本层和与所述至少一个附加内容序列中的内容对应的至少一个增强层；和数字处理设备，用于控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。
文档编号H04N7/26GK102138325SQ200980132735
公开日2011年7月27日 申请日期2009年7月9日 优先权日2008年7月10日
发明者S·本-泽德夫, Y·威纳 申请人:锐迪讯有限公司