从丢失的空间可扩展层恢复运动向量的制作方法
【专利说明】
【背景技术】
[0001]支持“空间可扩展性”的视频比特流可以被编码为基础层和一组增强层，其中每一增强层促成高质量/分辨率帧的合成以用于显示。合成给定的增强层可以涉及使用来自所述组中的先前(例如，参考)层的运动向量数据，其中，运动向量通常可以用于追踪在视频以及成串捕获的静止图像内的帧间运动。然而，通信网络通常可以使得视频比特流遭受由于信道带宽限制、信道噪音等所造成的分组丢失。如果参考层由于这样的分组丢失状况而丢失，则在传统的解码解决方案中，可以不理会依赖于来自该层的运动向量数据的任何随后的层。由此，仅可以使用最后成功接收到的层来合成输出帧。虽然可以对合成的帧进行上采样以实现目标分辨率/尺寸，但是这样的方式可能导致失去小细节的模糊结果。
【附图说明】
[0002]通过阅读以下说明和所附权利要求并通过参考以下附图，本发明的实施例的各个优点将对于本领域的技术人员将变得明显，其中:
[0003]图1为根据实施例的多个层的示例的框图；
[0004]图2为根据实施例的恢复模块的示例的框图；
[0005]图3为根据实施例的用于处理解码的视频比特流的方法的示例的流程图；
[0006]图4为根据实施例的具有运动向量校正逻辑的恢复模块的示例的框图；
[0007]图5A为根据实施例的编码模式优先级模块的框图；
[0008]图5B为根据实施例的用于选择编码模式的方法的示例的流程图；
[0009]图6为根据实施例的具有导航控制器的系统的示例的框图；并且
[0010]图7为根据实施例的具有小形状因子的系统的示例的框图。
【具体实施方式】
[0011]实施例可以包括一种具有缓冲器的装置，该缓冲器用于接收比特流的解码的增强层，其中解码的增强层要与视频比特流的先前层相关联，并且其中由于关于该视频比特流的分组丢失状况而造成该先前层未被解码。该装置还可以具有恢复模块以估计先前层的中间运动向量，并且基于该中间运动向量来估计解码的增强层的目标运动向量。
[0012]实施例还可以包括一种具有网络控制器和解码器的系统，该网络控制器用于获取视频比特流，并且该解码器用于基于该视频比特流而生成解码的增强层。该系统还可用具有用于接收解码的增强层的缓冲器，其中解码的增强层要与视频比特流的先前层相关联，并且其中由于关于该视频比特流的分组丢失状况而造成该先前层要被解码。该系统还可以具有恢复模块，该恢复模块用于估计该先前层的中间运动向量，并且基于该中间运动向量来估计解码的增强层的目标运动向量。
[0013]实施例还可以包括一种在其中接收视频比特流的解码的增强层的方法，其中该解码的增强层与该视频比特流的先前层相关联，并且其中由于关于该视频比特流的分组丢失状况而造成该先前层要被解码。另外，可以维持列表架构，其中该列表架构包括解码的层列表、恢复的层列表和参考层列表中的一个或多个。该方法还可以支持基于视频比特流的解码的基础层和该列表架构来估计先前层的中间运动向量，并且基于该中间运动向量和该列表架构来估计针对解码的增强层的目标运动向量。另外，该方法可以包括在可靠性图中将与该目标运动向量相关联的宏块标记为不可靠。
[0014]实施例还可以包括具有一组指令的计算机可读存储介质，如果该组指令由处理器执行，则使得计算机识别与视频比特流相关联的宏块，并且基于关于该宏块中的一个或多个运动向量的期望的恢复误差，为该宏块选择编码模式。
[0015]现在转向图1，示出了多个层1 (I Oa-1 Oc)，其中层1可以总体上与视频比特流的不同帧分辨率/尺寸相对应。与较大帧尺寸对应的层可以在调整视频比特流以供在较大和/或较高分辨率显示设备上显示方面是有用的。更具体地，基础层1a可以具有320x180像素的帧尺寸，然而第一增强层1b可以具有640x360像素的帧尺寸，并且第二增强层1c可以具有1280x720像素的帧尺寸。因此，第二增强层1c可以对于在720p HD(高清晰度)显示设备上显示视频比特流是特别有用的。另一方面，第一增强层1b可以更适合于在较低分辨率(例如，SD/标准清晰度)显示设备上显示视频比特流。
[0016]如将更加详细讨论的，本文中描述的技术可以支持自动地恢复在传输期间丢失的层的运动向量，使用恢复的运动向量来针对随后的层恢复运动向量，并且使用恢复的运动向量来合成高质量帧。因此，在所示出的示例中，尽管第一增强层1b丢失了(例如，未被解码)，但是仍然可以使用第二增强层1c来合成帧12，帧12具有与第二增强层1c相对应的尺寸(例如，1280x720像素)而非与基础层1a相对应的尺寸(例如，320x180像素)，在传统方法中第二增强层1c会被认为是最后成功接收到的层。更具体地，可以基于解码的基础层1a而针对未解码的第一增强层1b来估计一个或多个中间运动向量，并且可以基于第一增强层1b的中间运动向量而针对解码的第二增强层1c来估计一个或多个目标运动向量。这种方法可以避免对合成的帧12进行上采样的任何需要并且可以提供在视频质量方面的实质改进。
[0017]图2示出了逻辑架构13，逻辑架构13具有解码器16、缓冲器14和恢复模块18。一般地，解码器16可以解码视频比特流的层，其中缓冲器14可以从解码器16接收解码的层以供由恢复模块18进行随后的处理。如已经指出的，由于诸如信道带宽限制、信道噪音等的分组丢失状况造成视频比特流的一个或多个层可以未被解码。恢复模块18可以使用上采样模块38来估计丢失层的中间运动向量，并且基于该中间运动向量来估计随后的解码的增强层的目标运动向量。在这方面，所示出的恢复模块18包括上采样输出门20和选择器22，选择器22将上采样输出门维持在闭合状态，直到已估计出目标运动向量。
[0018]更具体地，恢复模块18可以维持包括了解码的层列表24、恢复的层列表26和参考层列表28的列表架构，其中可以使用该列表架构以用于估计中间运动向量和目标运动向量。例如，到逻辑架构13的输入可以包含来自解码器16的包括运动向量(如果适用)的解码的数据、在线30上的当前层号(“CLN”)、在线32上的参考层号(“RLN”)、在线34上的当前层尺寸(“CLS”)，以及在线36上的参考层尺寸(“RLS”)。CLN和CLS可以与来自解码器16的当前正在被呈现的层相对应，其中RLN和RLS可以与由当前层所参考的层(例如，先前层)相对应。
[0019]通过示例的方式，如果视频比特流包含四层(例如，基础层LO和增强层L1-L3)并且每一增强层使用之前紧挨的层作为参考层，则层LO的运动向量将用于确定层LI的运动向量，层LI的运动向量将用于确定层L2的运动向量，等等。此外，如果成功地接收到并解码了层L0、L1和L2，则将使用值L0、L1和L2(或仅零、一和二)来填充解码的层列表。为了接收和解码层L3，可以根据解码的数据而将RLN确定为L2，其中值L2(或仅二)可以存储在参考层列表28中。
[0020]由于在解码的列表24中识别出了层L2，则选择器22可以将层L2指定为支持层。在这种情况下，值L2(或仅二)可以作为支持层号(“SLN”)而在线40上被传输到缓冲器14。另外，选择器22可以通过将值L3(或仅三)作为处理的层号(“PLN”)在线42上传输，而将层L3指定为处理的层。在所示出的示例中，PLN线42馈送缓冲器14、解码的层列表24、恢复的层列表26、和重调尺寸(resize)系数列表44。因此，上采样模块38可以在线46上从重调尺寸系数列表44获取与层L2的运动向量相对应的系数(例如，Xcoeff、Yc0eff)，并且使用这些系数来插值层L3的运动向量。由于在这种情况下PLN与CLN—致，所以选择器22可以打开输出门20以便允许将插值的运动向量传递到输出。
[0021]通过示例的方式，如果接收到层L0、层LI和L2丢失，并且接收到层L3，则所示出的恢复模块18使得能够根据最后成功接收到的层(S卩，本示例中的层L0)来重建针对层L3的运动向量。更具体地，解码的层列表24将包含值L0，但是不包含值L2或LI。由此，所示出的选择器22分析参考层列表28、解码的层列表24、和恢复的层列表26以识别可以用于运动向量插值的最新解码的或恢复的层。在本示例中，参考层列表28将包含值L2，这是因为解码的层L3参考层L3，但是将不会在解码的层列表24或恢复的层列表26中找到值L2。另外，将不会在解码