使用感知表示的编码和解码的制作方法
【专利摘要】对包括图片的视频信号进行编码包括基于图片来生成感知表示。参考图片被选择并且基于感知表示和参考图片来生成运动矢量。在编码的视频信号中提供运动矢量和用于参考图片的指针。解码可以包括接收用于参考图片的指针和基于所述参考图片的感知表示的运动矢量。在被编码的视频信号中的图片的解码可以包括使用指针来选择参考图片以及基于运动矢量和所选参考图片来确定预测图片。解码可以包括从预测图片和残差图片生成重构图片。
【专利说明】使用感知表示的编码和解码
【背景技术】
[0001]运动处理包括在运动估计和运动补偿两者中使用运动矢量。运动估计是确定运动矢量的过程。运动矢量描述对象从通常来自视频序列中的相邻帧或图片的一个二维图像到另一二维图像的变换。运动补偿是将所确定的运动矢量应用于一个图片中的对象以便综合处理所描述的对象到视频序列中的后续图片的变换的过程。运动估计和运动补偿的组合是视频压缩的关键部分并且常常在处理成本方面是要求很高的。
[0002]运动处理中的运动矢量通过可以被分类为直接的或间接的方法来确定。在实践中，依靠基于锥体和块的搜索的直接方法典型地被用在视频编码器中。直接方法常常需要提高处理能力和处理成本以便提高由这些方法所确定的运动矢量的准确性和/或精度。
[0003]用于确定运动矢量的间接方法常常使用遍及图片中的局部或全局区域所应用的统计函数，以标识在图片中发生的估计的移动与生成的运动矢量之间的匹配。通常在试图标识和去除不对应于实际运动的假匹配时利用保真度度量。然而，保真度度量常常导致机会性最佳匹配(其是误差)和运动矢量异常值(其因为它们需要更多的位来编译而是效率低的)。这些局限性往往降低视频压缩质量和效率。
[0004]此外，现有的评估方法在依靠保真度度量时往往在图片中促成高对比度区。这常常对低纹理的区产生粗劣的运动估计，并且通常在这些低纹理中导致明显不正确的运动。并且，保真度度量常常未能区分在视频序列内能够在衰落、渐隐以及压缩期间发生的对比度、亮度、模糊、添加的噪声、赝像以及其它差异的改变期间发生的运动。这些其它局限性同样往往降低视频压缩质量和效率。
[0005]保真度度量在这些情况中的任一个下的弱点常常可以通过提高运动处理能力来减轻，这产生处理成本。然而，在其中保真度度量是不太有效的情况下，使用现有的评估方法的运动处理常常需要在视频压缩中实现更准确的/精确的运动矢量与较低的处理成本之间的权衡。
【专利附图】
【附图说明】
[0006]参考附图根据以下描述示例和公开内容的特征对于本领域的技术人员而言是显而易见的，其中:
[0007]图1是图示根据示例的利用感知表示的感知编码系统的框图；
[0008]图2是图示根据示例的利用感知表示的感知解码系统的框图；
[0009]图3是描绘根据示例的感知表示和原始图片的摄影图像；
[0010]图4是图示根据示例的用于生成感知表示的过程中的计算的流程图；
[0011]图5是描绘根据示例的原始图片和基于不同的压扩因子的一系列感知表示的摄影图像；
[0012]图6是描绘根据示例的感知表示对应用于原始图片的对比度改变的回弹能力的摄影图像；
[0013]图7是描绘根据示例的感知表示对应用于原始图片的亮度改变的回弹能力的摄影图像；
[0014]图8是图示根据示例的在用于利用感知表示来编码的系统中的运动估计流程的框图；
[0015]图9是图示根据示例的内容分发系统的框图；以及
[0016]图10是图示根据示例的用于利用感知表示来编码的方法的流程图；
[0017]图11是图示根据示例的用于利用感知表示来解码的方法的流程图；以及
[0018]图12是图示根据示例的用来为用于编码的系统和/或用于解码的系统提供平台的计算机系统的框图。
【发明内容】
[0019]根据本发明的实施例，存在提供在确定或者利用运动矢量中是利用感知表示进行编码和进行解码的系统、方法以及计算机可读介质(CRM)。感知表示的利用产生具有改进的准确性和/或精度的运动矢量。可以在针对图片中低纹理的区和/或针对转变序列中的图片来提高运动矢量的准确性和/精度时利用感知表示。特别针对包括能够在衰落、渐隐以及压缩期间发生的对比度、亮度、模糊、添加的噪声、赝像以及其它差异的改变的视频序列提高了运动矢量的准确性和精度。在确定或者利用运动矢量时利用感知表示产生改进的压缩效率和较低的运动处理要求和/或处理成本。
[0020]根据实施例，用于编码的系统包括被配置成接收包括在包括图片的视频序列中的原始图片的视频信号的接口。该系统包括被配置成基于所接收到的原始图片来生成目标感知表示、从多个参考图片选择参考图片、并且基于目标感知表示和所选参考图片来确定运动矢量信息的处理器。所确定的运动矢量信息基于参考图片和目标感知表示的属性来确定。该系统对运动矢量信息进行编码并且对与所选参考图片相关联的指针进行编码。
[0021]根据另一实施例，用于编码的方法包括:接收包括在包括图片的视频序列中的原始图片的视频信号；基于所接收到的原始图片来生成目标感知表示；从多个参考图片选择参考图片；利用处理器，基于目标感知表示和参考图片来确定运动矢量信息，其中所确定的运动矢量信息基于参考图片和目标感知表示的属性来确定；对所确定的运动矢量信息进行编码，以及对与参考图片相关联的指针进行编码。
[0022]用于编码的方法可以由存储在非暂时性计算机可读介质上的计算机可读指令来实施。指令可以被处理器执行来执行该方法。
[0023]根据又一个实施例，用于解码的系统包括被配置成接收运动矢量信息的接口。运动矢量信息可以是基于基于来自包括图片的视频序列的原始图片的目标感知表示、以及与目标感知表示相关联的参考图片。所述接口还被配置成接收与参考图片相关联的指针，并且接收与所接收到的运动矢量信息相关联的残差图片。该系统还包括处理器，该处理器被配置成:利用所接收到的指针从多个参考图片选择参考图片；基于所接收到的运动矢量信息和所选参考图片来确定预测图片；以及基于预测图片和残差图片来生成重构图片。
[0024]根据又一个实施例，用于解码的方法包括接收运动矢量信息，其中该运动矢量信息是基于基于来自包括图片的视频序列的原始图片的目标感知表不、以及与目标感知表不相关联的参考图片；接收与相应的参考图片相关联的指针；接收与所接收到的运动矢量信息相关联的残差图片；利用相应的接收到的指针从多个参考图片选择参考图片；利用处理器，基于所接收到的运动矢量信息和相应的选择的参考图片来确定预测图片；以及基于所确定的预测图片和所接收到的残差图片来生成重构图片。
[0025]用于解码的方法可以由存储在非暂时性计算机可读介质上的计算机可读指令来实施。指令可以被处理器执行来执行该方法。
【具体实施方式】
[0026]为了简单和说明性目的，本发明通过主要参考实施例及其示例来描述。在以下描述中，许多特定细节被阐述以便提供对示例的透彻理解。然而容易地显而易见的是，可以在不限于这些特定细节的情况下实践本发明。在其它实例中，尚未对一些方法和结构进行详细的描述以便不必要地使本描述混淆。此外，在下面描述了不同的实施例。可以以不同组合使用或者一起执行示例。如在此所用的，术语“包括”意指包括但不限于术语“包括”。术语“基于”意指至少部分地基于。
[0027]如在以下示例中所演示的，存在用于基于感知表示对运动矢量信息进行编码和解码的感知引擎、编码和解码系统、方法以及存储在计算机可读介质(CRM)上的机器可读指令。感知表示包括诸如在视频序列中的那些的帧和/或图片的图。感知表示中的图可以包括与图片中的诸如像素的单元相关联的计算值。在感知表示的图中的计算值可以基于人类感知的模型来开发。在下面提供了有关感知表示以及它们在编码和解码中如何被生成和利用的另外的细节。
[0028]参考图1，示出了诸如可以在用于在诸如传输流的压缩位流中分发内容的头端处的设备中找到的感知编码系统100。根据示例，感知编码系统100接收视频序列，诸如视频序列101。视频序列可以被包括在视频位流中。视频序列101可以包括可以位于或者作为原始图片存储在与感知编码系统100相关联的诸如存储器102的存储器中的帧或图片。存储器102可以包括一个或多个缓冲器或更高容量的储存器。来自视频序列101的图片可以通过感知引擎104被转换为感知表示并且存储在存储器102中。诸如相对于图4在下面更详细地描述了可以通过其生成感知表示的详细步骤和参数。
[0029]可以从存储器102中检索诸如目标图片103的目标图片用于压缩和编码。目标图片103可以是来自视频序列101的原始图片。并且，可以从存储器102中检索用于确定运动矢量的参考图片106。目标图片103和参考图片106被用信号发送到运动补偿器116以生成预测图片110和运动矢量113。运动矢量113可以像在下面所描述的那样从目标图片103和参考图片106的感知表不生成。感知表不被不出为目标感知表不105和参考感知表示 108。
[0030]指针114可以与参考图片106相关联。指针114可以标识参考图片106或与该参考图片相关联的属性。指针114可以是身份、关联、属性、位置，诸如存储地址等。可以从感知编码系统100编码和传送指针114以用于基于或者与参考图片106相关联的下游解码过程。
[0031]根据示例，目标图片103被从存储器102中检索并且用信号发送到运动补偿器116。并且，可以通过感知引擎104从目标图片103生成的目标感知表示105被从存储器102中检索并且用信号发送到运动补偿器116。参考图片106由选择器117从存储器102选择并且被用信号发送到运动补偿器116。可以通过感知引擎104从参考图片106生成的参考感知表示108被从存储器102中检索并且用信号发送到运动补偿器116。运动补偿器116可以包括运动估计器109和预测图片生成器115。运动估计器109接收目标感知表示105和参考感知表示108并且利用两者来确定运动矢量113。运动矢量113可以被编码并且与指针114分别地或者连同指针114 一起在压缩的视频位流中传送。运动矢量113可以通过扫描并且标识与目标感知表示105中的块类似的参考感知表示108中的块以及生成类似块的指针来确定。
[0032]预测图片生成器115使用由运动估计器109所确定的运动矢量113和参考图片106来生成预测图片110。减法器111可以接收并且处理预测图片110以及目标图片103以生成残差图片112。残差图片112被还原以用于编码和下行传输到解码系统。残差图片112可以排除目标图片103的运动估计区域，诸如与运动矢量113相关联的区。残差图配112是从感知编码系统100所传送的编码图片，用于基于或与目标图片103相关联的下游解码处理。
[0033]参考图2，示出了诸如可以在诸如机顶盒、转码器、电话听筒、个人计算机或用于接收诸如传输流的压缩位流中的内容的其它客户端装置的设备中找到的感知解码系统200。根据示例，感知解码系统200接收残差图片112、运动矢量113以及指针114。这些中的任一个都可以位于或者存储在与感知解码系统200相关联的诸如存储器201存储器中。感知解码系统200可以利用指针114来从存储器201选择参考图片，诸如参考图片202。参考图片202对应于或者与参考图片106相关联。参考图片202与参考图片106之间的关系可以通过指针114来确定 或者标识。
[0034]根据示例，感知解码系统200中的诸如运动补偿器205的运动补偿器可以接收参考图片202和运动矢量113两者。运动补偿器205可以生成预测图片，诸如预测图片206。可以基于参考图片202和运动矢量113来生成预测图片206。预测图片206可以被用信号发送到加法器，诸如加法器207。加法器207可以生成重构图片，诸如重构图片208。可以基于预测图片206和残差图片112来生成重构图片208。
[0035]原始图片的感知表示(而不是原始图片它本身)是用于确定运动矢量的基础。参考图3，提供了原始图片300和对应的感知表示301。感知表示301模仿人类视觉的自适应对比度不变性。感知表示301的区302和303描绘与在原始图片300中出现的低级纹理相关联的低对比度区302和303的增强成像。在感知表示301的区302和303中出现的增强成像可以改进这些区域的运动估计中的基于块的运动匹配。
[0036]感知表示301的区304描绘可以与“马赫带”现象相关联的原始图片300的区。马赫带是感知现象，被以物理学家恩斯特?马赫命名，并且与被人眼感知为紧靠具有不同亮度的图像的两个区之间的边界出现的明亮或黑暗条纹相关联。马赫带效应是由于由人类视觉系统对由视网膜所捕获的图像的辉度通道所执行的空间高提升滤波而导致的。这种滤波主要通过神经元之间的侧抑制在视网膜它本身中执行。马赫带现象以及类似的纹理掩蔽通过视网膜中的滤波来执行，所述网膜中的滤波可以靠近高对比度边缘和特征发生。感知表示301的区304图示诸如马赫带现象的梯度和类似的纹理掩蔽如何通过感知表示来捕获。对于基于块的运动矢量匹配这些梯度可以不以其它方式在原始图片中可用。
[0037]感知表示301的区305描绘被示出成被保存在感知表示301的区305中的原始图片300的高对比度特征。[0038]现描述用于从原始图片生成感知表示的过程。参考图4，从原始图片生成感知表示的示例在流程图400中被示出。原始图片具有分配给每个像素的Y值。例如，Yu是在具有尺寸M乘N的图像的坐标1、j处的像素的亮度值。
[0039]在流程图400中所参考的Y像素值与原始图片相关联。这些Y值被变换为空间细节图中的eY值。空间细节图是从原始图片形成处理的图片的加权图。空间细节图可以由感知编码系统100使用考虑到自然图像的统计和视网膜中细胞的反应函数的人类视觉系统的模型来创建。加权图可以是基于人类视觉系统的模型的原始图片的像素图。加权图可以包括标识视觉感知的难度水平和/压缩的难度水平的针对每个像素的值或权重。压缩的难度水平可以是测量对图像的像素或区域进行编码所需的位数的连续标度。类似地，视觉感知的难度水平是如与观察者跟踪像素或区域中的细节的能力相关联，测量对图像的像素或区域进行编码所需的位数的连续标度。于2010年4月16日提交的标题为“System forReducing Noise in Video Processing”的美国专利申请序号12/761，581中更详细地描述了生成加权图的过程，其通过引用整体地被包含在此。
[0040]根据示例，与人类视觉系统相关联的模型(其可以被用来创建加权图)包括集成感知指南(IPeG)系统。IPeG系统实现了采用某种可预期的总体平均统计(诸如自然图像的标度不变式)来生成与数据的处理相关联的“不确定性信号”的IPeG变换式。IPeG变换式对人类视网膜中的某些细胞类的行为建模。IPeG变换式能够通过继之以求和步骤的2d空间卷积来实现。IPeG变换式的细化可以通过添加低空间频率校正来实现，所述低空间频率校正可以进而通过继之以插值的抽取或者通过其它低通空间滤波来近似。以计算机文件提供的或者从扫描系统提供的像素值可以被提供给变换式来生成空间细节图。于2000年I 月 11 日公告的标题为 “Apparatus and Methods for Image and Signal Processing”的美国专利 N0.6, 014, 468 ；2002 年 3 月 19 日公告的标题为“Apparatus and Methods forImage and Signal Processing” 的美国专利 N0.6，360，021 ;2006 年 5 月 16 日公告的美国专利 N0.6，360，021 的继续、标题为 “Apparatus and Methods for Image and SignalProcessing”的美国专利N0.7，046, 857、以及于2000年I月28日提交的标题为“Apparatusand Methods for Image and Signal Processing” 的国际申请 PCT/US98/15767 中更详细地描述了 IPeG系统，其通过引用整体地被包含在此。IPeG系统提供包括将视觉细节组织成感知意义的一组信号以及指示观察者跟踪某些视频细节的能力的度量的信息。
[0041]图4中所示出的空间细节图包括值eY。例如，eY。是从原始图片在i，j处的Y值的IPeG变换式的在i，j处的值。每个值eY。都可以包括标识视觉感知的难度水平和/或压缩的难度水平的针对每个像素的值或权重。每个eY。都可以是正的或负的。
[0042]如图4中所示，空间细节图的符号(例如，sign (eY))和空间细节图的绝对值(例如，|eY|)是从该空间细节图生成的。根据示例，可以生成符号信息如下:
[0043]
【权利要求】
1.一种用于编码的系统，所述系统包括: 接口，所述接口被配置成 接收包括在包括图片的视频序列中的原始图片的视频信号；以及 处理器，所述处理器被配置成 基于所接收到的原始图片来生成目标感知表示， 从多个参考图片选择参考图片， 基于所述目标感知表示和所述参考图片来确定运动矢量信息，其中所确定的运动矢量信息基于所述参考图片和所述目标感知表示的属性被确定， 对所确定的运动矢量信息进行编码，以及 对与所述参考图片相关联的指针进行编码。
2.根据权利 要求1所述的系统，其中，所述处理器被配置成从所述参考图片生成多个参考感知表示并且使用所述多个参考感知表示来确定所述运动矢量信息。
3.根据权利要求1所述的系统，其中，所述处理器被配置成通过以下来生成所述目标感知表示: 基于相应的原始图片来生成空间细节图， 基于相应的生成的空间细节图来确定符号信息， 基于所述相应的生成的空间细节图来确定绝对值信息，以及 处理所确定的符号信息和所确定的绝对值信息来形成相应的生成的目标感知表示。
4.根据权利要求3所述的系统，其中，所生成的空间细节图包括与所述原始图片中的像素相关联的值。
5.根据权利要求3所述的系统，其中，所生成的空间细节图包括使用相应的原始图片中的特征的人类可感知性的模型所确定的值。
6.根据权利要求3所述的系统，其中，所述处理器被配置成通过以下来确定所述绝对值信息: 基于所述相应的生成的空间细节图来确定绝对值图；以及 基于压扩因子、所述相应的确定的绝对值图以及所述相应的生成的空间细节图来生成压扩的绝对值空间细节图。
7.根据权利要求1所述的系统，其中，所述视频序列中的所述原始图片是在所述视频序列中的图片的转变序列中。
8.根据权利要求7所述的系统，其中，所述转变序列通过所述视频序列中的多个图片中的图片的改变对比度属性和改变亮度属性中的至少一个来表征。
9.一种用于编码的方法，所述方法包括: 接收包括在包括图片的视频序列中的原始图片的视频信号； 基于所接收到的原始图片来生成目标感知表示； 从多个参考图片选择参考图片； 利用处理器基于所述目标感知表示和所述参考图片来确定运动矢量信息，其中所确定的运动矢量信息基于所述参考图片和所述目标感知表示的属性被确定； 对所确定的运动矢量信息进行编码；以及 对与所述参考图片相关联的指针进行编码。
10.一种非暂时性计算机可读介质(CRM)，其存储用于执行根据权利要求9所述的方法的计算机可读指令。
11.一种用于解码的系统，所述系统包括: 接口，所述接口被配置成 接收运动矢量信息，其中所述运动矢量信息是基于 基于来自包括图片的视频序列的原始图片的目标感知表不，以及 与所述目标感知表不相关联的参考图片； 接收与所述参考图片相关联的指针，以及 接收与所接收到的运动矢量信息相关联的残差图片；以及处理器，所述处理器被配置成 利用所接收到的指针 从多个参考图片选择参考图片， 基于所接收到的运动矢量信息和所选参考图片来确定预测图片，以及 基于所述预测图片和所述残差图片来生成重构图片。
12.根据权利要求11所述的系统，其中，所述参考图片是参考感知表示。
13.根据权利要求11所述的系统，其中，所述目标感知表示由相应的生成的空间细节图形成，所述相应的生成的空间细节图基于相应的原始图片和以下中的至少一个来生成: 基于所述相应的生成的空间细节图而确定的确定的符号信息，以及 基于所述相应的生成的空间细节图而确定的确定的绝对值信息。
14.根据权利要求13所述的系统，其中，所生成的空间细节图包括与所述原始图片中的像素相关联的值。
15.根据权利要求13所述的系统，其中，所生成的空间细节图包括使用所述原始图片中的特征的人类可感知性的模型所确定的值。
16.根据权利要求13所述的系统，其中，所确定的绝对值信息是基于 基于所述相应的生成的空间细节图的绝对值图，以及 基于以下生成的压扩的绝对值空间细节图: 压扩因子， 所述相应的绝对值图，以及 所述相应的生成的空间细节图。
17.根据权利要求11所述的系统，其中，所述视频序列中的所述原始图片是在所述视频序列中的图片的转变序列中。
18.根据权利要求7所述的系统，其中，所述转变序列通过所述转变序列中的图片的改变对比度属性和改变亮度属性中的至少一个来表征。
19.一种用于解码的方法，所述方法包括: 接收运动矢量信息，其中所述运动矢量信息是基于 基于来自包括图片的视频序列中的原始图片的目标感知表不，以及 与所述目标感知表不相关联的参考图片； 接收与相应的参考图片相关联的指针； 接收与所接收到的运动矢量信息相关联的残差图片； 利用相应的接收到的指针从多个参考图片选择参考图片；利用处理器基于所接收到的运动矢量信息和相应的选择的参考图片来确定预测图片；以及 基于所确定的预测图片和所接收到的残差图片来生成重构图片。
20.一种非暂时性计算机可读介质(CRM)，其存储用于执行根据权利要求19所述的方法的计算机可读 指令。
【文档编号】H04N19/85GK103988510SQ201280060642
【公开日】2014年8月13日 申请日期:2012年12月7日 优先权日:2011年12月9日
【发明者】西恩·T·麦卡锡, 维贾伊·卡马希 申请人:通用仪表公司