用于基于运动补偿的视频压缩的错误跟踪和减轻的制作方法
【专利说明】用于基于运动补偿的视频压缩的错误跟踪和减轻
[0001] 背景
[0002] 由于数字视频数据的大尺寸，一般在整个网络中传输数字视频之前在数字视频上 执行某种形式的压缩。可被使用的一种视频压缩技术是基于运动补偿的压缩，其只传输在 正被编码的视频帖和参考帖之间的差异。运动补偿压缩利用帖间冗余。特别是，在连续帖 之间的唯一差异常常是在帖内摄像机移动或物体移动的结果。该意味着描述一个帖的大部 分信息与描述后面的帖的信息相同。
[0003] 然而，网络错误可意味着接收器不能够对被编码的视频帖的某些部分进行解码 (即，因为在所接收的信息中存在错误或因为接收器未接收到被编码的视频的部分），导致 本身显现为视频中的视觉假象的遗漏的数据。因为后续帖取决于前面的帖，在特定帖中的 任何错误或视觉假象传播到后续帖。该具有引起视频中的增长的视觉假象的级联效应。
[0004] 减轻该样的错误或假象的传播的一种方式是在确定错误出现时引入内编码帖 (即，使用只包含在正被编码的帖内的信息来编码的帖）。然而，该种技术并不实现与帖间 编码技术（即，使用来自另一个帖的信息来对帖编码的编码技术，例如基于运动补偿的压 缩技术）一样高的压缩比，因为该样的内编码帖W非均匀方式耗尽大量带宽。
[0005] 减轻该样的错误或假象的传播的另一方式是对每个帖的一部分（例如一个或多 个块）进行帖内编码。帖的不同部分（例如块）在一系列帖上被循环地选择。该种技术随 着时间的推移更均匀地分布额外的数据。然而，因为帖内编码块可在空间上从相同帖的邻 近帖内编码块得到，该种技术的有效性由于现有的传播错误而降低。
[0006] 因此，用于减轻错误传播的已知技术W均匀或非均匀的方式增加了在编码器和解 码器之间传输的数据。
[0007] 下面描述的实施方式不限于解决已知的视频压缩技术的任何或所有缺点的实现。 [000引 概述
[0009] 提供该个概述来W简化形式引入下面在详细描述中进一步描述的一系列概念。该 个概述并不打算识别所要求保护的主题的关键特征或本质特征，它也不打算用于帮助确定 所要求保护的主题的范围。
[0010] 本文描述了用于将视频的帖中的错误追踪到视频的后续帖的方法和编码器。响 应于接收指示在解码期间出现在编码帖中的错误的错误通知消息，编码器得到；(a)紧接 着在错误帖后面的帖的块的每列的最小水平运动矢量分量和最大水平运动矢量分量；W及 化）紧接着在错误帖后面的帖的块的每行的最小垂直运动矢量分量和最大垂直运动矢量分 量。使用最小水平运动矢量分量、最大水平运动矢量分量、最小垂直运动矢量分量和最大垂 直运动矢量分量来识别紧接着在错误帖后面的帖中的、所述错误可能已经传播到的块的矩 形区域。
[0011] 第一方面提供将视频的帖中的错误追踪到视频的后续帖的方法，视频中的每个帖 被划分成布置在多个行和列中的多个块，视频中的每个帖由包括产生帖的块的运动矢量的 技术编码，该方法包括；（a)在编码器处接收错误通知消息，错误通知消息包括识别视频的 错误帖的信息和识别该错误帖的被检测为在解码期间有错误的部分的信息；化）在编码器 处识别紧接着在错误帖后面的帖作为参考帖；（C)在编码器处得到参考帖的块的每列的最 小水平运动矢量分量和最大水平运动矢量分量；（d)在编码器处得到参考帖的块的每行的 最小垂直运动矢量分量和最大垂直运动矢量分量；（e)在编码器处根据参考帖的最小水平 运动矢量分量、最大水平运动矢量分量、最小垂直运动矢量分量和最大垂直运动矢量分量 来识别参考帖的错误可能传播到的块的矩形区域。
[0012] 第二方面提供减轻在视频的帖中的错误的传播的方法，错误在解码器处被检测 至IJ，该方法包括；根据第一方面在编码器处将错误追踪到紧接着在待编码的下一帖前面的 帖；修改参考帖W将在所识别的矩形区域中的块识别为对于帖间编码是不可用的；W及使 用修改的参考帖来对下一帖进行编码。
[0013] 第=方面提供视频编码器W将视频的帖中的错误追踪到视频的后续帖，视频中的 每个帖被划分成布置在多个行和列中的多个块，视频的每个帖由包括产生帖的块的运动矢 量的技术编码，编码器包括：通信接口，其配置成接收错误通知消息，错误通知消息包括识 别错误帖的信息和识别错误帖的被检测为在解码期间有错误的部分的信息；W及处理器， 其与通信接口连通，处理器配置成；a.将紧接着在视频中的错误帖后面的帖识别为参考 帖；b.得到参考帖的块的每列的最小水平运动矢量分量和最大水平运动矢量分量；C.得到 参考帖的块的每行的最小垂直运动矢量分量和最大垂直运动矢量分量；W及d.根据参考 帖的最小水平运动矢量分量、最大水平运动矢量分量、最小垂直运动矢量分量和最大垂直 运动矢量分量来识别参考帖中的错误可能传播到的块的矩形区域。
[0014] 本文描述的方法可由配置有软件的计算机执行，软件W机器可读形式被存储在有 形存储介质上，例如W包括用于配置计算机W执行所述方法的组成部分的计算机可读程序 代码的计算机程序的形式或W包括适于在程序在计算机上运行时和在计算机程序可体现 在计算机可读存储介质上的地方执行本文描述的任何方法中的任何方法的所有步骤的计 算机程序代码模块的计算机程序的形式。有形（或非暂时）存储介质的例子包括磁盘、拇 指驱动器、存储卡等，且不包括传播的信号。软件可适合于在并行处理器或串行处理器上执 行，使得可W按任何适当的顺序或同时执行方法步骤。
[0015] 本文描述的硬件部件可由非临时计算机可读存储介质产生，非临时计算机可读存 储介质具有在其上编码的计算机可读程序代码。
[0016] 该承认固件和软件可被单独地使用且是有价值的。目的是包括在"非智能的 (dumb)"或标准硬件上运行或控制"非智能的"或标准硬件的软件来执行期望的功能。目的 还在于包括"描述"或定义了硬件的配置的软件（例如如用于设计娃巧片或用于配置通用 可编程巧片的皿L(硬件描述语言）软件）W执行期望的功能。
[0017] 优选的特征可被适当组合，如将对技术人员明显的，并可与本发明的方面的任何 方面组合。
[001引附图的简要说明
[0019] 将通过示例的方式参考附图来描述本发明的实施方式，其中：
[0020] 图1是用于使用块运动补偿视频压缩对视频数据进行编码的已知系统的框图；
[0021] 图2是示出了用于减轻在图1的系统中的错误的传播的已知方法的示意图；
[0022] 图3是示出了编码的帖中的错误的示意图；
[0023] 图4是用于使用其中相关性信息被存储的块运动补偿视频压缩对视频数据进行 编码的示例系统的框图；
[0024] 图5是用于产生图4的相关性信息的示例方法的流程图；
[0025] 图6示出了图4的相关性信息的例子；
[0026] 图7是用于使用图4的相关性信息减轻错误的传播的示例方法的流程图；
[0027] 图8是示出了用于使用图4的相关性信息将错误帖中的错误追踪到后续帖的示例 方法的示意图；
[0028] 图9是示出了图7的方法的示意图；
[0029] 图10是用于使用图4的相关性信息将错误帖中的错误追踪到后续帖的示例方法 的示意图；W及
[0030] 图11是示例性基于计算的设备的框图。
[0031] 在整个附图中使用共同的附图标记W指示类似的特征。
[0032] 详细描述
[0033] 仅仅通过示例的方式在下文描述了本发明的实施方式。该些例子代表申请人当前 已知的实施本发明的最佳方式，虽然它们并不是其中该可被实现的唯一方式。该描述阐述 了例子的功能和用于构造和操作例子的步骤的顺序。然而，可由不同的例子完成相同或等 效的功能和顺序。
[0034] 如上所述，在基于运动补偿的视频压缩中，在正被编码的视频帖和参考帖之间的 差异被确定，且只有该差异被通过网络传输。运动补偿压缩利用在两个视频帖之间的唯一 差异常常是摄像机移动或物体移动的结果的事实。该意味着描述一个帖的大部分信息与描 述后续帖的信息相同。
[0035] 在基于块运动补偿的压缩中，每个帖被划分成像素的块（例如在MPEG中的16x16 像素的宏块）。然后试图从在本文被称为参考帖的另一帖（紧接着在前面的帖）中的块 (即，匹配块）预测特定帖的每个块（即，目标块）。特别地，在编码的视频数据中，正被编码 的帖的每个块可由指示块来自哪里（即，从目标块到匹配块的移动）的运动矢量表示。每 个运动矢量包括代表在水平方向上的运动的X或水平分量和代表在垂直方向上的运动的y 或垂直分量。
[0036] 参考帖一般是紧接着在待编码的帖前面的视频的帖。然而对本领域中的技术人员 将明显的是，视频的另一帖可用作参考帖。对本领域中的技术人员还将明显的是，可使用一 个W上的参考帖。例如，可使用第一参考帖的块来对一些块进行编码，并且可使用第二参考 帖的块来对其他块进行编码。
[0037] 现在参考图1，其示出了用于使用块运动补偿视频压缩对视频数据进行编码的已 知系统100。系统100包括布置成接收视频数据并使用块运动补偿视频压缩技术对视频数 据进行编码的编码器102 ;用于接收编码的视频数据并对编码的视频数据进行解码的解码 器104 及用于将编码的视频数据从编码器102传输到解码器104的数据通信网络106。
[003引编码器102是能够对视频数据进行编码的基于计算的设备。编码器102从视频源 108接收视频数据。视频源108可W是提供直播视频的设备，例如摄像机；存储预先记录的 视频的设备，例如存储器；或提供直播视频的设备和存储预先记录的视频的设备的组合。
[0039] 响应于从视频源108接收到视频数据，编码器102布置或配置成使用块运动补偿 压缩技术或编码译码器（例如H. 264)来对视频数据进行编码。如上所述，块运动补偿压缩 技术（例如H. 264)使用来自另一帖（目P，参考帖）的块来对帖进行编码。
[0040] 特别地，对于待编码的帖的每个块（被称为目标块），在参考帖（即，紧接着在前面 的帖）中找到与待编码的块最紧密地匹配的块（被称为匹配块）。待编码的帖不确切地匹 配参考帖中的块的地方，称为存在错误残差。一旦识别出匹配块，则确定代表从目标帖到匹 配帖的移动的运动矢量。运动矢量是关于在参考帖中的匹配块的运动描述目标块的二维矢 量（即，它具有水平分量和垂直分量）。
[0041] 运动矢量和错误残差一起（即，帖间编码技术）的压缩效率然后与每个块的帖内 编码技术进行比较，且为每个块选择更有效的编码技术。因此，对于每个块（其中帖间编码 是有效的），将存在与它相关的运动矢量，其将用于对块进行编码。相反，块（其中帖间编码 不是有效的）将没有与它相