专利名称：知晓对象的视频编码策略的制作方法
技术领域：
本发明涉及知晓对象(obje ct-aware)的视频编码。
背景技术：
在许多视频编码应用中，必须在限制比特率的情况下对视频进行编码，例如，50-400kbps对于传送到移动设备而言是典型的。用低比特率来编码视频导致可视信息的丢失，并且因此，影响其主观质量或观看体验。在这种存在丢失的编码条件下，通过减少在显著或重要区域中的质量损失可提升主观质量。在某些系统中，诸如图I中所示的对象高亮系统,检测到感兴趣的对象或区域,并且，通过预处理和/或使用知晓对象的编码器来更好地保留重要的对象，其编码后的质量被提升。由于对于观看者而言，能够清晰地看到视频中感兴趣的对象(诸如，在足球视频中的球或球员)是重要的，因此要这样做。典型的知晓对象的编码器能够接收关于视频中的各种对象或区域的信息并使用该信息以便更好地保留重要的对象，并且因此，提升用户的观看体验。这种编码器通常通过利用对象信息来工作，以便引导诸如资源分配和模式判决之类的编码操作。存在多种能够保留对象的方法，但是，针对给定的视频，选择一个方法可能不产生针对整个视频的最佳对象保留。如此，存在对如下对象保留方法的需要该方法具有足够的反映性(reflexible)以最佳地保留整个视频。
发明内容
提供了一种知晓对象的视频编码方法，该方法包括如下步骤接收具有多个帧的视频序列；选择至少两帧；确定所选帧中的每一个中的至少一个感兴趣的对象的全部区域；将全部区域与阈值区域相比较；将至少两帧中每一个分类为低对象加权帧或高对象加权帧，该低对象加权帧是具有超过阈值区域的全部区域的帧，该高对象加权帧是具有未超过阈值区域的全部区域的帧；以及根据一种编码模式来对每个低对象加权帧进行编码，并且，根据不同的编码模式来对每个高对象加权帧进行编码。该方法还包括确定帧中哪些宏块包含所述至少一个感兴趣的对象；确定所述至少两帧中的每一个的初始QP ;对所述低对象加权帧的初始QP应用偏移；以及响应于应用步骤，增加对包含在所述至少一个感兴趣的对象中的宏块的比特分配。另外的步骤可包括针对那些连续的高对象加权帧，从帧处的时间掩蔽效应量来确定(106)每帧的QP偏移贡献(AQPMasking);将Λ QPfcking与从帧类型所获得的QP偏移贡献(AQPType)相组合(110);以及利用如下比特率来编码连续的高对象加权帧(114)，该比特率是通过利用与从帧类型所获得的QP偏移贡献(AQPType)相组合所算出的△ QPMasking来获得；计算(102)连续的高对象加权帧的帧复杂度；基于连续的高对象加权帧的每个GOP的GOP边界和GOP编码图样来选择(104)帧类型；以及基于帧类型来计算(106)每帧的QP偏移贡献(AQPType)，其中，所述从帧处的时间掩蔽效应量来确定(106)每中贞的QP偏移贡献(AQPMasking)的步骤是利用Δ QPMasking (n) = a · CompIltlasking(n)来执行的，其中，ComplMasking (η)包括被计算为高对象加权帧的预定大小的窗口中的当前帧的邻近帧的均值的帧的时间掩蔽复杂度。该方法还包括如下步骤在所有高对象加权帧上计算(108)平均AQPilasking ;归一化(110) Λ QPilasking ;以及计算(110)最终的每帧AQP ;利用所计算的最终的每帧AQP来计算(112)所分配的比特预算和速率控制。所述计算高对象加权帧的每帧的帧复杂度(102)的步骤可通过利用前向帧间预测来执行。知晓对象的视频编码方法的另一实施例包括如下步骤接收具有多个帧的视频序列；选择至少两帧；确定所选帧中的每一个中的至少一个感兴趣的对象的全部区域；将全部区域与阈值区域相比较；将至少两帧中每一个分类为低对象加权帧或高对象加权的帧；根据一种编码模式来对每个低对象加权帧进行编码，并且，根据不同的编码模式来对每个高对象加权帧进行编码；针对那些连续的高对象加权帧，从帧处的时间掩蔽效应量来确 定(106)每帧的QP偏移贡献(AQPMasking);将AQPilasking与从帧类型所获得的QP偏移贡献(Δ QPlype)相组合(110);以及利用比特率来编码(114)连续的高对象加权帧，该比特率通过利用与从帧类型所获得的QP偏移贡献(AQPType)相组合所算出的AQPfcking来获得；确定帧中哪个宏块包含所述至少一个感兴趣的对象；确定所述至少两帧中的每一个的初始QP ；以及针对所述低对象加权帧，将偏移应用到所述初始QP，使得包含在所述至少一个感兴趣的对象中的宏块的比特分配增加。该方法的其他实施例可包括如下步骤接收具有多个帧的视频序列；选择至少两帧；确定所选帧中的每一个中的至少一个感兴趣的对象的全部区域；将全部区域与阈值区域相比较；将至少两帧中每一个分类为低对象加权帧或高对象加权帧；根据一种编码模式来对每个低对象加权帧进行编码，并且，根据不同的编码模式来对每个高对象加权帧进行编码；针对所述低对象加权帧的多于一个编码模式，确定原始宏块像素和编码后的宏块像素之间的绝对差之和(SAD);选择在所述低对象加权帧的绝对差之和确定步骤中具有比至少另一个编码模式的绝对差之和更低的绝对差之和的编码模式；以及根据在选择步骤中所选出的各自编码模式来对所述低对象加权帧进行编码。此处，这些实施例可包括在绝对差之和确定步骤中应用编码器权重阵列，使得对象像素比非对象像素被指派更大的权重。本发明的其他实施例包括一种用于编码视频序列的编码器，其中，该编码器被适配为包括用于确定视频帧中的感兴趣的对象的区域的部件；用于设定模式选择阈值区域的部件；用于比较对象区域和多个帧的阈值区域的部件；用于响应于比较部件来选择编码模式的部件，其中，选择部件被适配为针对不同帧选择不同的编码模式；以及用于编码的部件，其中，编码部件被适配为用所述不同的编码模式来对所述不同帧进行编码。确定部件可确定组成所述感兴趣的对象的像素数。所述选择部件可针对具有超过所述阈值区域的像素数的区域的帧使用感知量化参数偏移确定，所述编码部件用响应于所述感知量化参数偏移确定的编码模式来对帧进行编码。所述选择部件能可替换地使用天真QP偏移确定，其中，所述选择部件被适配为确定具有未超过阈值的像素数的区域的所述至少两帧中的每一个的初始QP，针对所述至少两帧将偏移应用到所述初始QP，以及响应于所述偏移以增加包含在所述至少一个感兴趣的对象中的宏块的比特分配，所述编码部件用响应于所述偏移的编码模式来对具有未超过阈值帧的像素数的区域的所述至少两帧进行编码。所述选择部件还可使用天真QP偏移确定，其中，所述选择部件被适配为确定具有未超过阈值的像素数的区域的所述至少两帧中的每一个的初始QP，针对所述至少两帧将偏移应用到所述初始QP，以及响应于所述偏移以增加包含在所述至少一个感兴趣的对象中的宏块的比特分配，所述编码部件用响应于所述偏移的编码模式来对具有未超过阈值帧的像素数的区域的所述至少两帧进行编码。
现将通过示例并参照附图来描述本发明图I是本发明中所使用的用于增强所构造的数字视频中的对象的可视性的系统的框图；图2示出了图I的系统所提供的近似对象定位；图3是根据本发明的对象高亮显示的流程图；图4在(a)和(b)中示出了对象友好的宏块(MB)的示例，并且，在(C)中示出了“不友好” MB的示例；图5是本发明中所使用的利用基于全局优化的R-QP模型的帧级比特分配中的感知帧级QP偏移的对整个视频片段的编码处理的示例性流程图；以及图6是本发明中所使用的能够实现比特分配的示例性标准视频编码器的框图。
具体实施例方式本发明涉及通过混合方法来改进对象保留，该混合方法包括量化参数(QP)偏移，加权失真度量和感知量化(QP)偏移。本发明适用于各种类型的知晓对象的编码器，并且，可涉及减小组成重要对象或区域的宏块的QP或量化步长，并且，还可涉及减少组成不重要对象或区域的宏块的QP或量化步长。在发明的实施例中，方法保留视频中的重要对象。基于某些标准，编码器例如可使用相关宏块(MB)的QP偏移、加权失真度量和感知QP偏移(或其组合)。介绍了一种新型的加权失真度量，其允许对象息来影响编码模式判决。图I示出了适用于本发明的实施例的对象高亮显示系统。具体地，根据本发明所构造的对象增强系统可将所有组件布置在发送机10中，或者对象增强组件可在接收机20中。在可执行对象高亮显示的处理链中存在三个阶段(I)预处理，在编码(即，压缩)阶段之前，对象在发送机10中被增强；(2)编码，通过对关于对象和其位置的信息的提炼，包括对象的感兴趣的区域在发送机10中被给予特殊的处理；以及(3)后处理，通过利用通过比特流作为元数据从发送机10发送的关于对象和其位置的边信息，在解码后，对象在接收机20中被增强。根据本发明所构造的对象增强系统可被布置以仅在以上所标识的阶段中的一个中提供对象闻売显不，或在以上所标识的阶段中的两个中提供对象闻売显不，或在以上所标识的所有三个阶段中提供对象高亮显示。 用于增强数字图片中的对象的可视性的图I的系统包括用于提供包括感兴趣的对象的输入视频的部件。包括将要增强其可视性的对象的数字图片的来源可以是具有惯常构造和操作的电视相机，并且，其由箭头12所示。图I的系统还包括用于存储代表感兴趣的对象的性质和特征的信息(例如，对象模板)并响应于视频输入和代表对象的性质和特征的信息而开发标识并定位对象的对象定位信息的部件。在图I中标识为对象定位模块14的这种部件包括用于逐帧地扫描输入视频以在具有类似于所存储的代表感兴趣的对象的性质和特征的信息的性质和特征的图片中标识对象(即，对象是什么)并定位该对象(即，对象在哪里)的部件。对象定位模块14可以是具有惯常构造和操作的单元，其逐帧扫描输入视频的数字图片并比较所扫描的输入视频的数字图片的扇区和代表感兴趣的对象的性质和特征的所存储的信息，以便当从对特定扇区的扫描所开发出的信息类似于代表对象的性质和特点的所存储的信息时，通过数字图片的网格坐标来标识并定位感兴趣的对象。一般而言，在标识和定位感兴趣的对象时，对象定位模块14实现以下方法中的一个或多个
对象追踪-对象追踪器的目标是定位视频中的运动对象。通常，给定来自之前帧的运动对象的历史，追踪器估计当前帧中的对象参数(例如，位置，大小)。追踪方式例如可基于模板匹配、光学流、卡尔曼滤波器、均值漂移分析、隐马尔科夫模型和粒子滤波器。 对象检测-对象检测的目标是基于关于对象的现有知识来检测图像或视频帧中的对象的存在和位置。对象检测方法一般利用自上而下和自下而上方式的组合。在自上而下方式中，对象检测方法是基于从对检测到的对象的认知所导出的规则的。在自下而上方式中，对象检测方法将对象与低级结构特征或模式相关联，并且然后，通过搜索这些特征或模式来定位对象。 对象分割-在该方式中，图像或视频被分解为组成“对象”，其可包括语义实体或可视结构，诸如，色溃(color patch)。该分解一般基于对象的运动、颜色和纹理属性。对象分割具有若干应用，其包括紧致视频编码、自动和半自动基于内容的描述、影片后期制作和场景诠释。具体地，分割通过提供对场景的基于对象的描述来简化了对象定位问题。图2示出了由对象定位模块14所提供的近似对象定位。例如，用户在对象所位于的区域周围画椭圆来近似定位该对象。最终，可提炼近似对象定位信息(即，椭圆的中心点、长轴和短轴参数)。理想情况下，对象定位模块14运行在全自动模式中。但是，在实践中，可能需要某些手动帮助来校正系统所做出的错误，或者至少为系统定义要定位的重要的对象。增强非对象区域可导致观看者被分散注意力并错过真实的动作。为了避免或最小化该问题，如上所述，用户可在对象周围画椭圆，并且，系统随后从所指定的位置追踪对象。如果在帧中成功定位了对象，则对象定位模块14输出对应的椭圆参数(即，中心点、长轴和短轴)。理想情况下，该边界椭圆的轮廓将与对象的轮廓一致。但是，当参数可能仅是近似的并且结果椭圆并未紧密包含对象并且应用了对象增强时，可能出现两个问题。首先，对象可能未被完全增强，因为椭圆并未包含整个对象。其次，非对象区域可能被增强。因为这两种结果都是不希望的，因此，在这种情形下在增强之前提炼对象区域是有用的。以下更加详细地考虑了对对象定位信息的提炼。图I中的系统还包括用于响应于视频输入和从对象定位模块14所接收的对象定位信息来开发包含感兴趣的对象和对象所位于的区域的数字图片部分的增强视频的部件。在图I中被标识为对象增强模块16的这种部件可以是惯常构造和操作的单元，其通过向该区域应用惯常的图像处理操作来增强包含感兴趣的对象的数字图片的区域的可视性。逐帧从对象定位模块14接收的对象定位信息包括感兴趣的对象所位于的具有预定大小的区域的网格坐标。另外，如上所述，对象增强有助于降低在编码阶段期间的对象劣化，该编码阶段在增强阶段之后，并且，以下描述了 该编码阶段。至此，图I中的系统的操作对应于上述操作的预处理模式。当增强对象时，通过在感兴趣的对象所位于的区域中应用图像处理操作来提升对象的可视性。可沿着对象边界(例如，边缘锐化)、在对象内部(例如，纹理增强)并甚至可能在对象外部(例如，对比增加、模糊对象区域的外部)来应用这些操作。例如，一种更加关注对象的方式是锐化对象内的并沿着对象轮廓的边缘。这使得对象中的细节更加可见，并且，还使得对象从背景中突出出来。另外，更加锐化的边缘易于更好地幸免于编码。另一种可能是例如通过迭代地应用平滑、锐化和对象提炼操作(并不必以该次序来进行)来放大对象。在图3中以更加简化的示图使出的对象高亮显示系统在输入视频305中检测重要的对象310，通过合适的预处理315来执行对象增强，并且，具有保留对象的知晓对象的编码器320。该知晓对象的编码器利用来自对象定位模块的对象信息，以便在编码处理期间更好地保留感兴趣的对象。视频帧的对象信息由“编码器权重阵列”W(x，y)来表示，其为值序列，每个值针对帧中的每个像素(X，y) ο更重要的对象的组成像素具有更大的权重。通常，背景像素权重可被设置为O。为了更好地保留对象，可在知晓对象的视频编码器中使用若干方法。这些保留方法可以是天真QP偏移、加权失真度量和感知QP偏移。天真QP偏移方法通常涉及利用编码器权重阵列，使得可以确定帧中的哪些宏块(MB)包括感兴趣的对象。取决于MB中的对象权重和对象像素数，可以应用合适的偏移来减少MB的QP。这将更多比特分配给这些MB，其导致更好的感知质量。加权失真度量涉及使得编码器针对每个MB做出若干模式判决(诸如，内/间/跳/直接编码)和图4中所示的MB分割方法(16X16、8X8、4X4等)。这些判决基于速率-失真(R-D)折衷，其中，速率对应于所分配的比特数，而失真是对编码保真度的度量。失真一般被计算为原始MB像素值和编码后的MB像素值之间的绝对差之和(SAD)。为了更好地保留对象，该处理反之使用加权SAD，其中，对象像素处的差异比非对象像素被加权更高(即，与大于I的值相乘)。对象像素权重是从编码器权重阵列获得的。像素(X，y)的权重由W(x, y)+l所给出。通过在对象像素处强调失真，加权失真度量导致更好的对象保留，因为R-D优化试图选择最小化整个MB失真的模式。感知QP偏移方法可被特征描述为感知帧级QP偏移方式。当将要保留的对象跨越许多MB时，感知QP偏移特别有用。本质上，感知QP偏移在参考帧(I帧和P帧)中产生更好的质量，并且随后，产生更好的整体编码效率。感知QP偏移的前提是以下关系QP1 < QPp < QPb.(I)其中，QPpQPp和QPb分别表示I帧、P帧和B帧的QP。速率控制与恒定帧QP和帧的最终QP的公式是所假定的恒定QP(即，对所有帧都是相同的)与该帧的特定QP偏移之和。在该情形中，每个帧类型的优选QP偏移等同于AQP1 < Δ QPp < Δ QPb.(2)其中，Λ QP1、Λ QPp和Δ QPb分别表示I帧、P中贞和B中贞的QP偏移。帧级QP偏移计算 的另一重要因素是人类视觉系统(HVS)的时间或运动掩蔽效应。基本上,人眼队高运动帧的质量劣化比对低运动帧的质量劣化更加不敏感。如此，由于其更高的时间掩蔽效应，与低运动帧相比，更小的QP应当被应用到高运动帧中，而相同的感知质量水平仍可在编码后的视频中感知到。该方式试图有效地从帧处的时间掩蔽效应量来计算每帧的QP偏移贡献，并且然后，适当地将来自每帧的QP偏移贡献与来自帧类型的原始QP偏移贡献相组合。结果的帧级QP偏移考虑帧类型和时间掩蔽效应二者，并且因此更加全面。该方式调整了离线视频编码中的整个视频剪辑或序列的帧比特分配(FBA)。尽管如此，该方式一般还适用于在线实时视频编码，取决于所涉及的前看时间(look-ahead time),其具有各种程度的质量提升。大量的实验已经表明，为了确保来自离线视频编码中的全局优化FBA的显著的可视质量提升，将时间掩蔽效应考虑到每帧QP偏移中是比考虑帧类型因素更加必要和关键的。大多数用于在线或离线视频编码的速率控制机制仅在FBA中考虑帧类型因素，而根本不考虑来自HVS掩蔽效应的任何影响。因此，在离线编码情形中，即便在平均峰值信噪比(PSNR)中所测量的目标编码效率可经由基于帧类型的每帧QP偏移在在线编码上显著提升，仍旧无法观察到显著的感知质量提升。已经发现，由于对序列的所有帧的比特分配的全局优化，与器在在线编码中的情形相比，高运动帧被用更多的比特来分配和编码。在在线编码情形中，比特首先被分配到每个GOP (图片群组)，并且，为了确保恒定的比特率(CBR)，GOP所分配的比特仅与所涉及的帧数(即，GOP大小)成正比，而不受其不同的编码复杂度(例如，高运动或低运动等)影响。因此，在离线编码情形中，给定更多比特，与其在在线编码中相比，高运动帧被用更高的PSNR编码。在另一方面，由于比特总量是相同的，因此，低运动帧被用更低的PSNR编码。在该情形中，PSNR变化确实被极大地减少了。但是，更加恒定的PSNR并不意味着更加恒定的感知质量。由于HVS时间掩蔽效应，高运动帧PSNR增益比低运动帧PSNR下降更加难感知到。因此，整体的感知质量通常比在线编码差。如此，该方式认定在整个剪辑的全局FBA中考虑时间掩蔽效应对于感知质量增强而言是必要和关键的。值得注意的是涉及考虑时间掩蔽的FBA的特定方式通常具有潜在的速率模型，该速率模型或者是基于分类的，或者是基于帧复杂度的，其并不如针对速率控制所广泛采用的R-QP建模方式那样准确和通用。另外，广泛采用的考虑时间掩蔽的方式并不是经由FBA中的每帧QP偏移的，并且因此，不能被应用于基于R-QP模型的速率控制解决方案。因此，感知帧级QP偏移方式实际上是由于时间掩蔽所带来的QP偏移部分(由△QPMasking表示)与由于帧类型所带来的部分(由AQPtw6表示)的适当的组合。该机制对于在实时单通编码上呈现在线多通编码的显著感知质量提升是关键的。带有帧复杂度度量的时间掩蔽效应被定义如下Cmpl = Rrnv + MAD{lnter _ pred _ residue_MBs)(3)Cmpl = max (0. 1，Comp I-2)(4)
其中，Cmpl表示帧的复杂度。[表示帧的每个MB的平均MV编码比特。 万表示帧中的所有MB上的预测残余的平均绝对差均值(MAD)。因此，它们的和确实表示当前帧的运动强度，其还等同表示编码复杂度和帧间变化。(3)中的简单求和形式经由大量实验从好的试探法中导出。在编码器中，[、M4Z)和由此的Cmpl都是基于原始的输入帧在对帧进行编码之前计算的，并且， Ζ 万仅占有Luma分量。该计算在简化的编码处理之后，其包括仅检查16X16间和16X16内模式，并且，仅搜索整数运动向量。从(3)所计算的帧的复杂度经由⑷被进一步限制。当复杂度低于O. I时，由于内在的图像噪声，预测残余将被看作是存在的，并且因此，可将最低复杂度设置为O. 1，其还用作防止可能的“除以零”错误。另外，即便没有运动向量差，(3)中的最小平均运动向量比特I仍旧是2。因此，该部分总被移除。注意，这里，针对每帧，仅经由前向帧间预测来计算帧复杂度，因为帧显示或观看次序遵循前向方向。即，针对任意帧，不管其帧类型是什么(即，I帧、P帧或B帧)，将仅利 用(3)中所计算的帧复杂度来测量器运动强度以及由此的运动掩蔽效应。如可从以下方程(10)中看出的，最终的QP偏移实际上是由于时间掩蔽(由
△QPMasking表示)所导致的QP偏移部分和由于帧类型(由AQPType表示)所导致的部分的适当的组合。该机制对于在实时单通编码上呈现离线多通编码的显著感知质量提升是关键的。该机制涉及以下计算 针对巾贞 η,计算 Δ QPltlasking
IΤΙ+ΚCompluasking (η) = ——· X Compl(i).(5)
ΖΛ + 11-,卜K 如果帧η是场景变更帧，不进行(5)，而是Com/>/WajW 4 (η) = —i— miniCompl^.Complin))+ ^CompliiU (6)
Λ + I ^iwj+1JΔ QPMasking (n) = a · ComplMasking (n)(7)^QPuasung =去 ΣΔυ·)(8)
* 1=1AQPM0skifts (tt) = min{AQPMasking Jtax, max(AQPwoihng ，^QPMasking (n)—厶βΡ細))⑶此处，K = I. 2K+1 = 3是窗口大小。Complmax = 40. a = O. 5。N表示视频剪辑中的总巾贞数。A QPlfesking. Iimx — 8，A QPMasking. min — 针对巾贞n，计算Λ QPlype 如果是I帧
权利要求
1.一种方法，包括如下步骤 从具有多个帧的视频序列选择至少两帧； 确定所选帧中的每一个中的至少一个感兴趣的对象的全部区域； 将每个全部区域与阈值区域相比较； 将具有超过所述阈值区域的全部区域的每个所选帧分类为低对象加权帧； 将具有未超过所述阈值区域的全部区域的每个所选帧分类为高对象加权帧；以及根据第一编码模式来对每个低对象加权帧进行编码，并且，根据不同的编码模式来对每个高对象加权帧进行编码。
2.根据权利要求I所述的方法，包括 确定帧中哪些宏块包含所述至少一个感兴趣的对象； 确定所述至少两帧中的每一个的初始QP ； 向所述低对象加权帧的初始QP应用偏移；以及 响应于应用步骤，增加对包含在所述至少一个感兴趣的对象中的宏块的比特分配。
3.根据权利要求I所述的方法，包括 针对那些连续的高对象加权帧，从帧处的时间掩蔽效应量来确定(106)每帧的QP偏移贝献(Δ QPllasking)； 将AQPlasking与从帧类型所获得的QP偏移贡献(AQPthJ相组合(Iio);以及利用如下比特率来编码(114)连续的高对象加权帧，该比特率是通过利用与从帧类型所获得的QP偏移贡献(AQPType)相组合所算出的AQPilasking来获得。
4.根据权利要求3所述的方法，还包括如下步骤 计算(102)连续的高对象加权帧的帧复杂度； 基于连续的高对象加权帧的每个GOP的GOP边界和GOP编码图样来选择(104)帧类型； 计算(106)基于帧类型的每帧QP偏移贡献(Λ QPlype)。
5.根据权利要求4所述的方法，还包括如下步骤 在所有高对象加权帧上计算(108)平均AQPMasking; 归一化(110) AQPMasking;以及 计算(110)最终的每帧AQP。
6.根据权利要求5所述的方法，还包括 利用所计算的最终的每帧AQP来计算(112)所分配的比特预算和速率控制。
7.根据权利要求3所述的方法，其中，所述从帧处的时间掩蔽效应量来确定(106)每帧的QP偏移贡献(AQPilasking)的步骤是利用Λ QPMasking (n) = a · ComplMasking (η)来执行的，其中，ComplMasking (η)包括被计算为高对象加权帧的预定大小的窗口中的当前帧的邻近帧的均值的帧的时间掩蔽复杂度。
8.根据权利要求4所述的方法，其中，所述计算(102)高对象加权帧的每帧的帧复杂度的步骤是通过利用前向帧间预测来执行的。
9.根据权利要求3所述的方法，包括 确定帧中哪些宏块包含所述至少一个感兴趣的对象； 确定所述至少两帧中的每一个的初始QP ；向所述低对象加权帧的初始QP应用偏移，使得对包含在所述至少一个感兴趣的对象中的宏块的比特分配增加。
10.根据权利要求4所述的方法，包括 确定帧中哪些宏块包含所述至少一个感兴趣的对象； 确定所述至少两帧中的每一个的初始QP ； 向所述低对象加权帧的初始QP应用偏移，使得对包含在所述至少一个感兴趣的对象中的宏块的比特分配增加。
11.根据权利要求I所述的方法，包括 针对所述低对象加权帧的多于一个编码模式，确定原始宏块像素和编码后的宏块像素之间的绝对差之和(SAD)； 选择在所述低对象加权帧的绝对差之和确定步骤中具有比至少另一个编码模式的绝对差之和更低的绝对差之和的编码模式； 根据在选择步骤中所选出的各个编码模式来对所述低对象加权帧进行编码。
12.根据权利要求11所述的方法，包括 在绝对差之和确定步骤中应用编码器权重阵列，使得对象像素比非对象像素被指派更大的权重。
13.一种用于编码视频序列的编码器，所述编码器包括 用于确定视频帧中的感兴趣的对象的区域的装置； 用于设定模式选择阈值区域的装置； 用于比较多个帧的对象区域和阈值区域的装置； 用于响应于比较装置来选择编码模式的装置，其中，选择装置被适配为针对不同帧选择不同的编码模式；以及 用于编码的装置，其中，该编码装置被适配为用所述不同的编码模式来对所述不同帧进行编码。
14.根据权利要求13所述的编码器，其中 所述确定装置确定组成所述感兴趣的对象的像素数； 所述选择装置针对具有超过所述阈值区域的像素数的区域的帧使用感知量化参数偏移确定；并且 所述编码装置用响应于所述感知量化参数偏移的编码模式来对帧进行编码。
15.根据权利要求14所述的编码器，其中 所述确定装置确定组成所述感兴趣的对象的像素数； 所述选择装置使用天真QP偏移确定，其中，所述选择装置被适配为确定具有未超过阈值的像素数的区域的至少两帧中的每一个的初始QP，对所述至少两帧的初始QP应用偏移，以及响应于所述偏移而增加对包含在所述至少一个感兴趣的对象中的宏块的比特分配；并且 所述编码装置用响应于所述偏移的编码模式来对具有未超过阈值帧的像素数的区域的所述至少两帧进行编码。
16.根据权利要求13所述的编码器，其中 所述确定装置确定组成所述感兴趣的对象的像素数；所述选择装置使用天真QP偏移确定，其中，所述选择装置被适配为确定具有未超过阈值的像素数的区域的至少两帧中的每一个的初始QP，对所述至少两帧的初始QP应用偏移，以及响应于所述偏移而增加对包含在所述至少一个感兴趣的对象中的宏块的比特分配；并且 所述编码装置用响应于所述偏移的编码模式来对具有未超过阈值帧的像素数的区域的所述至少两帧进行编码。
全文摘要
提供了一种知晓对象的视频编码方法，该方法包括如下步骤接收具有多个帧的视频序列；选择至少两帧；确定所选帧中的每一个中的至少一个感兴趣的对象的全部区域；将全部区域与阈值区域相比较；将至少两帧中每一个分类为低对象加权帧或高对象加权帧，该低对象加权帧是具有超过阈值区域的全部区域的帧，该高对象加权帧是具有未超过阈值区域的全部区域的帧；以及根据一种编码模式来对每个低对象加权帧进行编码，并且，根据不同的编码模式来对每个高对象加权帧进行编码。
文档编号G06T7/00GK102656886SQ201080057028
公开日2012年9月5日 申请日期2010年12月8日 优先权日2009年12月14日
发明者张冬青, 斯塔拉姆·巴加瓦蒂, 杰瑟斯·巴肯斯-帕劳, 琼·利亚奇 申请人:汤姆逊许可证公司