用于比较两个像素块的方法和设备的制造方法
【专利说明】用于比较两个像素块的方法和设备
[0001] 本申请要求于2013年1月9日提交的澳大利亚临时申请2013900077的优先权， 该申请通过引用结合在此。 背景
[0002] 图像识别和图像压缩中的许多问题依赖于对从不同图像中所取的两个像素块进 行比较。例如，在视频传输和压缩方案中，连续帧之间的冗余用于减少视频的带宽和存储要 求。在块运动预测方案中，每个帧被分成多个固定大小的块。首先，根据参考帧的多个块对 有待传输的帧进行编码，该参考帧已经通过找出参考帧中的与当前帧中的相应块最接近地 匹配的块而被发送。然后，当前块被表示为参考帧中的块加上差值块。如果参考块是与当 前块相接近的匹配，则差值块将具有少得多的信息，并且因此，可以使用有损高压缩图像压 缩方案来编码，该有损高压缩图像仍然允许在接收器处将当前块重构到所希望的精度。
[0003]类似地，在图像识别系统中，必须将来自库中的对象的多个像素块与图像中的多 个像素块进行比较以确定库对象是否在该图像中。再次，必须将来自库对象的这些像素块 与在图像中的许多位置处的相似大小的块匹配以确定该对象是否在该图像中以及该图像 内的那个对象的位置。
[0004] 最后，在立体视觉系统中，必须将来自一个视图的多个像素块与来自第二视图的 多个像素块进行比较以标识存在于这两个视图中的对象并且确定该对象的三维位置。
[0005] 用于测量两个像素块之间的相似性的两种常用的算法计算或者像素的差值的绝 对值的总和或者像素的差值的平方的总和。使用这些算法比较两个nXn像素块时的计算 工作负荷具有阶数n2。如果正在被处理的图像是NXN像素阵列，则必须将匹配过程重复大 约（N-n)2次，以在第二图像中找出与第一图像中的当前块相对应的相应块。因此，这种类 型的相关性比较通常局限于相对小的块大小，因为计算工作负荷随着n增加而快速增加或 者搜索区域必须受到某种其他机制的限制。 概沭
[0006] 本发明包括一种用于操作数据处理系统以比较当前帧中的第一像素块与参考 帧中的第二像素块B2的方法。该方法包括分别针对该第一块和第二块生成第一特征向量 Vi和第二特征向量^2。使用距离函数D(Vi，V2)测量第一特征向量与第二特征向量之间的距 离以提供对块的相似性的比较。这些特征向量被选择成使得D仇，B2)〈D饵，B3)，那么D(%， V2)<D(Vi，V3)，其中B3是参考帧中的第三像素块；并且使得计算D(Bi，B2)对数据处理系统施 加第一计算工作负荷，并且计算D(Vi，V2)对数据处理系统施加第二计算工作负荷。生成Vi 和％对数据处理所施加的计算工作负荷的总和与该第二计算工作负荷通常小于该第一计 算工作负荷。
[0007]在本发明的一个方面，生成该第一特征向量包括使用线性变换来对该第一块进行 变换以生成该第一特征向量的一个分量。该分量优选地在小于第一空间频率极限的多个空 间频率下测量该第一块的一部分中的功率。该特征向量的那些分量之一还可以被选择成使 得该分量在具有大于零的低空间频率截止的第一空间频率带中的多个空间频率下测量该 第一块的一部分中的功率。
[0008] 在本发明的另一个方面，该线性变换是小波变换。
[0009] 在本发明的另一个方面，生成针对该参考帧中的第三块的第三特征向量v3。该第 三特征向量是通过更新该第二特征向量生成的。该数据处理系统将该第一特征向量与第三 特征向量之间的距离与该第一特征向量与第二特征向量之间的距离进行比较以确定该第 二块和第三块中的哪个块与该第一块更好地匹配。
[0010] 在本发明的再进一步的方面中，该参考帧包括多行和多列像素，并且其中，该第三 块与该第二块位于该参考帧的同一行或列上并且具有与该第二块一样的像素。 附图简要说明
[0011] 图1展示了当前帧与参考帧之间的多个块的匹配。
[0012] 图2展示了用于将当前帧中的一个块与该参考帧中的块序列进行匹配的设备。
[0013] 图3展示了使用二维小波变换对图像进行的变换。
[0014] 图4展示了使用关于图3所讨论的那类小波变换对图像块进行的变换。
[0015] 图5展示了根据本发明的一个实施例的视频压缩引擎。
[0016] 图6展示了用于进行立体视差匹配的引擎。 本发明优诜实施方案的详细说明
[0017] 就当第一帧（被称为当前帧）中的nXn像素块与第二帧（被称为参考帧）中的 某个目标区域内的具有相同大小的所有可能块匹配时所遇到的问题方面，可以更容易地理 解本发明。现在参照图1，该图展示了所讨论的匹配过程。在20处示出了当前帧。当前帧 20中的像素块21有待与参考帧25中的多个目标块进行匹配。在22处示出了典型的目标 块。虽然这些目标块被显示为不重叠的以简化附图，但应理解的是，该目标块序列通常彼此 重叠，通常彼此移位图像中的一个像素的距离。虽然图1中所示的示例具有沿着同一水平 线移位的目标块，但应理解的是，在更普遍情况下，这些目标块可以在水平方向和竖直方向 两者上相对于彼此移位。
[0018] 此处，假设图像是NXN像素图像，其中N?n。如果搜索整个参考帧，则这种搜索的 计算成本大致是N2Cb(n)。此处，Cb(n)是比较两个单个nXn块的计算成本。如以上所指出 的，对这些块之间的相关性进行测量的比较（如利用每个块中的相应像素的差值的总和所 进行的那些比较）具有与n2成比例的成本。因此，为了减少计算工作负荷，经常使用小的n 值，例如，n= 16。
[0019] 通常，存在在两个帧之间可以匹配的某个最优大小的块，该块取决于具体应用。如 果块太小，该块将匹配当前帧中的许多不同块，并且该匹配会受到噪声的存在的负面影响。 在另一个极端，大的块可能不匹配参考图像中的任何块，因为场景可能发生显著变化从而 使得这种匹配不可能。在这两个极端之间，存在这样一个块大小：该块大小足够大以便对噪 声免疫并且降低意外匹配的机会，并且还足够小以便在即使当由于对象在对应于参考帧和 当前帧的时间之间运动而引起该当前帧的一部分发生变化时仍然具有较大的概率在当前 帧中找出相应块。使用如上述那些直接相关法所施加的计算工作负荷约束会导致这些块太 小。
[0020] 本发明通过定义表示有待比较的那些块中的每个块的特征向量减少了对当前帧 中的像素块与参考帧中的目标块序列进行比较时的平均计算工作负荷。然后对这些特征向 量而不是相应的像素块进行比较。在本发明中，特征向量中的分量的数量比nXn块的n2 要小得多。因此，比较两个特征向量的成本大幅度小于现有技术方案中比较两个块的成本。 然而，为了提供相较于现有技术的改进，本发明的这些特征应满足两个附加条件。
[0021] 通过D(VpV2)来表示对两个向量之间的差值进行测量的函数，其中VJPV2是两 个向量。在以下讨论中，本函数将被称为距离函数。例如，
其中Nv是每个向量中的分量的数量。为了简化以下讨论，除非另外指示，否则将对此 具体函数进行假设。然而，应理解的是，存在许多可以用于测量两个向量之间的差值的不同 函数。例如，对向量的分量之间的差值的平方进行求和的距离函数也常用于测量两个向量 之间的距离。通过V(B)来表示代表块B的特征向量。
[0022] 考虑当前帧中的有待与参考帧中的两个块BjPB3进行匹配的块I。首先，表示块 的特征向量对于那个块而言通常必须是良好的代理。即，如果直接应用于块上的距离函数 满足约束条件D仇，B2)〈D仇，B3)，则D(V仇），V(B2))<D(V仇），V(B3))。
[0023] 第二，将当前帧中的块与参考帧的搜索区域内的所有可能的块进行比较时的平均 计算工作负荷必须小于直接比较这些块的工作负荷。现在参照图2,该图展示了将当前帧 中的一个块与参考帧中的块序列进行的匹配。最初，如在32处所示，生成了表示当前块31 的特征向量。针对参考帧中有待测试的整个块序列，仅需相对于那个块计算一次特征向量 32。因此，生成那个特征向量时的工作负荷可以被分摊在参考帧中的所有目标块比较上，并 且不对该过程施加显著的计算工作负荷。对于参考帧中的每个目标参考块33,必须生成特 征向量34。
[0024] 存在许多特征向量定义，这些特征向量定义仅利用像素块的一小部分并且因此可 以提供计算工作负荷的所需要的减少。例如，所具有的每个分量都是由在块中的多个预先 确定的位置处的几个像素的总和生成的特征向量可以提供在计算上廉价的并且比仅选择 像素子组较少受到噪声影响的特征向量的分量。只要必须被相加以提供特征的所有分量的 像素总数显著少于n2,就可以满足该第二要求。
[0025] 此外，如以下将详细解释的，针对特征向量的某些选择，通过使用如在35处所示 的针对之前的块所计算的特征向量可以显著减少生成块的特征所需的工作负荷。例如，考 虑在图像中具有基址（tx，ty)的、用阵列1"表示的nXn像素块。针对此块定义n分量特 征向量，其中，该特征向量的第i个分量Vi(tx，ty)就是在该块的第i列的像素列中的那些 像素值的总和。即，对于i= 〇到n-1， J一u
对于i= 〇到n-2,位于（tx+1，ty)的块的特征