用于运动估算的方法和装置的制造方法
【技术领域】
[0001]本发明涉及用于运动估算的方法和装置。
【背景技术】
[0002]TO2008/151802(参考:FN_174)和 TO2011/069698 (参考:FN_352)公开了用于确定图像帧之间的相对移动的视频序列中的相应图像帧的相关轮廓(profile)——移动包括相机移动或者主题(subject)移动。然而，提供对帧到帧运动的全局测量的应用受到限制。
[0003]因此，可能有用的是，提供指示图像序列的块或者区域内的全局和局部运动两者的信息。有很多运动估算方法使用分层方法来找到视频帧的序列中的局部块运动。
[0004]有两种典型方法:
[0005].图像金字塔，例如如在US6459822中公开的那样，其中图像被分解成所谓的高斯(Gaussian)金字塔，其中金字塔的每个层级是前一层级的缩小(downscale)版本。层级之间的常用缩放因子为2。通过使块之间的像素值相关，来找到对应块之间的位移。且不说用于存储图像金字塔所述需要的存储器的量，这是计算密集型处理，即使采用小的搜索半径。
[0006].可变块尺寸，其中图像保持其原始尺寸，但是搜索块随着每次搜索迭代变得更小，并且搜索半径也减小，从而允许更精确的估算。此方法的问题是，图像像素必须被访问多次并且每次迭代的数值复杂度是高的。
[0007]US 8200020 BI公开了从源图像选取源图块(tile)的计算设备。从源图块中，计算设备可以选取第一矩形特征和第二矩形特征。基于第一和第二矩形特征，计算设备可以计算源特征矢量。计算设备还可以选取目标图像的搜索区域、以及搜索区域内的目标图块。基于该目标图块，计算设备可以计算目标特征矢量。计算设备可以确定源特征矢量和目标特征矢量之差在误差阈值之下，并且基于这一确定，进一步确定源图像和目标图像之间的映射。然后计算设备可以将该映射应用到源图像以产生经变换的源图像。
[0008]US 6809758公开了稳定使用连续帧序列形成的运动图像，其包括:计算相邻帧之前的运动矢量场；从运动矢量场的水平和竖直分量形成运动矢量直方图；向运动矢量直方图应用阈值以产生阈值化运动矢量直方图；从阈值化运动矢量直方图生成平均水平和竖直运动分量；在若干帧内对平均水平和竖直运动分量进行滤波，以针对帧中的每个帧识别不想要的水平和竖直运动分量；以及通过根据对应的不想要的水平和竖直运动使每个帧移位(shift)，来稳定图像序列。
【发明内容】
[0009]根据本发明的第一方面，提供根据权利要求1的估算给定场景的图像帧对之间的运动的方法。
[0010]本发明的这一方面采用从每个图像帧得出的积分图像，以在图像区域的分层结构的若干层级确定图像帧之间的相对运动。不是直接使用图像相关而是使用积分图像轮廓，来找到对应区域之间的运动。积分图像轮廓是一维数组，其包含图像的兴趣区域的列或者行内的所有像素的强度的总和。将对应区域的积分图像轮廓进行相关，以便找到区域之间的位移。
[0011]如所讨论的那样，将图像缩小若干次并且在金字塔或者分层结构中保留所有经缩小层级在嵌入式应用中是不切实际的。此外，从分层结构内的图像的那些经缩小层级建立的轮廓会造成不必要的存储器流量。通过每帧使用单个积分图像，针对分层结构的每个层级按需要进行采样以产生分层位移图，有效地解决了这一问题。
[0012]在实施例中，分层结构的每个层级被分割为一个或者多个区域，使得区域的数目随分层结构向下的每个层级增加，例如在基础层级，图像被分割为16x16个区域，向上的下一层级具有8x8个区域，下一层级具有4x4个区域，以此类推。在一些实施例中，对积分图像信息的采样被伸缩，使得每个层级以上方层级的两倍分辨率采样，从而为图像的连续更局部化的区域提供更精细的运动估算。
[0013]本发明的实施例优化针对金字塔的每个块的积分轮廓的建立，并且从而提供了执行分层运动估算的高效方法，其将对存储器量和存储器带宽要求最小化并且降低了计算复杂性。
[0014]根据第二方面，提供根据权利要求18和19中的每个的估算给定场景的图像帧对之间的运动的方法。
[0015]这些方法检测在单个兴趣区域内的多个运动，而不将其分割为子块和重建积分图像轮廓。它们利用两个对应兴趣区域之间的误差函数的局部极小值，并且附加地尝试在包含在兴趣区域内的对象之间设置近似界线。
[0016]根据第三方面，提供根据权利要求21的估算给定场景的图像帧对之间的运动的方法。
[0017]使用这一方法，代替在金字塔的顶部处开始运动估算，使用基于内置到设备中的运动传感器的对运动的初始猜想，运动估算在分层结构的根层级之下的一个或者多个层级开始。
[0018]还提供了被布置为执行上面提及的本发明的方面的图像处理设备和计算机程序
τ?: 口广PR ο
【附图说明】
[0019]现在将通过示例的方式，参照附图描述本发明的实施例，其中:
[0020]图1是根据本发明的实施例的被布置为执行运动估算的图像处理装置的框图；
[0021]图2是总体上图示根据本发明的实施例的运动估算方法的流程图；
[0022]图3示出了用于生成用于图2的方法的第一迭代的积分图像轮廓的积分图像像素；
[0023]图4图示了相对于参考图像(R)经位移的目标图像⑴；
[0024]图5图示了诸如图4所示的一对经位移图像的示例性积分图像轮廓；
[0025]图6示出了在图2的方法的第二迭代时经位移的兴趣区域(ROI);
[0026]图7示出了在图2的方法的第二迭代时用于针对参考图像(R)的左上和左下ROI建立积分图像轮廓所需要的像素；
[0027]图8示出了在图2的方法的第三迭代时经位移的兴趣区域(ROI);
[0028]图9图示了插值积分图像轮廓；
[0029]图10和图11图示了基于平均绝对误差(MAE)的对轮廓之间的子像素位移的计算;
[0030]图12示出了覆盖图像帧的显著部分的对象；
[0031]图13示出了指示针对图12的图像的具有局部极小值的MAE的轮廓；
[0032]图14示出了根据图2的方法产生的运动矢量的位移矩阵；
[0033]图15图示了用于从矩阵选取用于在计算全局变换矩阵中使用的矢量的方法；
[0034]图16示出了由图15的方法产生的用于图14的矩阵的选取掩模(mask);并且
[0035]图17至图19图示了兴趣区域的从分层结构的一个层级到下一层级的非均匀子分割。
【具体实施方式】
[0036]现在参照图1，示意性地示出了根据本发明的实施例的用于执行运动估算的图像处理设备10。该设备包括总线12，该总线允许功能处理模块14至22 (在总线之下示出)向存储器24至28 (在总线上方示出)读取和写入信息。应该注意的是，模块14至22可以并入本地存储器以便于内部处理。
[0037]图像帧经由下采样器(DS) 14从图像传感器(未示出)获取。下采样器14可以例如是由Fujitsu提供的类型的高斯下采样器。下采样的图像被馈送到积分图像(II)生成器(GEN) 14，该积分图像生成器将II写入到存储器24。积分图像的计算是众所周知的并且最初由 V1la, P.和 Jones, Μ.在“Rapid Object Detect1n using a Boosted Cascadeof Simple Features，，，Computer Vis1n and Pattern Recognit1n, 2001, Volume I 中公开。积分图像通常用于识别诸如图像中的脸部之类的对象，诸如W02008/018887(参考:FN-143)中所公开的那样。如将领会的，仅需要原始图像的强度版本以提供积分图像。因此，可以是图像的灰度版本，或者其可以是多平面图像格式(例如RGB、LAB、YCC等)中的任何单个平面。
[0038]分层注册引擎(HRE) 18从存储器24读取一对帧的积分图像信息，并且针对该图像对生成位移图26 (如将在下面更详细描述的)。
[0039]然后，运行应用程序的CPU模块20可以使用连续图像帧的位移图26提供配置信息28，例如在WO 2014/005783(参考:FN_384)中描述的类