专利名称：改善利用相位相关估计的运动的精确度和可靠度的方法
技术领域：
本发明涉及图像和视频处理的领域。更具体而言，本发明涉及执行相位相关运动估计(phase correlation motion estimation)。
背景技术：
执行运动估计的过程能够以若干种方式来实现。一种实现方式包括利用相位相关。相位相关使用频率域方法来估计两个相似图像之间的平移性偏移。有若干种传统的方法来从相位相关表面确定亚像素(sub-pel)精度。这些亚像素方法大体可分类为I-D方法或2-D方法。I-D方法在每个空间维度上独立地操作。换言之， 运动的垂直和水平亚像素分量被分开确定。图I示出了不同的亚像素方法使用的记号。条目au就是在相位相关表面中的峰的位置的邻域中s [X, y](相位相关表面)的值。峰值是a22,并且au = s [xk+j_2, yk+i_2], 其中(xk，yk)是峰的位置。注意，由于FFT的属性，相位相关表面s[x，y]的索引的求值是以N为模执行的。2D亚像素方法能够使用图中的相关值的一些或全部。一些2D方法使用更大的窗口，这些窗口能够利用延伸到超过所演示的3 X 3邻域的相关值。I-D亚像素方法独立地考虑水平和垂直亚像素分量，并且使用图2中所示的相关值。H. Foroosh 等人在 “Extension of Phase Correlation to Subpixel Registration”中指出，sine函数非常良好地近似了在存在平移性运动的情况下的相位相关表面。Foroosh等人的文章中的推导得出了在每个空间方向上独立操作的相对简单的 I-D亚像素方法。该方法被应用到靠近相位相关峰的邻域。在G. A. Thomas 所著的 “Television Motion Measurement for DATV and Other Applications”中，1_D 二次函数被拟合到相位相关峰的邻域中的三个点(图2中所示的水平或垂直值)。在 I. E. Abdou 所著的 “Practical Approach to the Registration of Multiple Frames of Video Images”中，以类似的方式拟合 1_D 高斯函数。Thomas 和 Abdou 的方法的结果是不重要的，因为正如Foroosh等人的文章中所指出的，相位相关表面既不是二次的也不是高斯的，因此这些方法由于不适当的拟合函数而是有局限的。另外，在许多情况下，I-D亚像素方法在峰邻域中不会提供像使用2-D亚像素方法时可能的那样完整的拟合。在V. Argyriou 等人所著的 “A Study of Sub-Pixel Motion Estimation Using Phase Correlation”中，考虑了以下的经修改的sine函数
权利要求
1.一种被编程在设备中的存储器中的执行相位相关以消除亚像素运动偏置的方法，包括a.执行第一遍的相位相关；b.根据在所述第一遍中确定的运动利用偏移来偏移参考图片中的窗口；c.利用原始当前窗口和偏移参考窗口执行第二遍的所述相位相关以生成第二相位相关表面；d.基于所述第二相位相关表面来计算亚像素运动估计；以及e.通过对所述偏移和亚像素估计求和来计算最终运动估计。
2.如权利要求I所述的方法，其中执行第一遍的相位相关进一步包括a.向当前帧的窗口应用窗口函数以获得当前帧结果；b.向所述当前帧结果应用快速傅立叶变换以得出第一组复数值；c.向参考帧的窗口应用所述窗口函数以获得参考帧结果；d.向所述参考帧结果应用快速傅立叶变换以得出第二组复数值；e.对所述第二组复数值与所述第一组复数值的复共轭的积进行正规化；f.计算逆快速傅立叶变换以得出相位相关表面；以及g.从所述相位相关表面识别一个或多个峰，其中所述峰的索引对应于可能的运动。
3.如权利要求2所述的方法，其中执行第二遍的相位相关进一步包括a.向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；b.向所述偏移帧结果应用快速傅立叶变换以得出第三组复数值；c.对所述第三组复数值与所述第一组复数值的复共轭的积进行正规化；以及d.计算逆快速傅立叶变换以得出第二相位相关表面。
4.如权利要求I所述的方法，还包括实现可靠度度量。
5.如权利要求I所述的方法，其中所述设备是从由以下各项构成的组中选择的个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、 iPhone、iPod 、视频播放器、DVD写入器/播放器、Blu-ray 写入器/播放器、电视机以及家庭娱乐系统。
6.如权利要求4所述的方法，其中所述可靠度度量是通过以下步骤来计算的a.执行运动估计以估计最佳峰的运动的整数分量以及最佳峰的亚像素分量；b.在所述最佳峰的邻域中向相位相关表面应用滤波器；以及c.利用所得到的经滤波的表面计算所述可靠度度量。
7.如权利要求6所述的方法，其中所述滤波器实现了正规化常数。
8.如权利要求6所述的方法，其中计算可靠度使用了次佳峰的位置。
9.一种相机设备,包括a.视频获取组件，用于获取视频；b.编码器，用于对视频编码，包括通过以下操作进行的相位相关运动估计i.执行第一遍的相位相关； .根据在所述第一遍中确定的运动利用偏移来偏移参考图片中的窗口 ；iii.利用原始当前窗口和偏移参考窗口执行第二遍的所述相位相关以生成第二相位相关表面；iv.基于所述第二相位相关表面来计算亚像素运动估计；以及 V.通过对所述偏移和亚像素估计求和来计算最终运动估计；以及 C.存储器，用于存储经编码的视频。
10.如权利要求9所述的相机设备，其中执行第一遍的相位相关进一步包括a.向当前帧的窗口应用窗口函数以获得当前帧结果；b.向所述当前帧结果应用快速傅立叶变换以得出第一组复数值；c.向参考帧的窗口应用所述窗口函数以获得参考帧结果；d.向所述参考帧结果应用快速傅立叶变换以得出第二组复数值；e.对所述第二组复数值与所述第一组复数值的复共轭的积进行正规化；f.计算逆快速傅立叶变换以得出相位相关表面；以及g.从所述相位相关表面识别一个或多个峰，其中所述峰的索引对应于可能的运动。
11.如权利要求10所述的相机设备，其中执行第二遍的相位相关进一步包括a.向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；b.向所述偏移帧结果应用快速傅立叶变换以得出第三组复数值；c.对所述第三组复数值与所述第一组复数值的复共轭的积进行正规化；以及d.计算逆快速傅立叶变换以得出第二相位相关表面。
12.如权利要求9所述的相机设备，其中所述编码器还包括实现可靠度度量。
13.如权利要求12所述的相机设备，其中所述可靠度度量是通过以下操作来计算的a.执行运动估计以估计最佳峰的运动的整数分量以及最佳峰的亚像素分量；b.在所述最佳峰的邻域中向相位相关表面应用滤波器；以及c.利用所得到的经滤波的表面计算所述可靠度度量。
14.如权利要求13所述的相机设备，其中所述滤波器实现了正规化常数。
15.如权利要求13所述的相机设备，其中计算可靠度使用了次佳峰的位置。
全文摘要
本发明提供了改善利用相位相关估计的运动的精确度和可靠度的方法。这里描述了改善运动估计的精确度和可靠度的方法。在一个方面中，利用两个1D向量的外积来近似相位相关峰的2D邻域以消除亚像素误差。在另一方面中，改善对可靠度的估计。在另一方面中，实现两遍相位相关来消除亚像素运动偏置。
文档编号H04N5/14GK102611824SQ20111031736
公开日2012年7月25日 申请日期2011年10月13日 优先权日2010年10月26日
发明者仓田徹, 明-昌·刘, 村上义弘, 米田丰, 马克·罗伯逊 申请人:索尼公司