专利名称：一种图像全局运动估计方法和装置的制作方法
技术领域：
本发明涉及一种图像处理技术，尤其涉及一种应用于视频编码和图像校正的 图像运动估计方法和装置。
背景技术：
图像运动估计在图像处理领域有相当广泛的应用，例如在视频编码、图像校 正等领域。运动估计是指分析两幅或多幅图像的相关景象之间的位置差异，从而得 到摄像机或所拍摄物体的运动矢量。现有的最为基本的一种图像运动估计方法是将参考图像分割为很多图像块， 在另一幅图像中对参考图像块做二维匹配操作，找到最佳匹配点(最佳匹配点定义 为在该位置两幅图像差值最小)，代表最佳运动估计。将所有图像块的运动估计矢 量求几何平均得到图像的全局运动估计矢量。这种二维匹配算法的运算量大，不适 合嵌入式实时操作。比之先进的一种图像运动估计方法是基于投影原理，即将一个二维图像的 匹配操作简化为两个一维向量的匹配操作，从而大大提高了搜索效率。但是此种图 像运动估计方法误差较大，主要原因是两幅图像之间各存在部分内容在另一幅图像 中没有出现。这些图像内容的投影影响了图像向量的形状，从而降低了投影向量匹 配的精度。因此为了提高运动估计的准确度，仍然需要二维遍历所有的备选点，这 又降低了搜索效率。发明内容本发明的目的在于解决上述问题，提供了一种图像全局运动估计方法和装置， 在提高搜索精度的同时也提高了搜索效率。本发明的技术方案为本发明提供了一种图像全局运动估计方法，包括 (1 )将数幅图像在第一方向上投影，对该些一维投影向量作匹配操作，找到最佳匹配点，并在该最佳匹配点处以第一方向分别剪切该些图像的共同区域；(2) 将步骤(1)中剪切完成的该些图像的共同区域在第二方向上投影，对 该些一维投影向量作匹配操作，找到第一最佳相关点，得到第一方向上的运动矢量， 并在该第一最佳相关点处以第二方向分别剪切该些图像的共同区域；(3) 将步骤(2)中剪切完成的该些图像的共同区域重新在第一方向上投影， 对该些一维投影向量作匹配操作，找到第二最佳相关点，得到第二方向上的运动矢 量。上述的图像全局运动估计方法，其中，该第一方向为水平方向，该第二方向 为竖直方向。上述的图像全局运动估计方法，其中，该最佳匹配点代表列方向运动矢量的 预估计值，该第一最佳相关点代表行方向运动矢量的最终估计值，该第二最佳相关 点代表列方向运动矢量的最终估计值。上述的图像全局运动估计方法，其中，该第一方向为竖直方向，该第二方向 为水平方向。上述的图像全局运动估计方法，其中，该最佳匹配点代表行方向运动矢量的 预估计值，该第一最佳相关点代表列方向运动矢量的最终估计值，该第二最佳相关 点代表行方向运动矢量的最终估计值。基于上述的图像全局运动估计方法，本发明还提供了一种图像全局运动估计 装置，包括第一投影匹配模块，将数幅图像在第一方向上投影，对该些一维投影向量作 匹配操作，找到最佳匹配点；第 一剪切模块，在该第 一投影匹配模块得到的最佳匹配点处以第 一方向分别 剪切该些图像的共同区域；第二投影匹配模块，将该第一剪切模块所剪切完成的该些图像的共同区域在 第二方向上投影，对该些一维投影向量作匹配操作，找到第一最佳相关点，得到第 一方向上的运动矢量；第二剪切模块，在该第一最佳相关点处以第二方向分别剪切该些图像的共同区域；第三投影匹配模块，将该第二剪切模块所剪切完成的该些图像的共同区域重新在第一方向上投影，对该些一维投影向量作匹配操作，找到第二最佳相关点，得 到第二方向上的运动矢量。上述的图像全局运动估计装置，其中，该第一方向为水平方向，该第二方向为竖直方向。上述的图像全局运动估计装置，其中，该最佳匹配点代表列方向运动矢量的 预估计值，该第一最佳相关点代表行方向运动矢量的最终估计值，该第二最佳相关 点代表列方向运动矢量的最终估计值。上述的图像全局运动估计装置，其中，该第一方向为竖直方向，该第二方向 为水平方向。上述的图像全局运动估计装置，其中，该最佳匹配点代表行方向运动矢量的 预估计值，该第一最佳相关点代表列方向运动矢量的最终估计值，该第二最佳相关 点代表行方向运动矢量的最终估计值。本发明对比现有技术有如下的有益效果本发明通过在水平或竖直方向上做 两次匹配操作，对比第一次水平或竖直投影和第二次水平或竖直投影可看出第二次 的投影的两条投影曲线相似度更高，匹配点的精度也更高，从而提高了投影匹配得 到的运动估计精度。对比现有的运动估计方法，本发明无需对图像进行二维遍历匹 配，只需对图像进行三次投影操作，从而大大降低了计算复杂度，适合应用在数码 相机、数码摄像机或照相手机等嵌入式系统中。
图l是本发明的图像全局运动估计方法的流程图。图2是本发明的一个较佳实施例的两张原始图像的示意图。图3是图2实施例第一次投影的示意图。图4是图2实施例第二次投影的示意图。图5是图2实施例第三次投影的示意图。图6是图2实施例经全局运动估计之后拼接成一体的示意图。图7是本发明的图像全局运动估计装置的原理框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。图1示出了本发明的图像全局运动估计方法的流程。请参见图1,下面是对该 方法流程各步骤的详细描述。步骤S1:将数幅图像在第一方向上投影，对该些一维投影向量作匹配，找到 最佳匹配点。这里的第一方向可以是水平方向，也可以是竖直方向。而如果第一方向是水 平方向，则最佳匹配点是代表列方向运动矢量的预估计值；如果第一方向是竖直方 向，则最佳匹配点是代表行方向运动矢量的预估计值。例如，计算一个大小为W*H的图像的水平投影向量的计算方法是将该图像中 每一行的W个像素点的值相加，得到该行投影值，H个行投影值组成一个大小为H 的水平投影向量；计算一个大小为W*H的图像的垂直投影向量的计算方法是将该图 像中每一列的H个像素点的值相加，得到该列投影值，W个列投影值组成一个大小 为W的垂直投影向量。计算两个一维投影向量最佳匹配点位置的方法可以采用如下公式/"=1:W ，其中y和^为两个一维投影向量，V为向量长度，私为在i点的匹配值，匹配值最大的点位置为最佳匹配点。由于背景图像影响，可能出现多个最佳匹配点的现象，则需要对所有匹配点 都进行以下步骤，找到真正的全局最佳匹配。步骤S2:基于步骤S1的最佳匹配点，分别以第一方向剪切下上述这些图像位 于最佳匹配点处的部分图像。剪切图像的目的在于排除图像中第一方向无关区域对第二方向投影的影响， 排除了多个匹配点的现象，提高了两个投影向量匹配计算的精度。步骤S3:将步骤S2中剪切完成的这些图像的共同区域在第二方向上投影，对 这些一维投影向量作匹配操作，找到第一最佳相关点，从而得到第一方向上的运动 矢量。该第一最佳相关点的查找方法与步骤S1中查找最佳匹配点的方法类似，在 此不再赘述。如果步骤S1 S2中的第一方向是水平方向，则本步骤中的第二方向是竖直方 向，第一最佳相关点代表行方向运动矢量的最终估计值。反之，如果步骤S1-S2 中的第一方向是竖直方向，则本步骤中的第二方向是水平方向，第一最佳相关点代表列方向运动矢量的最终估计值。步骤S4::基于步骤S3的第一最佳相关点，分别以第二方向剪切下上述这些 图像位于第一最佳相关点处的部分图像。剪切的目的在于排除图像中第二方向无关 迂曲对第一方向投影的影响，进一步提高了第一方向最佳匹配点的计算精度。步骤S5:对步骤S4剪切完成的这些图像的共同区域重新在第一方向上投影， 对这些一维投影向量作匹配操作，找到第二最佳相关点，从而得到第二方向上的运动矢量。该第二最佳相关点的查找方法与步骤S1中查找最佳匹配点的方法类似， 在此不再赘述。如果第 一方向是水平方向，则本步骤中的第二最佳相关点代表列方向运动矢 量的最终估计值。如果第一方向是竖直方向，则本步骤中的第二最佳相关点代表行 方向运动矢量的最终估计值。图2~图6示出了上述方法的一个实例。实例以两张图像为例，以水平投影、 竖直投影、再次水平投影的计算顺序示出了全局运动估计方法的过程。请参见图3, 本实例对图2所示的两张图像，采用步骤S1-S2描述的方法先对水平方向做投影 匹配，在匹配点处剪切两幅图像的共同区域。再参见图4，对剪切图像做竖直方向 投影匹配，得到水平方向的运动矢量。然后参见图5,再重新对剪切图像做水平方 向投影匹配，得到竖直方向的运动矢量。图6是基于水平方向运动矢量和竖直方向 运动矢量将两幅图像拼接在一起的最终图像的示意图。基于上述的方法原理，本发明还提供了一种图像全局运动估计装置。请参见 图7，该装置包括第一投影匹配模块10、第一剪切模块ll、第二投影匹配模块12、 第二剪切模块13、第三投影匹配模块14。其中第一投影匹配模块10将数幅图像在 第一方向上投影，对这些一维投影向量作匹配操作，找到最佳匹配点。第一剪切模 块11基于第 一投影匹配模块10得到的最佳匹配点，分别剪切这些图像的最佳匹配 点处的共同区域。第二投影匹配模块13将第一剪切模块11剪切完成的这些图像的 共同区域在第二方向上作投影处理，对这些一维投影向量作匹配操作，找到第一最 佳相关点，得到第一方向上的运动矢量。第二剪切模块13基于第二投影匹配模块 13得到的第一最佳相关点，以第二方向在这些图像的第一最佳相关点处剪切下共 同区域。第三投影匹配模块14将第二剪切模块13所剪切完成的这些图像的共同区 域重新在第 一方向上投影，对这些一维投影向量作匹配操作，找到第二最佳相关点，得到第二方向上的运动矢量。上述模块中的第一方向和第二方向可以是第一方向为水平方向，第二方向为竖直方向，最佳匹配点代表列方向运动矢量的预估计值，第一最佳相关点代表行 方向运动矢量的最终估计值，第二最佳相关点代表列方向运动矢量的最终估计值。 或者第一方向为竖直方向，第二方向为水平方向，最佳匹配点代表行方向运动矢量 的预估计值，第一最佳相关点代表列方向运动矢量的最终估计值，第二最佳相关点 代表行方向运动矢量的最终估计值。通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或 变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提 到的创新性特征的最大范围。
权利要求
1. 一种图像全局运动估计方法，包括(1)将数幅图像在第一方向上投影，对该些一维投影向量作匹配操作，找到最佳匹配点，并在该最佳匹配点处以第一方向分别剪切该些图像的共同区域；(2)将步骤(1)中剪切完成的该些图像的共同区域在第二方向上投影，对该些一维投影向量作匹配操作，找到第一最佳相关点，得到第一方向上的运动矢量，并在该第一最佳相关点处以第二方向分别剪切该些图像的共同区域；(3)将步骤(2)中剪切完成的该些图像的共同区域重新在第一方向上投影，对该些一维投影向量作匹配操作，找到第二最佳相关点，得到第二方向上的运动矢量。
2.根据权利要求1所述的图像全局运动估计方法，其特征在于，该第一方向 为水平方向，该第二方向为竖直方向。
3.根据权利要求2所述的图像全局运动估计方法，其特征在于，该最佳匹配 点代表列方向运动矢量的预估计值，该第一最佳相关点代表行方向运动矢量的最终 估计值，该第二最佳相关点代表列方向运动矢量的最终估计值。
4.根据权利要求1所述的图像全局运动估计方法，其特征在于，该第一方向 为竖直方向，该第二方向为水平方向。
5.根据权利要求4所述的图像全局运动估计方法，其特征在于，该最佳匹配 点代表行方向运动矢量的预估计值，该第一最佳相关点代表列方向运动矢量的最终 估计值，该第二最佳相关点代表行方向运动矢量的最终估计值。
6. —种图像全局运动估计装置，包括第一投影匹配模块，将数幅图像在第一方向上投影，对该些一维投影向量作 匹配操作，找到最佳匹配点；第 一剪切冲莫块，在该第 一投影匹配才莫块得到的最佳匹配点处以第 一方向分别剪切该些图像的共同区域；第二投影匹配模块，将该第一剪切模块所剪切完成的该些图像的共同区域在 第二方向上投影，对该些一维投影向量作匹配操作，找到第一最佳相关点，得到第 一方向上的运动矢量；第二剪切模块，在该第一最佳相关点处以第二方向分别剪切该些图像的共同区域；第三投影匹配模块，将该第二剪切模块所剪切完成的该些图像的共同区域重新在第一方向上投影，对该些一维投影向量作匹配操作，找到第二最佳相关点，得 到第二方向上的运动矢量。
7.根据权利要求6所述的图像全局运动估计装置，其特征在于，该第一方向 为水平方向，该第二方向为竖直方向。
8.根据权利要求7所述的图像全局运动估计装置，其特征在于，该最佳匹配 点代表列方向运动矢量的预估计值，该第 一最佳相关点代表行方向运动矢量的最终 估计值，该第二最佳相关点代表列方向运动矢量的最终估计值。
9.根据权利要求6所述的图像全局运动估计装置，其特征在于，该第一方向 为竖直方向，该第二方向为水平方向。
10.根据权利要求9所述的图像全局运动估计装置，其特征在于，该最佳匹配 点代表行方向运动矢量的预估计值，该第一最佳相关点代表列方向运动矢量的最终 估计值，该第二最佳相关点代表行方向运动矢量的最终估计值。
全文摘要
本发明公开了一种图像全局运动估计方法和装置，在提高搜索精度的同时也提高了搜索效率。其技术方案为该方法包括(1)将数幅图像在第一方向上投影，对该些一维投影向量作匹配操作，找到最佳匹配点，并在该最佳匹配点处以第一方向分别剪切该些图像的共同区域；(2)将剪切完成的该些图像的共同区域在第二方向上投影，对该些一维投影向量作匹配操作，找到第一最佳相关点，得到第一方向上的运动矢量，并在该第一最佳相关点处以第二方向分别剪切该些图像的共同区域；(3)将剪切完成的该些图像的共同区域重新在第一方向上投影，对该些一维投影向量作匹配操作，找到第二最佳相关点，得到第二方向上的运动矢量。本发明应用于图像处理领域。
文档编号H04N7/26GK101232567SQ20071003671
公开日2008年7月30日 申请日期2007年1月23日 优先权日2007年1月23日
发明者冯晓光, 林福辉, 罗小伟 申请人:展讯通信(上海)有限公司