专利名称：一种图像序列排序方法
一种图像序列排序方法技术领域
本发明属于图像处理技术领域，具体涉及一种图像序列排序方法，用于将一组图像序列拼接为一幅全景图像。
背景技术：
图像拼接是把描述同一场景的相互之间有部分重叠的一系列图像拼接成一个宽视角的图像技术。图像拼接要求输入的待拼接图像序列是按照实际场景的内容顺序排列的，但在现实的图像拍摄、后续存储和处理等过程中，可能使图像序列的顺序发生改变，致使不能直接进行全景图像的拼接。
目前，已有的很多图像拼接算法和图像拼接软件都要求输入的图像序列是有序的，如果待拼接的图像数量很小时，可以进行人工干预，倘若数量很大时，人工干预将会变得非常困难，人工干预非常耗时，而且现有的这些拼接算法和软件要求输入的图像序列大小相同，限制了这些算法和软件的适用性。
相位相关法最早是在1975 年由 C. Kuglin 和 D. Hines (C. Kuglin, D. Hines. The phase correlation image alignment method[C]. In Proceeding of IEEE Conference on Cybernetics and Society, New York, 1975，9:163-165.)提出来的，该方法根据傅里叶性质中的时移性，借助傅里叶变换将两幅待拼接的图像变换到频域上，利用互功率谱直接计算出两幅待拼接图像之间的平移量。相位相关法由于只利用互功率谱的相位关系，对图像灰度信息依赖性小，因此具有一定的抗干扰能力。
借助于计算机进行图像序列的自动排序技术被提出后引起了广泛关注。1999 年，Kyung Ho Jang 和 Soon Ki Jung 等(Kyung Ho Jang, Soon Ki Jung and Min ho Lee. Constructing cylind rical panoramic image using equidistant matching[J]. Electronics Letters, 1999, 35 (20) : 1715-1716.)利用等距离匹配的思想实现图像序列的自动排序，但该算法计算量大，而且对噪声、运动目标和场景光照变化等鲁棒性较差。2006 年，华顺刚、曾令宜等(华顺刚，曾令宜，欧宗瑛.一种快速的柱面全景图像拼接算法[J]. 数据采集与处理，2006, 21 (4) :434-438.)也是利用等距离的思想来实现图像序列的自动排序，但此方法受图像内容和灰度的影响较大，而且文中也没有说明怎样确定头图像和尾图像。2007年，赵辉，陈辉等(赵辉，陈辉，于泓.一种改进的全景图自动拼接算法[J].中国图象图形学报，2007，12(2) :336-342.)基于相位相关法提出一种全景图全自动拼接算法， 但该排序算法需要人为地设置阈值，影响了算法的适应性和自动性。同年，赵万金，龚声蓉等(赵万金，龚声蓉，刘全等.一种用于图像拼接的图像序列自动排序算法[J].中国图象图形学报，2007, 12(10) : 1861-1864.)提出一种利用相位相关法的图像序列自动排序算法， 但要求输入的图像序列必须大小相同，而且文中对于头尾图像的确定的叙述也很含糊。发明内容
本发明所要解决的技术问题在于克服现有图像拼接方法要求图像序列大小必须3一致的缺陷，提供一种图像序列排序方法，能够实现不同大小的图像序列的拼接。
本发明具体采用以下技术方案
一种图像序列排序方法，用于将η幅图像拼接为Μ*Ν的全景图像，Μ、Ν分别为所述全景图像所包含的行图像数、列图像数；首先将待拼接的η幅图像转化为尺寸相同的灰度图像，具体如下先将η幅图像分别转化为灰度图像；设得到的η幅灰度图像中行像素数、 列像素数的最大值分别为r0Wmax、C0lmax，通过在图像尾部补O的方式将各幅图像尺寸均转化为1OwIiiMXc0ImM像素；然后利用相位相关法确定η幅图像之间的位置关系；最后按照所确定的位置关系将η幅图像排序。
所述利用相位相关法确定η幅图像之间的位置关系，具体包括以下步骤
步骤A、利用相位相关法计算η幅灰度图像中任意两幅图像之间的位移量 (Δ X，Δ y)及相关度，从而得到待拼接的η幅图像的相关度表；
步骤B、根据相关度表确定待拼接的η幅图像中的边角图像；
步骤C、根据所确定的边角图像及任意两幅图像的位移量确定其他图像的位置关系O
所述步骤B具体包括
步骤BI、保留相关度表中按行最大的2个相关度和按列最大的2个相关度，其余置 0，得到最大相关度表；
步骤Β2、在最大相关度表中，对所有位移量若I Λ χ|>| Λ y|，则N=I ;若 Λ y I > I Λ x I，则 M=I ;若既有 I Δχ|> Δγ|,又有 | Δγ|>| Δχ|,则 Μ>1，N>1 ；
步骤Β3、当M=I或者N=I时，步骤Cl中得到的最大相关度表中行相关度仅有一个非O值所对应的图像即为边角图像；当M>1，N>1时，则保留步骤B所得到的相关度表中按行最大的3个相关度和按列最大的3个相关度，其余置0，得到新的最大相关度表；则新的最大相关度表中行相关度仅有两个非O值所对应的图像即为边角图像。
步骤C中所述根据所确定的边角图像及任意两幅图像的位移量确定其他图像的位置关系，具体按照以下方法
若M=l，则以选定的边角图像中水平位移量Λ y为负的那幅图像为起始图像，再根据水平位移量Λ y依次确定图像顺序Λ y为负的，排在右边；若N=l，则以选定的边角图像中垂直位移量ΛX为负的那副图像为起始图像，再根据垂直位移量ΛX依次确定图像顺序 Λ X为负的，排在下面；
若步骤BI得到的最大相关度表中每行均有两个非O相关度值，说明图像序列是首尾互连的360°图像序列，任取其中一幅图像作为起始图像；若心1，Ν>1，则在所确定的边角图像中任取一幅作为起始图像；然后根据位移量确定图像位置比较它们对应的垂直位移量Λ X、水平位移量Λ y，取Λ X、Ay绝对值大的为参考量，若I Λχ|>| Ay|，则Λχ为负时，图像排在下面，反之图像排在上面；若I Ay|>l Λ χ|，则Ay为负时，图像排在右边， 反之图像排在左边。
本发明通过尾部补O的方式，将灰度化后的图像序列的尺寸统一，然后利用相位相关法确定图像序列的位置关系并进而完成拼接，克服了现有技术不能完成不同尺寸图像序列拼接的不足；本发明进一步对基于相位相关法的图像序列排序方法进行了改进，使之更具有实用性。
图1是本发明中图像序列自动排序的算法流程图；图2是M=1时的图像序列不意图，图中阴影部分表不重置区域；图3是N=1时的图像序列不意图，图中阴影部分表不重置区域；图4是M*N型(M>1，N>1)图像序列示意图，图中为4*3型图像序列，图中阴影部分 表不重置区域；图5是本发明中图像序列自动排序算法的详细流程图。
具体实施例方式下面结合附图对本发明的技术方案进行详细说明在图像拼接的过程中，为了能够正确地拼接出所需要的全景图像，要求输入的相 邻两幅图像之间有一定的重叠区域，即输入的待拼接图像序列是按照实际场景的内容顺序 排列的。但在现实应用中，图像拍摄、后续存储和处理等过程，可能会使图像序列的顺序发 生改变，致使不能直接进行全景图像的拼接。现有图像排序算法基本是对于相同尺寸图像 进行排序，但实际应用中，排序的图像可能是来自于不同设备的不同尺寸图像。针对上述问 题，本发明提出利用尾部补0的方式，将灰度化后的图像序列的尺寸统一，然后利用相位相 关法确定图像序列的位置关系并完成拼接。为了便于公众了解本发明技术方案，有必要对相位相关法的基本原理进行简要介 绍。相位相关法最早是在1975年由C. Kuglin和D. Hines提出来的，该方法根据傅里 叶性质中的时移性，借助傅里叶变换将两幅待拼接的图像变换到频域上，利用互功率谱直 接计算出两幅待拼接图像之间的平移量。相位相关法由于只利用互功率谱的相位关系，对 图像灰度信息依赖性小，因此具有一定的抗干扰能力。对于两幅待拼接图像^(x, y)和I2(x, y)(此处和以下所提到的I^x, y)和I2(x, y) 都是经过灰度化转换后的灰度图像)，匕(u, v)和F2 (u, v)分别是I: (x, y)和I2 (x, y)的傅 里叶变换，那么有以下关系
权利要求
1.一种图像序列排序方法，用于将/7幅图像拼接为iftV的全景图像，M、 N分别为所述全景图像所包含的行图像数、列图像数；其特征在于，首先将待拼接的幅图像转化为尺寸相同的灰度图像，具体如下先将幅图像分别转化为灰度图像；设得到的幅灰度图像中行像素数、列像素数的最大值分别为, COlasi，通过在图像尾部补O的方式将各幅图像尺寸均转化为rew· Xcolmsz像素；然后利用相位相关法确定幅图像之间的位置关系；最后按照所确定的 位置关系将/7幅图像排序。
2.如权利要求I所述图像序列排序方法，其特征在于，所述利用相位相关法确定η幅图像之间的位置关系，具体包括以下步骤步骤Α、利用相位相关法计算/7幅灰度图像中任意两幅图像之间的位移量及相关度，从而得到待拼接的《幅图像的相关度表；步骤B、根据相关度表确定待拼接的/7幅图像中的边角图像；步骤C、根据所确定的边角图像及任意两幅图像的位移量确定其他图像的位置关系。
3.如权利要求2所述图像序列排序方法，其特征在于，所述步骤B具体包括步骤BI、保留相关度表中按行最大的2个相关度和按列最大的2个相关度，其余置0， 得到最大相关度表；步骤Β2、在最大相关度表中，对所有位移量若I&|>丨，则N=I ;若|~丨>1&1 JlJM=I ； 若既有I χ|>1 Af丨，又有丨每丨>1M丨，则μ> I，N〉I;步骤Β3、当M=I或者N=I时，步骤Cl中得到的最大相关度表中行相关度仅有一个非O 值所对应的图像即为边角图像；当Μ>1，Ν>1时，则保留步骤B所得到的相关度表中按行最大的3个相关度和按列最大的3个相关度，其余置0，得到新的最大相关度表；则新的最大相关度表中行相关度仅有两个非O值所对应的图像即为边角图像。
4.如权利要求3所述图像序列排序方法，其特征在于，步骤C中所述根据所确定的边角图像及任意两幅图像的位移量确定其他图像的位置关系，具体按照以下方法若M=l，则以选定的边角图像中水平位移量为负的那幅图像为起始图像，再根据水平位移量Ay依次确定图像顺序Af为负的，排在右边；若#1，则以选定的边角图像中垂直位移量Ax为负的那副图像为起始图像，再根据垂直位移量Δχ依次确定图像顺序.Ax力负的，排在下面；若步骤BI得到的最大相关度表中每行均有两个非O相关度值，说明图像序列是首尾互连的360°图像序列，任取其中一幅图像作为起始图像；若Μ>1，Ν>1，则在所确定的边角图像中任取一幅作为起始图像；然后根据位移量确定图像位置比较它们对应的垂直位移量Λκ、水平位移量妙，取Δι hy绝对值大的为参考量，若|ΔΛ__|>[4ν|，则Δχ为负时，图像排在下面，反之图像排在上面；若|^|> ,则Ay为负时，图像排在右边，反之图像排在左边。
全文摘要
本发明公开了一种图像序列排序方法，用于将n幅图像序列拼接为M*N的全景图像，M、N分别为所述全景图像所包含的行图像数、列图像数。本发明方法首先将待拼接的n幅图像转化为尺寸相同的灰度图像，具体如下先将n幅图像分别转化为灰度图像；设得到的n幅灰度图像中行像素数、列像素数的最大值分别为、，通过在图像尾部补0的方式将各幅图像尺寸均转化为像素；然后利用相位相关法确定n幅图像之间的位置关系；最后根据所确定的位置关系将n幅图像拼接为全景图像。本发明克服了现有技术不能完成不同尺寸图像序列拼接的不足，并进一步对基于相位相关法的图像序列排序方法进行了改进，使之更具有实用性。
文档编号G06T5/50GK102938143SQ201210372289
公开日2013年2月20日 申请日期2012年9月28日 优先权日2012年9月28日
发明者吴学文, 蔡明星, 刘娜, 沈洁, 王慧斌, 宋云云, 顾欣, 陈松, 冯超禹 申请人:河海大学