专利名称：基于模拟退火的无序图像拓扑有序化匹配方法
技术领域：
本技术涉及计算机视觉中的三维场景重建领域，特别是涉及图像中局部不变特征 的匹配问题。
背景技术：
目前在三维重建领域内，特征点匹配技术大多基于全搜索策略，即计算任意两幅
图像间的特征点匹配关系，Schaffalitzky和Zisserman在文献Multi-view matching for unordered image sets (ECCV, vol. 1,卯.414-431, 2002.)中针对三维场景重建问题提出 了一种完整的特征点匹配技术。该技术利用不变描述子检测图像的不变特征区域，建 立哈希表存储两两视图间的初始匹配，使用贪婪算法构建图像间的匹配关系图，并根 据图中的每一个连通分量(即有相关内容的若干幅图)找出至少25条图中特征点的连 通轨迹，这种特征点匹配技术在只有几幅图像的小规模三维场景重建时效果较好，但 是当重建的场景规模需要几十幅到上百幅图像时，利用传统方法处理时计算时间复杂 度为0("2)。即必须计算任意两幅图像间的匹配关系。例如采用IOO幅图像进行重建， 以两视图匹配为基本计算单位，则计算量为/W2 = /^。
发明内容
现有技术采用了基于全搜索策略的特征点匹配方法，其计算时间复杂度为0(^2, 为了进一步提高效率，降低匹配计算的复杂度，本发明提供一种基于模拟退火的无序 图像拓扑有序化匹配方法，较之传统的方法，能够明显降低计算的复杂度并提高效率。
本发明解决其技术问题所采用的技术方案包括以下步骤 1.利用局部不变特征粗配数量作为图像内容相关度定量描述
针对通过互联网、图像数据库或者是电子摄像设备拍摄得到的无序图像集，首先 从图论的角度分析问题并给出描述无序图像间相关度的数学模型，我们定义完全无向
加权图(？= <五,r〉，其中定义节点集合r对应无序图像集，即利用节点来作为图像的
抽象表示，并保证一一对应；^为加权图中边的集合，我们这么定义￡中边的集合的 每一条边一条边e表示该条边的两个节点v,和巧所对应的两幅图像间图像内容的 关联性，每一条边被赋予如下的权重
二 w(v^v》=yk^wre — /wa/c/n>7g — wwm6er(vf，v ) (1)上式表示连接图像节点V,和"的边的权重被定义为两幅图像间局部不变特征点的匹
2. 把图像内容相关度的和作为分组有序化代价函数
根据上面定义的完全无向加权图，图像的分组就相当于对应加权图的割集C，而 由该割集得到的连通子图对应分组得到的图像子集，这样，图像分组有序化问题可以 看作是一个最优化问题，而对应的代价函数可以定义为割集C (假设C中有X条边) 所对应的边的权重和
r(C) = J>") = Zw(v,,v》 (2)
i ,力
当代价函数取得一个极小值，即割集所占的边的权重和取得一个极小值，对应连通子 图所占的图像的边的权重和极大值，这就意味着不同子场景的图像分别被聚类到了一
起，为了后续计算方便，我们给出公式(2)中代价函数的另一种对偶的表述形式
M 1G| |G,.|向
r(C) = J>(G,) = XZZ ，A) (3)
'=1 '=i ./=!"川
上式中，G,表示图像子集；" 、 W表示加权无向图的节点；W(G,)表示图像子集G,的权 重，即该图像子集所对应的连通子图的所有的边的权重累加和。如上所述，我们把图 像分组的问题抽象成一个最优化问题，并给出了相应的代价函数。
3. 利用模拟退火算法求解出有序化代价函数的极值，得到图像分组 模拟退火算法的关键在于预选策略(proposal strategy),预选策略的好坏会直接影
响算法的效率和计算代价，在图像分组问题中，预选策略的设计需要考虑两个因素
一是图像分组的具体形式，即哪些图像被划分在一起；二是分组的数量，即划分的图 像子集数量。考虑这两点因素我们给出以下的具体最优化步骤
(1) 对无序图像集进行随机分组，每个子集包含两幅图像(当无序图像数量为偶数 时，每个子集包含两幅图像，若数量为奇数，则有一个子集包含三幅图像)；
(2) 计算每个子集G,的权重『(G,)，以及相应的平均子集权重^，即所有子集的权
重的平均值；
(3) 随机选择两个权重低于平均权重『的图像子集G,和G;，在G,和《中分别随 机选择两幅图像经行交换，重复该步骤直到&次，产生得到新的图像分组C'，(原
有的图像分组标记为C4，重复次数&的设置随后说明)；(4)计算以下公式的值，以此作为接受新的图像分组C'并加以保存的概率，(其中
温度/;的值的设置随后说明)艮P-<formula>formula see original document page 6</formula>
(5) 随机选择两个图像子集，如果两图像子集间的图像相关度高于某个阈值f (该 值的设置方法随后说明)，则合并这两个图像子集，重复该步骤直到图像分组数量 降低到iV,.，若达不到五则重新选择两个图像子集重复本步骤；
(6) 重复步骤(2) ~ (5)直到温度r,降低到7>。
在算法迭代初始时，图像分组数量7/,和&被设置为^ 和&， (A^—般设置为初始 图像子集个数的的二分之一，&一般设置在300-400次之间)随着迭代的进行，这两 个参錄会随着退火温度因子的降低而不断降低到的最终值 和&。 (iV/—般设置为 50-100次之间，S/—般设置在20-30度之间)即是说，这两个参数是温度或者迭代次 数/的函数，其形式不受限制，其最简单的情况可以为(其中/为总的迭代次数，大 小一般在40-50次)<formula>formula see original document page 6</formula>此外，r,同样也是迭代次数/的函数形式与公式(5)类似，由以下公式给出<formula>formula see original document page 6</formula>第5步中的阈值五的设置为两个图像子集的平均边权重(即图像子集G,内所有边 的均值^)的较大者，即<formula>formula see original document page 6</formula>在内层循环中，图像子集间进行交换从而使得图像子集双方的整体权重和得以提 高；在外层循环中，相关度较高的图像子集得以合并在一起，即尽量把针对同一子场 景的图像聚合到一起。这两个步骤结合在一起最后使得整个无序化图像集合可以按照 内容相关度有序地分成若干组。
4.在组内利用最小生成树算法得到组内图像间的树形匹配结构
得到图像集的分组结果后，针对每一个图像分组内部，利用步骤3中分组时已经 产生的部分图像间的两两匹配结果，把上一步中(即步骤3)没有计算的两两匹配关 系标记为关联度为零，按照图像名称将无序图像以字典序排序，以次序列作为行和列，生成一个矩阵，即邻接匹配矩阵，矩阵第i行和第j列对应的元素设置为第i幅(字典
序)图像和第j幅图像的两两匹配点绝对数量，最后利用PRIM最小生成树算法根据
上述的邻接匹配矩阵产生组内图像的树形结构匹配关系。
本发明的有益效果是传统的匹配技术采用的是穷举策略，必须计算任意两幅图
像间的相关度，如果需要处理一个共有n幅无序图像的场景重建问题，n幅图像的两 两匹配计算次数将达到《次，也就是说，如果以一次两视图间匹配计算为基本操作，
那么对应的匹配时间复杂度将为
0(Cn2) = 0("("-1)/2)sO("2) (6) 而有序化匹配技术把无序图像有序化问题抽象成为了一个最优化问题，并且利用 模拟退火算法，通过随机采样的方式逐步寻找出准最优解，即可得到的图像分组，其 分组的过程中不会计算所有的两两匹配关系，也就是说，新方法的计算时间复杂度达 不到0(n2)。大量实现的统计结果表明，新方法的计算量只有原有方法的20% 70%之 间不等。
图像匹配在粗配阶段完成后，三维重建还需要进行精配的步骤(即去除误匹配步 骤，通过检査每两幅图像间的匹配正确性去除错误的局部不变特征匹配)。假设处理含 有w幅图像的无序图像集合，采用新方法对无序图像集合完成分组有序化后，我们可 以得到每个图像子集内利用采样得到的不完全匹配矩阵生成树形匹配关系。，假设结果 得到《组图像子集，则后续的精配时间复杂度可以近似为
0 2X2卜丰.",(",-1)/2)aO("("-l)/2-李0(C"2)/尺 (7)
而现有粗配方法因为采用全搜索策略，完成粗配后，并没有对无序图像进行分组 有序化，则后续的精配方法也必须采用全搜索策略去检查匹配的正确性。其计算的时 间复杂度仍为O(w勺，因此，新的有序化匹配方法能够降低粗配的计算量，而且能够减 少后续的精配步骤的计算量，使计算效率上有明显的提高。
下面结合实施例对本发明进一步说明。
具体实施例方式
1.利用局部不变特征粗配数量作为图像内容相关度定量描述 通过互联网下载共46幅图像，并利用0-45之间的整数对这46幅图像进行编码标记，见图l，利用局部不变特征描述子和高维特征点匹配搜索算法来求取两视图匹配的特征 点匹配数量，即w(e)。
2. 把图像内容相关度的和作为分组有序化代价函数 把发明内容中的公式3作为分组有序化代价函数。
3. 利用模拟退火算法求解出有序化代价函数的极值，得到图像分组 把46幅图像集合作为输入数据，后按照下属步骤执行
(1) 把46幅图像中随机挑选两幅图像组成一组，重复该步骤直到所有的无序图像集 中图像全部形成分组，结果供得到23个图像子集，注意，46幅图像虽然按照顺 序标注序号，但是该序号只是用作图像的标识符，因此，在按照此步骤打乱顺 序后，可以看作是无序的图像集合。
(2) 计算每个图像子集的权重以及所有子集的平均权重，图像子集的权重为该子集 内任意两幅图像间的特征点匹配数量的累加和。平均权重为所有子集权重的平 均值。
(3) 按照均匀分布概率，随机地在所有的子集中挑选两个子集，在两个子集中同样 按照均匀分布概率，分别在两个子集中随机地选出两幅图像，并加以交换，重 复该步骤&次，由原来的图像分组C,得到预选的图像分组C'。
(4) 计算以下公式的值，作为接受该预选图像分组C,的概率，进行一次0-l概率实 验，若结果为接受，则选择作为C,作为新图像分组C,+,，反之，则维持原有图 像分组不变
exp[-(『(C')-『(C,))/7;] (8)
(5) 按照均匀分布概率随机选择两个图像子集Gi和Gj，仍按照均匀分布概率随机地 从两个子集中选出两幅图像尸,和巧，同时利用步骤(l)中的算法计算这两幅图 像间的局部不变特征点匹配数量，如果A和P/的匹配情况达到或者超出这两幅 图像与所属子集中其他的图像的匹配数量的平均值，则合并这两个图像子集， 重复该步骤步骤直到图像分组数量降低到
(6) 重复步骤(2) ~ (5)直到温度r,降低到7>。
在算法迭代初始时，图像分组数量M的初始值被设置为23组；图像交换迭代 次数&的初始值被设置为400次；对应的迭代最终值A^和5>被设置为50次，》被设置在20度即是说，迭代总次数/被设置为50次；参数7V,和&随着迭代
次数i的增长，按照如下数列通项式逐步减小<formula>formula see original document page 9</formula>
4.在组内利用最小生成树算法得到组内图像间的树形匹配结构 得到图像集的分组结果后，针对每一个图像分组内部，利用分组时己经产生的部 分图像间的两两匹配结果，以图像标识符(可以按照任何顺序，本例中采用数字编号， 所以按照从小达到顺序排序)作为行和列索引序号，给出一个匹配矩阵，第i行和第j 列的元素对应为第i幅图像和第j幅图像这两幅图像的匹配数量，匹配数量由上述分组 计算过程中产生并加以记录，为由于分组过程中不会计算所有的两幅图像间的两量匹 配关系，所以对于还没有计算的两两匹配关系，可以把关联度标记为零，最后利用最 小生成树算法(可以采用任意的生成树算法，这里采用克鲁斯卡尔算法)根据该不完 全邻接表产生组内图像的树形结构匹配关系。
5,=柳=s,(s,/s。)
权利要求
1、基于模拟退火的无序图像拓扑有序化匹配方法，其特征在于包括下述步骤第一步，利用局部不变特征粗配数量作为图像内容相关度定量描述针对无序图像集，给出描述无序图像间相关度的数学模型，定义完全无向加权图G＝<E，V>，其中定义节点集合V对应无序图像集，E为加权图中边的集合，定义E中边的集合的每一条边e表示该条边的两个节点vi和vj所对应的两幅图像间图像内容的关联性，每一条边被赋予如下的权重w(e)＝w(vi，vj)＝feature_matching_number(vi，vj)上式表示连接图像节点vi和vj的边的权重被定义为两幅图像间局部不变特征点的匹配数量；第二步，把图像内容相关度的和作为分组有序化代价函数根据上面定义的完全无向加权图，图像的分组就相当于对应加权图的割集C，对应的代价函数为<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><mi>W</mi><mrow> <mo>(</mo> <mi>C</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><mi>G</mi><mo>|</mo> </mrow></munderover><mi>w</mi><mrow> <mo>(</mo> <msub><mi>G</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><mi>G</mi><mo>|</mo> </mrow></munderover><munderover> <mi>Σ</mi> <mrow><mi>j</mi><mo>=</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><msub> <mi>G</mi> <mi>i</mi></msub><mo>|</mo> </mrow></munderover><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mi>j</mi><mo>+</mo><mn>1</mn> </mrow> <mrow><mo>|</mo><msub> <mi>G</mi> <mi>i</mi></msub><mo>|</mo> </mrow></munderover><mi>w</mi><mrow> <mo>(</mo> <msub><mi>v</mi><mi>j</mi> </msub> <mo>,</mo> <msub><mi>v</mi><mi>k</mi> </msub> <mo>)</mo></mrow> </mrow>]]></math></maths>上式中，K为C中边的条数，Gi表示图像子集；vj、vk表示加权无向图的节点；w(Gi)表示图像子集Gi的权重，即该图像子集所对应的连通子图的所有的边的权重累加和；第三步，利用模拟退火算法求解出有序化代价函数的极值，得到图像分组，包括以下步骤(1)对无序图像集进行随机分组，每个子集包含两幅图像，若无序图像数量为奇数，则有一个子集包含三幅图像；(2)计算每个子集Gi的权重W(Gi)，以及相应的平均子集权重W，即所有子集的权重的平均值；(3)随机选择两个权重低于平均权重W的图像子集Gi和Gj，在Gi和Gj中分别随机选择两幅图像经行交换，重复该步骤直到Si次，产生得到新的图像分组C’，原有的图像分组标记为Ck；(4)计算以下公式的值，以此作为接受新的图像分组C’并加以保存的概率，即exp[-(W(C′)-W(Ck))/Ti](5)随机选择两个图像子集，如果两图像子集间的图像相关度高于阈值E，则合并这两个图像子集，重复该步骤直到图像分组数量降低到Ni，若达不到E则重新选择两个图像子集重复本步骤；(6)重复步骤(2)～(5)直到温度Ti降低到Tf；第四步，在组内利用最小生成树算法得到组内图像间的树形匹配结构得到图像集的分组结果后，针对每一个图像分组内部，利用分组时已经产生的部分图像间的两两匹配结果，把上一步中没有计算的两两匹配关系标记为关联度为零，按照图像名称将无序图像以字典序排序，以次序列作为行和列，生成一个矩阵，即邻接匹配矩阵，矩阵第i行和第j列对应的元素设置为第i幅图像和第j幅图像的两两匹配点绝对数量，最后利用PRIM最小生成树算法根据上述的邻接匹配矩阵产生组内图像的树形结构匹配关系。
2、根据权利要求1所述的基于模拟退火的无序图像拓扑有序化匹配方法，其特征在于所述的图像分组数量M和&在算法迭代初始时被设置为A^和&， A^为初始图像子集个数的的二分之一，&为300~400次，随着迭代的进行，这两个 参数会随着退火温度因子的降低而不断降低到的最终值iV/和》，A^为50-100次， 》为20-30度，iV,.=，=
3、根据权利要求1所述的基于模拟退火的无序图像拓扑有序化匹配方法，其特 征在于所述的阈值￡的设置为两个图像子集的平均边权重的较大者，即五-max(V(e),,其中图像子集内所有边w(e)的均值c
全文摘要
本发明公开了一种基于模拟退火的无序图像拓扑有序化匹配方法，利用局部不变特征粗配数量作为图像内容相关度定量描述，把图像内容相关度的和作为分组有序化代价函数，利用模拟退火算法求解出有序化代价函数的极值，得到图像分组，在组内利用最小生成树算法得到组内图像间的树形匹配结构。本发明的计算量只有现有技术的20％～70％，计算效率有明显的提高。
文档编号G06T7/00GK101540061SQ20091002197
公开日2009年9月23日 申请日期2009年4月10日 优先权日2009年4月10日
发明者何周灿, 曾修远, 恒 杨, 庆 王, 雯 王 申请人:西北工业大学