一种基于FastICP的图像目标区域匹配方法与流程

一种基于fast icp的图像目标区域匹配方法
技术领域
[0001]
本发明涉及图像处理的技术领域，尤其是一种基于fast icp的图像目标区域匹配方法。


背景技术：

[0002]
为了更好的提高两幅图像内目标区域的匹配度，需要对图像进行背景的去噪和图像内目标区域轮廓的准确提取，最后才能完成图像的匹配。为进一步扩展机器视觉在加工控制过程中的应用范围，不仅需要实现常见的识别匹配等技术，还需要在此基础上研究如何快速准确地获取待加工工件上特定点的位置信息，用于控制执行机构对工件进行更复杂的操作，如异形微小电子元件的焊锡等。针对平面二维形状匹配问题，国内外学者进行了大量研究工作，主要可分为基于形状轮廓的全局信息、描述方法和基于局部信息的描述方法。
[0003]
然而，现有情况下采集图像会产生位置偏差，无法精准匹配两幅图像内目标区域。具体见以下两篇中国文献：《中国体视学与图像分析》 1996年z3期，作者：杨新、barttruyen、jancornelis，公开了“一种轮廓匹配的有限差分法”，该方法是在duncan方法的基础上开发的，cohen指出duncan的方法可能造成两条轮廓线上点不是按顺序一一对应，它提出用有限元法来解这个问题，本文采用新的弹性约束项，得到优化方程，本文讨论了用有限差分法解这个方程的方法，对于复杂形状的轮廓匹配可以用多尺度法来解决。该轮廓匹配的有限差分法把轮廓的曲率作为匹配特征，通过优化一个二次指标函数来匹配两条轮廓，指标函数由一个与弯曲能量有关的曲率差项和一个弹性约束项组成，其优点是计算简便，有明确的物理意义，但其方法是匹配两条轮廓上全部点的曲率，耗时较多。
[0004]
《系统仿真学报》 2004年04期，作者：韩逢庆、李红梅、张建勋、纪纲、刘全利，公开了“一种基于遗传算法的轮廓模糊特征匹配方法”，在由序列的二维轮廓线重构出面模型来表示三维形体的面绘制方式中,首先要解决相邻两层切片上的轮廓线之间的匹配连接关系；针对目前的轮廓线匹配算法容易导致错误匹配的问题，提出一种基于遗传算法的轮廓模糊匹配算法；模糊性为轮廓匹配问题本身所具有，借鉴遗传算法这一种全局优化自适应概率搜索算法，可以准确表达轮廓匹配中的约束，有效地减少错误匹配的发生。该基于遗传算法的轮廓模糊特征匹配方法，选择了具有全局优化特性的遗传算法来寻优，可以更好地表达轮廓匹配中的约束，有效地减少错误匹配的发生，但利用的轮廓特征向量也是基于全部轮廓点的，同样需要较多计算时间，而且在使用遗传算法进行寻优时，编码不太容易，容易出现早熟现象，需要根据具体问题调整选择和变异策略，所以也会存在一定的误差。


技术实现要素：

[0005]
本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于fast icp的图像目标区域匹配方法，包括图像的去噪、目标轮廓提取和目标匹配，克服现有情况下的采集图像的位置偏差，实现采集图像的模板匹配，即可实现模板图像和实际图
像下相同目标的目标区域匹配。
[0006]
本发明解决其技术问题所采用的技术方案是：一种基于fast icp的图像目标区域匹配方法，具体步骤如下：第一步骤、模板图像和采集图像的背景去噪：通过自适应阈值二值化和基于连通域的连通性判断，对图像进行了二值化处理；第二步骤、模板图像和采集图像的轮廓提取：通过射线遍历和计算区域边缘灰度值来实现，完成了对区域轮廓点坐标的确定；第三步骤、fast icp匹配：对模板图像和采集图像中提取到的轮廓点集应用fast icp算法，实现采集图像对模板图像的最佳匹配。
[0007]
进一步具体地说，上述技术方案中，在所述的第一步骤中，对模板图像进行背景分割后得到目标和背景分割后的模板图像，同时对采集图像进行背景分割后得到目标和背景分割后的采集图像。
[0008]
进一步具体地说，上述技术方案中，在所述的第二步骤中，对目标和背景分割后的模板图像进行轮廓提取后得到取得目标轮廓的模板图像，同时对目标和背景分割后的采集图像进行轮廓提取后得到取得目标轮廓的采集图像。
[0009]
进一步具体地说，上述技术方案中，在所述的第三步骤中，将取得目标轮廓的模板图像和取得目标轮廓的采集图像进行fast icp匹配，得到已匹配模板图像的采集图像。
[0010]
进一步具体地说，上述技术方案中，在所述的第三步骤中，点集的处理包括点的筛选、点集之间的匹配、点对的权重分配和点对的去除。
[0011]
进一步具体地说，上述技术方案中，在所述的第一步骤中，采用滑动窗口法对中心模板及其八邻域进行二值化处理，滑动窗口的尺寸根据图像的分辨率来设定。
[0012]
进一步具体地说，上述技术方案中，当任何一个邻域中的所有像素值为255的像素的个数大于设置阈值时，继续滑动模板。
[0013]
进一步具体地说，上述技术方案中， 当任何一个模板的邻域所有像素值为0，且像素的个数小于或等于设置阈值时，进行模板当前位置和该模板位置八邻域的连通性函数判断。
[0014]
进一步具体地说，上述技术方案中，在所述的第二步骤中，采用射线遍历的方式，从图像的八个方向发射射线得到与目标区域的交点，如此获得图像目标区域轮廓上的若干个点的坐标集。
[0015]
本发明的有益效果是：本发明为了克服现有情况下的采集图像的位置偏差，实现采集图像和模板图像的匹配，在已有模板图像的基础上，提出了一种基于fast icp的图像目标区域匹配方法，即基于旋转射线法的外轮廓提取与fast icp匹配算法的工业部件视觉配准方法，首先对模板图像和采集图像进行背景去噪和目标轮廓提取，然后对模板图像和采集图像中提取到的轮廓点集应用fast icp算法，最后实现采集图像对模板图像的最佳匹配。背景去噪方法通过自适应阈值二值化和基于连通域的连通性判断，对图像进行了优良的二值化处理，更利于后面的轮廓提取工作；轮廓提取方法通过射线遍历和计算区域边缘灰度值来实现，有效的完成了对区域轮廓点坐标的确定；fast icp匹配方法以快速有效的方式完成了匹配，使得整个方法的效率大大提高。
附图说明
[0016]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]
图1是本发明的流程图；图2是连通性判断的流程图；图3是模板图像；图4是采集图像；图5是模板图像的二值化处理图；图6是采集图像的二值化处理图；图7是模板图像的边缘点图；图8是采集图像的边缘点图；图9是匹配图。
具体实施方式
[0018]
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0019]
见图1，本发明的一种基于fast icp的图像目标区域匹配方法，即基于旋转射线法的外轮廓提取与fast icp匹配算法的工业部件视觉配准方法，本发明主要包括基于连通性的图像背景去噪方法和基于射线遍历的轮廓提取，通过背景去噪和轮廓提取处理，可以得到图像中目标的边缘坐标信息，以此应用fast icp算法来准确完成实际图像对于模板图像的匹配。
[0020]
一种基于fast icp的图像目标区域匹配方法，具体步骤如下：第一步骤、模板图像和采集图像的背景去噪（基于连通性的图像背景去噪方法）：通过自适应阈值二值化和基于连通域的连通性判断，对图像进行了优良的二值化处理，更利于后面的轮廓提取工作；具体地，对模板图像进行背景分割后得到目标和背景分割后的模板图像，同时对采集图像进行背景分割后得到目标和背景分割后的采集图像。
[0021]
第二步骤、模板图像和采集图像的轮廓提取（基于射线遍历的轮廓提取方法）：通过射线遍历和计算区域边缘灰度值来实现，有效的完成了对区域轮廓点坐标的确定；具体地，对目标和背景分割后的模板图像进行轮廓提取后得到取得目标轮廓的模板图像，同时对目标和背景分割后的采集图像进行轮廓提取后得到取得目标轮廓的采集图像。
[0022]
第三步骤、fast icp匹配（fast icp是快速的迭代就近点算法，是一种基于遍历点与面距离的位姿匹配算法）：对模板图像和采集图像中提取到的轮廓点集应用fast icp算法，实现采集图像对模板图像的最佳匹配；fast icp匹配方法以快速有效的方式完成了匹配，使得整个方法的效率大大提高。具体地，将取得目标轮廓的模板图像和取得目标轮廓的采集图像进行fast icp匹配，得到已匹配模板图像的采集图像。
[0023]
其中，在模板图像和采集图像的背景去噪中，对模板图像和采集图像的背景处理
主要包括图像二值化处理和图像连通性判断。首先采用滑动窗口法，对中心模板及其八邻域进行二值化处理，滑动窗口的尺寸根据图像的分辨率来设定，比如：滑动窗口的尺寸大小不超过图像分辨率大小的1/5。二值化处理之后有以下两种情况：第一种情况：当任何一个邻域中的所有像素值为255的像素的个数大于设置阈值时，继续滑动模板。需要说明的是：模板滑动的方法为八邻域法及滑动窗口法。为了便于模板滑窗环节计算的效率，本发明引入了gpu的并行计算来加快处理过程，充分利用高速存储器，降低了过多访问硬件中低速存储器而造成的时间延迟。其中，阈值的设置是通过给定批量统计像素值从获得的分布来确定像素值。模板的含义选定大小的矩形框在图像上滑动，也即滑动窗口。
[0024]
第二种情况：当任何一个模板的邻域所有像素值为0，且像素的个数小于或等于设置阈值时，进行模板当前位置和该模板位置八邻域的连通性函数判断。
[0025]
二值化的方法为基于wall的自适应阈值算法，基于wall算法的自适应阈值算法是很优良的一种自适应阈值算法，其基本的思想是通过遍历图像来计算一个移动的平均值。如果某个像素明显的低于这个平均值，则设置为黑色，否则设置为白色。
[0026]
假设为图像中位于点处的像素，此刻我们假设图像是由所有行按顺序连接起来的一个单行，这导致了在每行开始的时候会产生一些异常，但这个异常要比每行都从零开始要小。假设是点处最后个像素的总和：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)最后的像素灰度值是0（黑色）或255（白色）则取决于是否比前个像素灰度值的平均值的百分之的暗。
[0027]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)图像连通性判断采用的是计算连通域的方法，连通算法中的二值图像扫描步骤归纳如下：（1）标记图像左上角，即，第一行第一列的像素。如果其像素值为255，则标记该点的值为1，否则，开始扫描第一行第二列的像素。
[0028]
（2）标记第一行的其它像素，此时，不会产生等价对的情况，不必考虑记录等价对。对该行的每一个像素，如果其值为255，检测左边像素是否为255，若是，则该点标记为左边像素点的标记；否则，该点的标记为前一个标记值加一；若该点的像素值为0，继续扫描下一个像素。
[0029]
（3）对除了第一行以外的像素行进行标记，此时会出现等价对的情况，需要进行记录。
[0030]
（3.1）首先对第一列进行处理，若该点像素值为0，则扫描该行下一个像素，否则，检测上、右上两个像素位置的像素值。若上被标记过，该点标记为上像素点的标记值。这时，再看右上是否被标记过，若也被标记过，比较上和右上的标记值是否相等，如果不相等，则记录上和右上为一个等价对，并将其记录在等价对记录表中。若上没有被标记，而右上被标记了，则该点标记为右上的标记值。如果上和右上都没有被标记，该点的标记值为上一个标
记值加一。
[0031]
（3.2）对中间列进行处理，若该像素的像素值为255，则检测左、左上、上、右上位置的像素值。若上述四个位置的像素值都为0，则该点的标记值为上一个标记值加一。如果上述四个位置中只有一个的像素值为255，则该点就标记为那个像素点的标记值。如果其中有m（m大于1，小于等于4）个像素点的像素值为255，则按照左、左上、上、右上的优先顺序来确定该点的标记值，然后对这m个像素位置的标记值进行等价对的分析，并进行相应的记录。
[0032]
（3.3）对最后一列进行处理，步骤同上。
[0033]
（3.4）依次扫描，直到所有像素值都被扫描。
[0034]
见图2，在对模板图像和采集图像进行二值化的过程中，针对每个滑窗及其邻域都有一个连通性判断的过程。
[0035]
如果八个邻域中有任何一个邻域中像素值为255的个数num
1
大于等于阈值b，滑窗则继续向下滑动；否则需要进行连通性判断。阈值b根据模板的具体大小来设定，为当前模板覆盖区域像素总和的1/3。
[0036]
连通性判断主要是通过一个投票机制来实现，首先分别计算当前滑窗区域及其八个邻域中连通域区域覆盖的像素个数num
2
和num
3
，如果八个邻域中有邻域的连通域区域覆盖的像素个数num
3
小于当前滑窗连通域区域覆盖的像素个数num
2
，通过指标p加1；如果p大于等于6，滑窗继续滑动，否则当前滑窗区域的全部像素的灰度值置为0。
[0037]
二值化和连通性判断结合处理之后，可以将图像中背景和目标分割开来，图像的背景是白色，而图像的目标区域是黑色。
[0038]
在模板图像和采集图像的轮廓提取中，因为在背景去噪之后仍未得到目标区域的具体坐标信息，这样无法完成对模板图像和采集图像的匹配。因此采用射线遍历的方式，从图像的八个方向发射射线得到与目标区域的交点，如此获得图像目标区域轮廓上的若干个点的坐标集。八个方向是0度、45度、90度、135度、180度、225度、270度及315度。
[0039]
轮廓提取的射线遍历方法详细步骤如下：采用射线遍历的方法来确定图像目标区域轮廓上的点的坐标信息。首先在图像上选取八个定点，这八个定点分别是图像的四个顶点和每条边的中点，每个定点对应着一条射线。四个顶点的射线分别是,而分别对应着经过每条边中点的射线。八条射线分别表示为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）采用的是点斜式描述直线方程，其中直线的a
1
、a
2
、a
3
、a
4
、a
5
、a
6
、a
7
、a
8
为八条扫描直线的斜率，b
1
、b
2
、b
3
、b
4
、b
5
、b
6
、b
7
、b
8
为八条扫描直线的截距。
[0040]
为了更加清楚地表述，以第一条直线l
1
= a
1
*x+ b
1
为例，说明a
1
与b
1
的确定方法：首
先l
1
上的点选图像的左上方点（x=0(图像宽度),y=0(图像高度)），之后给该直线的倾斜角度（即与图像水平方向的夹角），直线的斜率为该角度的正切值即a
1
=tan（夹角），据点写式方法确定方程为y-0=a
1
*(x-0), b
1
=0
-ꢀ
a
1
*0=0。
[0041]
同理，对于l
2
= a
2
*x+ b
2
,该直线过点图像右上方点（x=w(图像宽度)，y=0(图像高度)）,有a
2
=tan(夹角)，直线方程为y-0=a
2
*(x-w), b
2
=0
-ꢀ
a
2
*w。
[0042]
同理，对于l
3
= a
3
*x+b
3
,该直线过点图像右下方点（x=w(图像宽度)，y=h（图像高度））,有a
3
=tan(夹角)，直线方程为y-h=a
3
*(x-w), b
3
=h
-ꢀ
a
3
*w。
[0043]
同理，对于l
4
= a
4
*x+b
4
,该直线过点图像左下方点（x=0(图像宽度)，y=h（图像高度））,有a
4
=tan(夹角)，直线方程为y-h=a
4
*(x-w), b
4
=h-a
4
*w。
[0044]
针对l
5
、l
6
、l
7
、l
8
直线确定的起始点以图像宽度和图像高度作为起始点，具体描述如下：对于l
5
= a
5
*x+ b
5
,该直线过图像上边缘中点（x=w(图像宽度)/2，y=0（图像高度））,有a
5
=tan(夹角)，直线方程为y-0=a
5
*(x-w)，b
5
=0-a
5
*w。
[0045]
对于l
6
=a
6
*x+b
6
,该直线过图像右边缘中点（x=w(图像宽度)，y=h（图像高度）/2）,有a
6
=tan(夹角)，直线方程为y-h= a
6
*(x-w)，b
6
=h-a
6
*w。
[0046]
对于l
7
=a
7
*x+b
7
,该直线过图像下边缘中点（x=w(图像宽度)/2，y=h（图像高度））,有 a
7
=tan(夹角)，直线方程为y-h= a
7
*(x-w)，b
7
=h-a
7
*w。
[0047]
对于l
8
=a
8
*x+b
8
,该直线过图像左边缘中点（x=0(图像宽度)，y=h（图像高度）/2）,有 a
8
=tan(夹角)，直线方程为，y-h= a
8
*(x-w)，b
8
=h
-ꢀ
a
8
*w。
[0048]
此外，每条射线会改变斜率以达到遍历的效果，斜率的改变方式是每次旋转。的旋转角度为，而的旋转角度为。对于每一条射线，采用坐标遍历的方法遍历射线上的每一个点，如果遍历到的像素点的灰度值为0，那么该点就是轮廓上的点，保存该点坐标。当所有的射线遍历完之后，可以得到两组坐标集合{p}、{q}，分别代表了模板图像和采集图像目标区域的轮廓上所有点的坐标。
[0049]
在fast icp匹配算法中，在模板图像和采集图像的目标区域轮廓上点的坐标集应用fast icp匹配算法计算出相对应的旋转平移参数；最后让采集图像的目标区域根据旋转平移参数配准模板图像目标区域。
[0050]
对于两组点集{p}{q}，其中{q}为模板图像中目标区域的轮廓点集，{p}为采集图像中目标区域的轮廓点集。需要计算从{p}到{q}的变化参数，即旋转矩阵r和平移矩阵t。如果变换参数准确，那么{p}中的每一个点经过变换后应该与{q}中的完全重合，即满足：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）考虑到固有误差的存在，不可能所有点都完全重合，所以可以定义目标函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）使目标函数最小的r，t即为所求变换参数。
[0051]
r和t的计算过程具体如下所示：步骤a、点集的处理：点集的处理包括点的筛选、点集之间的匹配、点对的权重分配和点对的去除，经过上述处理之后得到了适合的两组点集和及对应的点对。
[0052]
点的筛选方法：点集中并非所有的点都可用，如果选用所有的点会降低算法的性能和增加时间成本，因此选用合适的点也是fast icp算法的优势之一。筛选点的方法有均
匀分布筛选法、随即筛选法和密度筛选法。具体方法的使用可根据具体的要求来选取。本发明中点的筛选方法选用的是均匀分布筛选法。
[0053]
点集之间的匹配方法：筛选点之后要进行点之间的匹配，匹配的方法有基于距离的最邻近点法、基于法向量的normal shooting方法和投影法。最邻近点法可以应用k-d树或最邻近点缓存进行加速；normal shooting方法通过在点集1中取一点，沿其点法向量，到点集2的交点，形成一个点对；投影法将源点集1投影到目的点集2上，沿着点集2的相机的视角方向，搜索度量方法包括点对点距离，点对线距离，密度，颜色等。具体方法的使用可根据具体的要求来选取。本发明中点集的匹配方法选用的是最邻近点法。
[0054]
点对的权重分配：给每个匹配的点对分配权重。权重分配的方法有均匀分配、基于距离的加权和基于向量的加权。均匀分配即常数加权；基于距离的加权指根据点对距离加权，点对间距大，权重就小，反之，权重就大；基于向量的加权根据向量的一致性进行加权。具体方法的使用可根据具体的要求和效果来选取。本发明中点对的权重分配方法选用的是距离加权法。
[0055]
点对的去除：去除不符合条件的点对。具体的方法的有固定阈值法、固定比例法和标准差法。固定阈值法：当间距大于一个值时，就去除这个点对；固定比例法：每次迭代，去除最差的%n的点对，n的具体数值可按要求给定；标准差法：将阈值设置为所有点对间距的标准差*2.5。具体方法的使用可根据具体的要求和效果来选取。本发明中点对去除方法选用的是固定阈值法。
[0056]
步骤b、首先计算两组点集的质心，分别记为,：,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）步骤c、对两组点集进行去质心，得到，：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）步骤d、求解旋转r和平移t，构建矩阵h并进行svd分解：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）最后可以计算得到r和t：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）步骤e、计算点集进行刚体变换之后的新点集：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）计算对应的误差度量f，若f小于设定阈值，就收敛，停止迭代。
[0057]
步骤f、重复步骤a-e，直到收敛或达到既定的迭代次数。
[0058]
为了验证本方法的有效性，对基于fast icp的图像目标区域匹配方法进行方法验证。通过单目摄像头自动采集图像数据，图像为图4所示。图3是目标图像，存储在计算机中。首先，对目标图像和采集图像的背景处理主要是包括二值化和连通性的判断。见图5和图6。然后采用滑动窗口法，对其及其八邻域进行二值化处理。再采用射线遍历的方式，从图像的八个方向发射射线得到与目标区域的交点，如此获得图像目标区域轮廓上的若干个点的坐
标集{p}{q}，其中{q}为目标图像中目标区域的轮廓点集，{p}为采集图像中目标区域的轮廓点集。如图7所示，目标图像轮廓点图，如图8所示，采集图像目标轮廓点图。通过fast icp匹配方法快速有效完成了匹配，如图9所示，采集图像的目标区域旋转平移配准目标图像目标区域，可以精准匹配。
[0059]
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。