一种基于几何边缘与颜色统计特征自适应融合的工业零件位姿跟踪方法

本发明属于三维目标位姿跟踪的，具体涉及一种基于几何边缘与颜色统计特征自适应融合的工业零件位姿跟踪方法。

背景技术：

1、刚性物体的6dof位姿跟踪是自动化技术中的一项重要任务，旨在于从连续rgb图像序列中的2d点找到正确对应的cad模型上的3d点，以估计物体的旋转和平移。随着智能制造的快速发展，工业物体的6dof位姿跟踪已成为机器人装配、增强现实、视觉伺服等任务的关键技术。

2、在工业领域，如航空发动机装配、汽车零部件组装等，位姿跟踪的对象主要是金属零件和3d打印件。大部分这类零件外观呈现无纹理性、结构为对称性，跟踪时极易造成视觉歧义，图像上的2d点可能存在多个3d对应关系，这给跟踪算法带来了很大的挑战。在跟踪过程中，前背景相似、遮挡、运动模糊、复杂背景等情况又增加了视觉歧义的程度，更加加剧了跟踪的难度。

3、近年来，许多性能优异的方法被提出，可以按照关键点、直接优化、边缘、物体区域、深度学习以及多特征融合进行分类。1)基于关键点:该方法使用特征描述符，如orb、sift、surf等，但这些特征提取依赖丰富的纹理，工业物体无纹理特性导致难以找到对应关系。2)直接法：该方法通过计算像素光度误差求解位姿，但对光照变化敏感，而金属零件具有反射性，易跟踪丢失。3)基于边缘的方法：该方法利用工业物体模型边缘与图像的高强度梯度特征匹配，但该方法需要克服背景杂乱带来的错误匹配。4)基于区域的方法：该方法使用颜色统计特征对物体前背景建模，通过前背景分割实现杂乱背景的过滤，并能够应对一定程度模糊。但工业环境前背景的颜色歧义特性，将直接导致分割性能的下降。5)基于深度学习的方法：该方法需要大规模的高精度标注数据进行训练，这是一项艰巨的任务，且速度与精度无法保证。6)多特征融合的方法：由于单一特征鲁棒性存在不足，多特征融合开始被广泛用于位姿跟踪，如利用轮廓几何特征和统计颜色特征抑制杂乱点和遮挡点；结合几何边缘、关键点和统计颜色处理大帧间运动；融合统计特征与光度特征处理结构对称物体。虽然这些方法在普通物体的公共基准上运行良好(如rbot、opt等)，但在工业物体上仍然存在局限性。特别地，关键点、光度等特征不适合融合，只采用轮廓的几何特性不够全面，尤其是对对称物体性能不足。工业物体跟踪是多种视觉歧义特性同时耦合的，不变的特征互补系数难以鲁棒。因此，需要从特征选择、匹配、自适应融合多个方面进行综合考虑。

技术实现思路

1、本发明的目的在于：针对现有技术的不足，本发明提供一种基于几何边缘与颜色统计特征自适应融合的工业零件位姿跟踪方法，该跟踪方法通过多特征的自适应融合，解决工业零件在复杂环境中的跟踪问题。

2、本发明的技术方案为：一种基于几何边缘与颜色统计特征自适应融合的工业零件位姿跟踪方法，包括以下步骤：

3、步骤1：输入待跟踪工业零件的cad模型，以cad模型中心为球心，在球形空间上设置离散视点，基于渲染引擎进行虚拟空间成像，分别渲染得到深度图、法向图、掩膜图。从深度图、法向图中提取几何边缘，从掩膜图中提取轮廓，并将边缘与轮廓进行下采样，其中，边缘的下采样方式为：基于候选点数量的启发式算法确定边缘点距离，再根据该距离确定最终保留边缘点，最终将边缘点、轮廓点与视点信息一起构成预处理数据包进行保存。

4、步骤2：输入第一帧图像与初始位姿，根据初始位姿从离线构建的数据包中搜索最近视点，将几何轮廓在图像上进行重投影，沿着法向搜索线收集工业零件前背景像素，构建对应的前背景统计直方图。以整个轮廓构建全局统计直方图，以轮廓划分为多个子集构建局部统计直方图。

5、步骤3：输入下一帧图像，基于构建的颜色统计直方图，计算法向搜索线上逐像素概率，并计算颜色统计特征的后验概率分布。针对所有搜索线，对应后验概率：

6、

7、其中，dregion描述了所有搜索线在位姿变化为ξ时的数据，ξ由李代数表示，ds为投影点与匹配对应点在离散尺度空间rs中的距离，y表示像素颜色值。pregion(ds|ωs,y)为在单条搜索线域ωs的后验概率。可写为：其中，ps(mi|y)表示尺度为s时，像素颜色值y,y∈s属于前景mf或背景mb的概率，hi(·)为平滑阶跃函数。进一步地，对轮廓k个子区域同样采用如上计算方式，根据像素所在区域k，计算像素属于前景与背景的概率为：

8、

9、最终的像素概率将由全局统计直方图与局部统计直方图共同决定，为平衡全局与局部，设计分配系数β∈[0,1.0]，则计算方式为：

10、

11、跟踪过程中，使用t-1帧与t帧对颜色直方图进行更新：

12、pt(y|mi)＝αipt(y|mi)+(1-αi)pt-1(y|mi),i∈{f,b}，αi表示学习率。

13、步骤4：将上一帧的边缘投影到图像上，沿着边缘法向计算几何特征的后验概率分布。针对所有边缘搜索线，对应的后验概率为：

14、

15、其中，dedge描述了所有搜索线在位姿变化为ξ时的数据。对于单条搜索线的后验概率pedge(ds|ωs,y)计算方式为：估计投影点c(法向量为n＝[nx ny]t)与匹配边缘点c′在尺度空间中的距离其中，δr表示将亚像素变换到离散尺度空间rs上，根据贝叶斯理论，则有：

16、其中，dω描述了相对于整个搜索线域ωs上ds所对应的距离表示，离散尺度空间rs设置了平滑阶跃函数φl(x)，整个搜索线构建了平滑函数φg(x)。pe(m|y)为像素是边缘m的后验概率，计算方式为：

17、pe(m|y)＝presporipdis

18、其中，pres为像素的边缘梯度响应概率，通过sobel算子提取，并进行归一化到[0,1]；pori＝cos(θl-θi)表示搜索线方向θl与搜索点梯度方向θi的相似度；pdis表示搜索线上的像素点x′j距离中心点xi(ξ)的距离置信度，通过turkey估计：ρturkey表示tukey的范数。

19、步骤5：构建多特征统一的能量函数e(ξ)＝-λedgelnp(ξ|dregion)-λregionlnp(ξ|dedge)，其中λedge与λregion表示两种特征的权重因子，其计算方式为：其中，ωre与ωed分别描述了边缘与轮廓匹配率带来的影响，计算公式为：

20、

21、其中，ni,i∈{region,edge}表示搜索线最大概率大于阈值tmi的匹配点数和，ni表示模型投影的边缘或轮廓点集理论数量，ki为该函数的参数。与分别描述了匹配残差对颜色统计与几何边缘的影响程度，其计算方式与上式类似。最后，基于高斯牛顿优化方法最小化能量函数求解位姿。

22、步骤6：衡量当前帧的特征匹配残差，当残差大于阈值et时，将当前位姿的旋转矩阵分解为外平面旋转与内平面旋转，进行非局部搜索。首先进行外平面旋转的非局部搜索，通过将外平面相关的视轴参数化为2d向量，在该向量上进行网格采样ω＝[-θ,θ]×[-θ,θ]，基于广度优先策略搜索最佳点，基于此，再进行步骤3-5的局部优化。其次，残差仍然大于et，则进行内平面的非局部搜索，将与内平面旋转相关的绕相机z轴旋转量参数化为1d向量，并进行网格采样ω＝[-γ,γ]、搜索与局部优化。当匹配残差小于et或达到终止条件时，输出当前帧的位姿，并通过重复步骤3-6进行整个图像序列的跟踪。阈值et通过跟踪的前15帧匹配残差中值确定。非局部搜索与局部优化过程中采用了多项预终止条件，包括：匹配残差小于阈值et；搜索网格之前被访问过；由近及远的搜索路径；局部优化时迭代次数减少。

23、本发明的有益效果：

24、1.本发明提供的一种基于几何边缘与颜色统计特征自适应融合的工业零件位姿跟踪方法，使用几何边缘特征与颜色统计特征的自适应融合，解决由复杂因素干扰下工业零件位姿跟踪可能失效的问题，两种特征的互补，以发挥各自的优势，从而可以提高在工业应用中的鲁棒性和精确性。

25、2.本发明通过考虑几何边缘的梯度响应概率、梯度方向概率以及距离置信度多项因素，解决复杂背景下的边缘匹配问题；通过结合全局颜色统计与局部颜色统计特征克服背景复杂情况。基于观测状态中的匹配率与匹配残差，自适应的分配多特征权重，能够最大化特征贡献度。通过将非局部搜索与局部优化进行混合使用，避免由于复杂场景导致的局部最小值。

26、3.本发明通过多特征自适应融合，能够完成在遮挡、前背景形似、运动模糊、边缘杂乱等复杂场景下的工业零件位姿跟踪；其跟踪速度约为45帧每秒，可以满足实时性要求。