基于图像分割定位辅助点云配准的高反光物体的抓取方法

1.本发明涉及工业物件的3d位姿估计和抓取技术领域，尤其涉及一种高反光场景下，对反光物体的位姿估计和准确抓取的方法。


背景技术：

2.目前工业中的3d视觉抓取方法是通过机器人和工业相机来完成的，工业相机在获取图片后，通过visionpro软件或者halcon软件对图片进行处理。工业相机在标定过程中，通过手动框出标志物在图片中的位置，并手动输出机器人的位置，从而导致检测不准确。并且在图片处理过程中无法对参数进行调整。
3.更常见的是，金属等表面具有高反光特点的零件，生产过程中在自然光和工厂灯光的照射下，所发生反光导致自动化生产线产品表面检测困难，定位抓取困难以及分拣困难的问题，很少有针对性研究。
4.更严重的是，有些物料的表面，在同一场景下既有反光特性又有吸光特点，增加了场景的复杂性，破坏了图像本身的整体性，对机器视觉的理解造成了严重的障碍，给工业生产生活带来极大得阻碍，因此针对图像中反光的去除研究就显得十分重要。
5.针对高光的克服有包括硬件和软件两类，硬件的方法如在相机外部添加偏振装置，使用高动态等，单仍不足以消除反光。因此目前的一些研究还是要倾向于使用图像算法去除高光，单仍然难度较大。


技术实现要素：

6.有鉴于此，本发明的目的是提供一种基于图像分割定位辅助点云配准的高反光物体的抓取方法，用于解决高反光物体的3d位姿估计和准确抓取，在高反光场景中实现了最佳的高光克服效果。
7.本发明的目的是通过以下技术方案实现的：一种基于图像分割定位辅助点云配准的高反光物体的抓取方法，具体包括以下子步骤：
8.(1)采集图像信息及其对应的点云信息；
9.(2)基于mask-rcnn网络、边缘差分算子、开运算和正则化处理对步骤(1)采集的图像进行分割；
10.(3)对步骤(1)得到的点云信息进行预处理，并建立点云空间拓扑结构，对点云法向量评估进行优化，得到带法向量的点云数据；
11.(4)基于步骤(2)分割得到的图像，利用改进的ppf算法对步骤(3)得到的法向量的点云数据进行点云配准，求解姿态聚类，进行icp优化，完成高反光物体的抓取。
12.进一步地，所述步骤(2)包括以下子步骤：
13.(2.1)首先基于mask-rcnn的分割网络，在分割网络的卷积层中填加边缘差分算子和开运算对步骤(1)采集的图像进行背景减除、降噪处理；
14.(2.2)再对步骤(2.1)得到的图像进行正则化处理，完成图像的分割。
15.进一步地，所述正则化处理包括加入随机失活层和l2正则化处理；
16.所述随机失活层作用于mask-rcnn的分割网络输出层的全连接层；
17.所述l2正则化的公式如下：
18.l(x，w)＝loss(wx,y)+λ||w||219.其中，l(x,w)为给定输入x及当前权值w时的模型损失函数；loss(wx,y)为经验损失；λ||w||2为l2正则项，l2正则项为每层神经元参数的平方和，λ为正则化常数。
20.进一步地，所述步骤(3)中的预处理包括采用基于ransac随机一致采样的平面分割策略进行滤除场景点云平面、滤除点云中的离群点和对点云进行降采样；所述步骤(3)中优选k-d树作为点云的空间拓扑结构。
21.进一步地，所述步骤(3)中利用最小二乘法基于局部表面拟合法向量，将点云每一个带球点p与其最近的k个相邻点构成一近似的几何平面，其平面方程如下：
[0022][0023]
其中，n为平面p的法向量，d为点p所在平面到坐标原点的距离；将平面方程问题转化为对半正定协方差矩阵c进行特征值分解，特征值最小的数值对应的向量即可当作带球点p的法向量：
[0024][0025]
拟合的平面表达式如下式，其中p为待求法向量点：
[0026][0027]
得到法向量点，所述法向量点的集合即为带有法向量的点云数据；对带球点p周围的近邻点赋予不同的高斯权重θ(*)，得到法向估计结果。
[0028]
进一步地，所述步骤(4)中利用改进的ppf算法具体为：针对ppf特征构建中的特征提取、投票策略、位姿聚类、假设检验进行改进优化。
[0029]
进一步地，所述特征提取具体为：根据步骤(3)得到的法向估计结果；对于点云模型中任意两点p和q，设定d＝q-p，原始点对特征定义如下式：
[0030]
f(p，q)＝(||d||2，∠(n1，d)，∠(n2，d)，∠(n1，n2)
[0031]
其中，∠(n1，d)，∠(n2，d)，∠(n1，n2)∈[0，π]，表示两个向量之间的夹角；‖d‖2表示两个点之间的距离；为了消除点对二义性，修正点对特征定义如下式所示：
[0032]fδ
(m1，m2)＝(||d||2，∠(n1，d)，∠(n2，d)，δ(n，n2)*∠(n1，n2))
[0033]
其中，δ为修正函数，n＝n1×
d，为π平面的法线方向；当n向量点乘n2向量为正时，法修正函数为1，否则修正函数为-1。
[0034]
进一步地，所述投票策略具体为：采用线性插值，对ppf特征中每个特征的离散值沿最近邻域进行扩散利用广义的霍夫变换投票策略进行投票。
[0035]
进一步地，所述位姿聚类具体包括位置聚类和姿态聚类；二维投票表的峰值即对应相对最优的局部坐标系；将二维投票表中峰值所对应的位置姿态通过α角进行解算求出对应的位置变换和姿态变换；采取姿态聚类对得到的各个参考点的峰值投票进行聚类，完成位置聚类和姿态聚类。
[0036]
进一步地，所述假设检验具体为：将待检测模型与场景通过最近迭代算法优化迭代最近点算法进行位姿调优，检验通过后将模型旋转平移至场景中从而计算模型与场景点
的重叠率，进行位姿可靠性的确定，完成点云匹配，即完成高反光物体的抓取。
[0037]
本发明的有益效果为：本发明方法首次将深度学习算法与传统点对特征算法相结合，首先基于深度学习运用2d分割网络将图像信息处理，隐式地预测工件在二维图像上的投影，再采用传统点对特征的ppf算法估计工件位姿。将其用运在高反光无序工件三维视觉位姿估计及机器人智能抓取中，在高反光场景中的表现优于现有的抓取方法，并且在同时含有反光和吸光两种特性的表面时，表现出良好的效果。本发明方法实现了高反光物体全自动高精度的高速连续抓取，应用范围广，工业价值高，推动了视觉检测技术发展和生产自动化进程。
附图说明
[0038]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0039]
图1为本发明实施例提供的基本原理流程图；
[0040]
图2为本发明实施例提供的图像信息和点云信息图；
[0041]
图3为本发明实施例提供的直线拟合中几种直线拟合方法对比；
[0042]
图4为本发明实施例提供的是原始点对特征示意图；
[0043]
图5为本发明实施例提供的是朴素点对的二义性示意图；
[0044]
图6为本发明实施例提供的ppf的特征扩散图；
[0045]
图7为本发明实施例提供的最终处理后要匹配的点云。
具体实施方式
[0046]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0048]
本发明实施例提供一种基于图像分割定位辅助点云配准的高反光物体的抓取方法，能够适用于反光图像不同场景，在克服高光的同时，实现图像原有结构和位姿信息的最大限度保存，如图1所示为本发明方法的流程图，具体包括如下步骤。
[0049]
(1)通过3d相机获得图像信息及其对应的点云信息，如图2所示，其中，图2中的(a)为图像信息，图2中的(b)为对应的点云信息。
[0050]
(2)基于mask-rcnn网络、边缘差分算子、开运算和正则化处理对步骤(1)采集的图像进行分割。具体包以下子步骤：
[0051]
(2.1)首先基于mask-rcnn的分割网络在其分割网络的卷积层中填加边缘差分算
子和开运算，这样可以对步骤(1)采集的基础图像进行背景减除、降噪处理，剔除干扰，使其具有平滑物体边缘及低噪干扰的结果。
[0052]
所述边缘差分算子(即log滤波器)方法通过检测二阶导数过零点来判断边缘点。log滤波器中的a正比于低通滤波器的宽度，a越大，平滑作用越显著，去除噪声越好。
[0053]
所述开运算首先腐蚀运算再进行膨胀运算，能够将看上去把细微连在一起的两块目标分开。
[0054]
(2.2)为尽量避免过拟合引起的泛化能力减损，再对步骤(2.1)得到的图像进行正则化处理；所述正则化处理包括加入随机失活层以及l2正则化：具体包括以下子步骤：
[0055]
所述随机失活层具体为：随机失活层作用于mask-rcnn的分割网络输出层的全连接层。在训练过程中，每一轮运算迭代都将全连接层中的部分固定比例神经元置0，相当于只训练该层中的部分参数，降低由于参数过多而引起过拟合的概率，也让全连接层之间及单层之内的神经元耦合性降低，使得即便是网络中只有部分神经元工作时，依旧能够输出相对正确的结果。
[0056]
所述l2正则化处理具体为：l2正则项为每层神经元参数的平方和，作为结构风险因子加在损失函数中，起到对过大的权值进行损失惩罚的作用。其表达形式如下：
[0057]
l(x，w)＝loss(wx,y)+λ||w||2[0058]
其中，l(x,w)为给定输入x及当前权值w时的模型损失函数；loss(wx,y)为经验损失，由输出与实际标签的偏差决定；λ||w||2即为l2正则项，λ为正则化常数。l2正则化项趋向于使得模型中的各项权值趋近于0，从而降低模型的复杂度，降低对异常特征值的敏感度，增强模型输出的稳定性。
[0059]
(3)对步骤(1)得到的点云信息中不相干的背景点、噪声数据和冗余信息等先进行背景减除去噪等预处理，并建立点云空间拓扑结构，对点云法向量进行评估并优化；利用空洞卷积最大视野的感受点云信息，对缺失的点云进行最大视野尽可能的模拟虚补全，给匹配的抓取点创造更好的信息，然后批标准化处理，去除隐含在数据中的特殊分布；具体为：
[0060]
所述预处理包括滤除场景点云平面、滤除点云中的离群点、对点云进行降采样。
[0061]
所述滤除场景点云平面具体为：为了保证平面去除算法的鲁棒性，本发明实施例中优选基于ransac随机一致采样的平面分割策略。所述基于ransac随机一致采样原理分割平面的流程如下：
[0062]
(a)从n个点的点集随机选取m个点，利用总体最小二乘法拟合出m个估计的点平面方程
[0063]
(b)用步骤(a)中抽样得到的m个点对平面模型进行拟合，使用得到的平面模型测试所有的n个点云数据，如果某个点在估计平面的一个误差范围内，则对点云进行降采样认为它是该模型的内点，否则则成为该平面模型的外点。
[0064]
(c)当有足够多的点被归类为假设平面模型的局内点，则估计的平面模型就足够合理。
[0065]
(d)循环迭代k次，找到满足的片面模型的内点数最多的结果即为合理的平面模型，如图3所示，图3中的(a)为经典最小二乘法的直线拟合结果，图3中的(b)为基于总体最小二乘法的直线拟合结果，图3中的(c)为基于ransac思想的直线拟合结果。
[0066]
所述滤除点云中的离群点具体为：相对于主体点云，离群点云相对较为稀疏。假设
点的距离分布是一个高斯分布，其形状是由距离的均值和标准差决定，那么平均距离在标准范围之外的点，可以被定义为离群点并从数据中去除。
[0067]
设p＝{pi(xi，yi，zi)|1≤i≤n}为场景点云，pi(xi，yi，zi)为点云中任意数据点。对于点云p，计算过程如下：
[0068]
查询检测场景中任意数据点pi的k近邻点,计算pi的k近邻域点到数据点pi的欧式距离d
ij
(i≠j)。对所有d
ij
求平均值d
ki
，数学表达式如下：
[0069]
(其中i≠j,且j《＝k)
[0070]
针对场景中每一个点。重复步骤上述步骤，获取点云中所有点的k近邻平均距离d
ki
(1≤i≤n)，构成集合d＝{d
ki
|1≤i≤n}。
[0071]
计算集合d的均值μ和方差σ，公式如下：
[0072][0073][0074]
对场景中所有点pi(xi，yi，zi)，通过下式判断是否为离群点，对符合条件的点进行滤除，式中t为方差加权因子。
[0075]dki
＞μ+t*σ
[0076]
所述对点云进行降采样具体为：在保证场景和模型几何特性的同时，使用尽可能少的点云数据来表示原模型，通过在输入点云数据上创建一个空间体素网格，然后在每个非空体素中使用体素内所有点的质心来进行近似表示曲面上的点，完成对点云的降采样。此方法尽管比直接用体素的中心逼近曲面要慢一些，但是它可以更准确地表示点云的表面信息。
[0077]
所述点云空间拓扑结构的建立具体为：相机可以直接测量得到的点云数据，原始点云数据缺少点与点之间的几何拓扑关系。直接对原始点云数据进行处理会产生大量不必要的内存消耗。因而，高效的组织管理点云数据，实现基于几何邻域关系的快速查找是对海量无结构化数据处理的首要前提。本发明实施例考虑到在3d物体位姿估计中需要大量的点的查询操作，通过对比分析和研究，k-d树的具有更高的查找效率，因而本发明实施例优选k-d树作为点云的空间拓扑结构。
[0078]
所述点云的法向量估计具体为：利用最小二乘法基于局部表面拟合法向量，将点云每一个带球点p与其最近的k个相邻点构成一个近似的几何平面，其平面方程如下
[0079][0080]
其中，n为平面p的法向量，d为点p所在平面到坐标原点的距离。将平面方程问题转化为对半正定协方差矩阵c进行特征值分解，特征值最小的数值对应的向量即可当作带球点p的法向量。
[0081]
[0082]
拟合的平面表达式如下式，其中p为待求法向量点：
[0083][0084]
得到法向量点，所述法向量点的集合即为带有法向量的点云数据。对带球点p周围的近邻点赋予不同的高斯权重，即上式中的θ(*)函数，从而得到更平滑的法向估计结果。
[0085]
本发明实施例中基于各向同性的k近邻法向估计对于表面光滑的平面可以高效的得到理想的结果，因此，本发明实施例将点云法向量区分为两个区域，具有尖锐特征的曲面被称为特征点，否则称为非特征点。点云的曲面尖锐程度使用下式表示：
[0086][0087]
协方差矩阵被分解为三个特征向量v0、v1、v2，分别对应上式中特征值λ0、λ1、λ2，其中特征值λ0相对最小，特征值λ2相对最大；当ωi为0，表示带球点p处于平坦区域，随着ωi的增大，曲面越尖锐，各向异性表现越明显。本发明实施例设定ωi的阈值ω
treshshold
＝0.15，当ωi小于ω
treshshold
，则点云处于平坦区域，使用各向同性的k近邻进行计算点云法向量。当ωi大于ω
treshshold
，使用各向异性的k近邻进行局部平面拟合来估计法向量。
[0088]
(4)基于点对ppf特征的物体位姿估计是3d形状匹配中鲁棒性最好的方法之一。得到带有法向量的点云数据后，在步骤(2)得到的分割图像的基础下，辅助改进过的ppf算法进行点云配准，可以帮助我们实时地实现物体位姿估计，保证基于视觉的柔性作业。
[0089]
所述改进过的ppf算法针对ppf特征构建中的特征提取、投票策略、位姿聚类、假设检验等关键步骤进行优化与改进。
[0090]
所述特征提取具体为：根据步骤(3)得到了包含模型和场景的有向点集合的点云数据。标识sies代表场景scene中的有向点，miem代表模型中的有向点；对于模型中任意两点p和q，本发明实施例中设定d＝q-p，原始点对特征定义如下式：
[0091]
f(p，q)＝(||d||2，∠(n1，d)，∠(n2，d)，∠(n1，n2)
[0092]
其中，f(p，q)＝(||d||2，∠(n1，d)，∠(n2，d)，∠(n1，n2)，表示两个向量之间的夹角。‖d‖2表示两个点之间的距离。如图4所示，两个有向点对的相对位置关系被概括为四个特征值，原始的朴素点对特征是具有二义性的，如图5所示。为此本发明采用具有修正的增强点对特征。
[0093]
为了消除点对二义性，本发明修正点对特征定义如下式：
[0094]fδ
(m1，m2)＝(||d||2，∠(n1，d)，∠(n2，d)，δ(n，n2)*∠(n1，n2))
[0095]
其中，δ为修正函数，n＝n1×
d，为π平面的法线方向；当n向量点乘n2向量为正时，法修正函数为1，否则修正函数为-1。因此，通过引入增强型点对特征，提高点对特征的区分性和投票过程的关联性，减少不必要的投票对正确结果的干扰。
[0096]
所述投票策略具体为：本发明实施例中优选利用广义的霍夫变换投票策略进行投票。为了保证投票的可靠性，考虑到场景中点对特征估计的准确性，本发明采用线性插值对四个离散化的点(所述四个离散化的点为自定义设置的点)对特征进行扩散。每个离散的原特征值在量化工程中本身存在一定的误差，因此，为了提高对噪声的鲁棒性，本发明对ppf特征中每个特征的离散值沿最近邻域进行扩散。
[0097]
如图6所示，离散的原特征值距离邻域1相对邻域2更近，因此特征从离散的原特征
值扩散到邻域1。同样，对ppf特征中四个离散特征值分别进行扩散，组合后可得到16个扩散后的离散特征。基于扩散后的离散特征进行物体位姿的投票对噪声具有更强的鲁棒性。
[0098]
所述位姿聚类具体包括位置聚类和姿态聚类。基于聚类的位姿求解，二维投票表的峰值即对应相对最优的局部坐标系，但是局部坐标系的峰值可能只是真实位姿信息(ground truth，gt)的近似。本发明为了减少误投票姿态的影响以及姿态的准确性，将二维投票表中峰值所对应的位置姿态通过α角进行解算求出对应的位置变换和姿态变换。本发明采取姿态聚类对得到的各个参考点的峰值投票进行聚类，完成位置聚类和姿态聚类。
[0099]
所述假设检验具体为：基于位姿聚类得到的粗位姿估计，为了保证位姿估计的确信度，对位姿概率投票后的结果进行假设检验。将待检测模型与场景通过icp(iterative closest point，最近迭代算法)优化迭代最近点算法进行位姿调优，设检验通过将模型旋转平移至场景中从而计算模型与场景点的重叠率，进行位姿可靠性的确定，完成点云匹配，即完成高反光物体的抓取。
[0100]
为了说明本发明上述方法的效果，还与现有最常用的几种抓取方法(没有改进过的ppf、gq-cnn、基于余弦定理的抓取方法等)进行比较。
[0101]
实验表明，在实验场景中本发明提供的方法也能够取得一定的效果，但是并不能达到最优，这也源于本发明方法是基于反光场景的特征出发，与实验场景的特征有一定的出入。而在若干灯光的反光场景当中，本发明提供的方法明显优于其他的所有方法，除了进行量化指标实际场景的算法运行时间比较，还进行了图像分割定位效果的对比，两方面的结果均表明，本发明提供的方法在反光场景的高光克服效果是最优的，如图7所示。
[0102]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。