基于超像素分割的柜体表面检测方法与流程

1.本发明属于柜体表面自动检测技术领域，特别是一种基于超像素分割的柜体表面检测方法。


背景技术：

2.为了采用智能操作机器人对变电站kyn28型高压开关柜进行自动倒闸作业，机器人需要搭载六轴机械臂及末端执行器作为执行机构，同时在机械臂末端安装双目相机作为感知机构。双目相机利用双目测距原理，获取场景的纹理图像和以双目相机中心点为原点的三维点云，并且将纹理图像和三维点云进行配准，从而使得纹理图像中的每个像素点都对应一个三维坐标值。为了引导机械臂末端执行器对开关柜上的旋钮或者按钮进行操作，首先需要将机械臂末端执行器调整到垂直于柜体表面的姿态，为此，需要在双目相机输出的配准后的纹理图像上自动检测到柜体表面，并拟合出柜体平面，进而得到柜体表面的法向量，从而可以调整机械臂末端执行器与法向量平行。
3.已有的柜体平面拟合方法，都是直接基于三维点云的最小二乘拟合或者ransac拟合。
4.由于柜体表面存在较多按钮、旋钮等设备，会导致拟合出来的平面与真实柜体表面有较大差距，从而导致机械臂末端执行器不垂直于柜体，在执行按钮或者旋钮操作时，会偏离目标造成操作失败。


技术实现要素：

5.本发明的目的在于提供一种基于超像素分割的柜体表面检测方法，拟合精度高、贴近真实。
6.实现本发明目的的技术解决方案为：
7.一种基于超像素分割的柜体表面检测方法，包括如下步骤：
8.(10)纹理图像滤波：将双目相机采集后经过配准的柜体表面纹理图像进行高斯滤波；
9.(20)超像素分割：对滤波后的纹理图像采用简单线性迭代聚类算法进行超像素分割，得到超像素区域，计算每个超像素区域的颜色均值，作为该超像素的颜色值；
10.(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；当筛选出来的超像素形状紧凑度低于紧凑度阀值，则利用形状紧凑度进一步筛选出属于柜体表面的超像素；
11.(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean
‑
shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。本发明与现有技术相比，其显著优点为：
12.拟合精度高、贴近真实：本发明采用超像素分割柜体平面，筛选符合条件的超像素区域，并利用聚类算法获取柜体平面法向量，为机械臂执行高精度的目标操作提供了基础。
13.下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
14.图1是本发明基于超像素分割的柜体表面检测方法的主流程图。
15.图2是图1中颜色和形状筛选步骤的流程图。
具体实施方式
16.如图1所示，本发明基于超像素分割的柜体表面检测方法，包括如下步骤：
17.(10)纹理图像滤波：将双目相机采集后经过配准的柜体表面纹理图像进行高斯滤波；
18.纹理图像经过配准后，每个像素点都对应一个三维点云中的目标点，即可以确定每个像素点对应的目标的三维坐标值；对经过配准的柜体表面纹理图像进行高斯滤波后，可以有效减少噪声干扰。
19.(20)超像素分割：对滤波后的纹理图像采用slic(simple linear iterative clustering，简单线性迭代聚类算法)算法进行超像素分割，得到超像素区域，计算每个超像素区域的rgb颜色均值，作为该超像素的颜色值
20.超像素区域k的rgb颜色均值按下式计算：
[0021][0022]
其中，n
k
表示第k个超像素区域包含的像素个数，r
n
、g
n
、b
n
分别表示第k个超像素区域中第n个像素的rgb颜色模式中三通道的像素值，k为超像素区域的编号，n为超像素区域内的像素编号。
[0023]
(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；当筛选出来的超像素形状紧凑度低于紧凑度阀值，则利用形状紧凑度进一步筛选出属于柜体表面的超像素；
[0024]
如图2所示，所述(30)颜色和形状筛选步骤包括如下步骤：
[0025]
(31)颜色相似性筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；
[0026]
由于柜体表面颜色通常较为固定，并且和柜体设备存在一定的颜色差异，可以利用颜色差异性将柜体表面的超像素筛选出来。第k个超像素区域的rgb三个通道的颜色差异性的计算公式为：
[0027]
[0028][0029][0030]
其中，r
p
/g
p
/b
p
为柜体表面颜色的先验值，这里设置为r
p
＝g
p
＝b
p
＝145。这里将三个通道的颜色差异性值均小于0.01的超像素区域加入候选超像素队列。
[0031]
(32)形状紧凑度筛选：利用超像素区域最小外接矩形的宽高比来筛选属于同一目标的超像素；
[0032]
优选地，我们将宽高比的值在[0.8,1.2]范围内的超像素加入候选超像素队列。
[0033]
slic算法在分割超像素时综合利用颜色、纹理、边缘等信息，如果分割出来的超像素形状紧凑度不够高，即超像素区域的最小外接矩形宽高差别较大，通常是因为该超像素包含的区域属于不同的目标物体，因此可以利用超像素区域最小外接矩形的宽高比来筛选属于同一目标的超像素。这里，我们将宽高比的值在[0.8,1.2]范围内的超像素加入候选超像素队列。(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean
‑
shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。
[0034]
例如，以95％的置信区间将属于柜体平面的超像素区域筛选出来。
[0035]
对候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean
‑
shift算法获取平面参数聚类中心，均为本领域常规技术，本文不再赘述。
[0036]
本发明通过采用超像素分割柜体平面，利用超像素的颜色相似性和形状紧凑度筛选符合条件的超像素区域，并利用聚类算法获取柜体平面法向量，，取得了柜体表面拟合精度高、与实际柜体相似度高的技术效果，解决了现有技术由于柜体表面存在较多按钮、旋钮等设备，导致拟合出来的平面与真实柜体表面有较大差距，从而导致机械臂末端执行器不垂直于柜体，在执行按钮或者旋钮操作时，会偏离目标造成操作失败的技术难题。


技术特征：
1.一种基于超像素分割的柜体表面检测方法，其特征在于，包括如下步骤：(10)纹理图像滤波：将双目相机采集后经过配准的柜体表面纹理图像进行高斯滤波；(20)超像素分割：对滤波后的纹理图像采用简单线性迭代聚类算法进行超像素分割，得到超像素区域，计算每个超像素区域的颜色均值，作为该超像素的颜色值；(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；当筛选出来的超像素形状紧凑度低于紧凑度阀值，则利用形状紧凑度进一步筛选出属于柜体表面的超像素；(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean
‑
shift算法获取平面参数聚类中心，以所述聚类中心作为柜体表面法向量。2.根据权利要求1所述的柜体表面检测方法，其特征在于，所述(30)颜色和形状筛选步骤包括：(31)颜色相似性筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；(32)形状紧凑度筛选：利用超像素区域最小外接矩形的宽高比来筛选属于同一目标的超像素；3.根据权利要求2所述的柜体表面检测方法，其特征在于，所述((32)形状紧凑度筛选步骤中，宽高比取值范围为[0.8,1.2]。4.根据权利要求2至3之一所述的柜体表面检测方法，其特征在于，所述(20)超像素分割步骤中，超像素区域k的rgb颜色均值按下式计算：式中，n
k
表示第k个超像素区域包含的像素个数，r
n
、g
n
、b
n
分别表示第k个超像素区域中第n个像素的rgb颜色模式中三通道的像素值，k为超像素区域的编号，n为超像素区域内的像素编号。5.根据权利要求4所述的柜体表面检测方法，其特征在于，所述(31)颜色相似性筛选步骤中，第k个超像素区域的rgb三个通道的颜色差异性的计算公式为：的计算公式为：的计算公式为：式中，为柜体表面颜色的先验值，通常设置为r
p
＝g
p
＝b
p
＝145。
6.根据权利要求5所述的柜体表面检测方法，其特征在于，所述(31)颜色相似性筛选步骤中，将三个通道的颜色差异性值均小于0.01的超像素区域加入候选超像素队列。

技术总结
本发明公开一种基于超像素分割的柜体表面检测方法，拟合精度高、贴近真实。本发明的柜体表面检测方法，包括如下步骤：(10)纹理图像滤波：将经过配准的柜体表面纹理图像进行高斯滤波；(20)超像素分割：对滤波后的纹理图像超像素分割，计算每个超像素区域的颜色均值，作为该超像素的颜色值；(30)颜色和形状筛选：利用超像素区域与柜体颜色的相似性，将柜体表面的超像素筛选出来；并利用形状紧凑度进一步筛选出属于柜体表面的超像素；(40)平面一致性筛选：对每个候选超像素区域进行平面拟合，对拟合平面进行参数归一化，利用mean


技术研发人员：程敏 项导 林欢
受保护的技术使用者：亿嘉和科技股份有限公司
技术研发日：2021.07.28
技术公布日：2021/10/18