基于Kinect的典型零部件识别与定位方法与流程

技术特征：

1.基于Kinect的典型零部件识别与定位方法，其特征在于：首先利用Kinect传感器获取的彩色与深度图像提取出两者之间的仿射变换矩阵，实现彩色图像的校正；然后利用相关系数匹配法实现校正后的彩色图像零部件识别；最后利用彩色与深度图像的对应关系对零部件进行定位。

2.根据权利要求1所述的基于Kinect的典型零部件识别与定位方法，其特征在于：采用Kinect传感器对零部件进行识别与定位，具体步骤为：

(1)对图像进行矫正：Kinect设备所获取的深度图像与彩色图像里物体的大小不一致，彩色图像里的人物偏小，所以利用仿射变换对彩色图像进行矫正，使彩色图像里的目标与深度图像里的目标重合；

(2)零部件的图像识别：利用Kinect提取零部件的彩色图像，对彩色图像利用仿射变换矩阵进行仿射变换，然后将彩色图像转换为灰度图像，利用相关系数法对彩色图像进行模板匹配识别；相关系数匹配方法将模板对其均值的相对值与图像对其均值的相关进行匹配，根据R(x,y)来判断相关性，其中：

$R(x,y)=\frac{\frac{1}{mn}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}\left(S_{x,y}\right(i,j)-{\stackrel{\‾}{S}}_{x,y})\left(T\right(i,j)-\stackrel{\‾}{T})}{\sqrt{\frac{1}{mn}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{S_{x,y}}^2(i,j)-{{\stackrel{\‾}{S}}_{x,y}}^2}\sqrt{\frac{1}{mn}\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{T}^2(i,j)-{\stackrel{\‾}{T}}^2}}$

式中：S_x,y意思是以(x,y)为坐上角匹配首点；m×n大小的子块；为子块图像S_x,y的灰度均值；为模板图像T的灰度均值；

(3)零部件位姿计算：通过彩色图像提取出典型零部件中心点坐标，图像经过变换，彩色图像与深度图像重合，从深度图像里提取点的深度值，然后利用Kinect SDK工具包将零部件的中心点的二维图像坐标转换为相对于Kinect的三维坐标，从而对零部件定位。