基于深度相机的工件识别与定位方法和系统、分拣系统与流程

本发明涉及机器视觉技术领域，具体而言涉及一种基于深度相机的工件识别与定位方法和系统、分拣系统。

背景技术：

近年来，随着计算机技术以及图像处理技术的迅速发展，机器视觉已经广泛应用在汽车制造、食品分拣、自动化加工生产等技术领域。在工业领域中，机器视觉通常用于视觉测量、视觉引导和视觉检测三方面。

在现代化视觉检测自动加工生产中，工件目标识别与定位是必不可少的一步。传统的目标识别常采用模板匹配的方法。模板匹配法是一种最基本的图像识别方法。模板是为了检测待识别图像的某些区域特征而设计的阵列，模板匹配法就是把已知物体的模板与图像中所有未知物体进行比较，如果某一未知物体与该模板匹配，则标记此物体为检测目标，并被认为是与模板相同的物体。

模板匹配法虽然简单方便，但其应用场合有一定限制。因为要表明所有物体的各种方向及尺寸需要大量的模板数据，且其匹配过程由于需要的存储量和计算量过大而不经济。同时该方法过多地依赖于已知物体的模板，如果已知物体的模板产生变形，将导致错误识别问题。

工件目标的定位分为2d定位和3d定位，2d定位计算出目标物体的三维位置信息，3d定位计算出目标物体的位置和姿态信息。2d定位通过霍夫变换等方法识别图像中物体的中心点坐标，3d定位常采用点云配准的方法估计物体的姿态，采样一致性初始配准算法(sampleconsensusinitialaligment，简称sac-ia)、正态分布变换(normaldistributionstransform，简称ndt)配准和迭代最近点算法(iterativeclosestpoint，简称icp)三种方法。

传统的点云配准方法，精度受限且依赖于初始值。因此，亟待提出一种基于深度相机的工件识别与定位方法，既能快速准确的识别物体，又可以实现物体位姿的估计。

技术实现要素：

本发明目的在于提供一种基于深度相机的工件识别与定位方法和系统，将深度相机生成的点云数据作为训练样本识别工件，取代了传统的模板匹配方法，增强了识别工件的鲁棒性，实现了对工件位姿的估计；将识别的结果作为点云的配准的初始值，有效的缩短了点云配准的时间，提高了点云配准的精度；另外，本发明还提供一种分拣系统，基于前述工件识别与定位方法，对目标工件进行快速识别定位，以精准控制工业机器人末端执行件的分拣动作。

为达成上述目的，结合图1，本发明提出一种基于深度相机的工件识别与定位方法，所述方法包括：

s1：采用深度相机以采集现场工作环境的图像信息和对应的实时点云数据。

s2：基于支持向量机训练不同种类、不同姿态和不同完整度的工件模型和识别实时点云数据中所包含的工件点云、以及对应的工件种类与工件姿态。

s3：将识别结果作为点云配准的初始值，依次采用icp算法和ndt算法进行精配准。

s4：采用标定板以建立相机坐标系与世界坐标系的关系，获取工件的位姿数据。

进一步的实施例中，所述方法还包括：

s20：将深度相机采集到的若干个工件样本点云数据作为训练样本，采用支持向量机作为分类器，训练生成用于识别不同种类、不同姿态和不同完整度的工件模型的工件识别子系统。

进一步的实施例中，所述工件识别子系统的生成过程包括：

s201：标定每个训练样本的类别标签，提取训练样本中的若干个直方图特征作为样本特征。

s202：设置支持向量机参数，包括支持向量机类型、核函数类型、算法的终止条件和松弛变量。

s203：结合样本特征和支持向量机参数，训练支持向量机以生成工件识别子系统。

进一步的实施例中，所述识别实时点云数据中所包含的工件、以及工件种类与对应的姿态包括以下步骤：

s21：对实时点云数据进行体素化滤波预处理以减少场景点云噪声。

s22：提取工件所在的感兴趣区域，将背景区域与工件所在区域分割，提取待识别工件点云。

s23：将待识别工件点云与支持向量机比对以找出工件样本点云，利用点云匹配点之间的关系计算出工件样本点云与待识别工件点云之间的第一转换关系矩阵，记为r1和t1。

进一步的实施例中，所述将识别结果作为点云配准的初始值，依次采用icp算法和ndt算法进行精配准包括以下步骤：

s31：采用icp算法对工件进行配准，计算出工件样本点云与待识别工件点云之间的第二转换关系矩阵，记为r2和t2。

s32：采用ndt算法进一步提高配准精度，计算出工件样本点云与待识别工件点云之间的第三转换关系矩阵，记为r3和t3。

进一步的实施例中，所述方法还包括：

所述工件样本点云与待识别工件点云之间的最终转换关系[r,t]为：

[r,t]＝[r1,t1]*[r2，t2]*[r3，t3]。

基于前述方法，本发明还提及一种基于深度相机的工件识别与定位系统，所述系统包括以下模块：

(1)点云数据获取模块，用于获取现场工作环境的图像信息和对应的实时点云数据。

(2)工件识别子系统，用于识别实时点云数据中所包含的工件点云、以及对应的工件种类与工件姿态，包括：

①建立模型单元，用于基于统计学习理论，预先建立以现场工作环境为背景的不同种类、不同姿态和不同完整度的工件点云图作为训练样本的高维特征模型。

②工件识别单元，用于将实时点云数据映射至支持向量机的高维特征模型中，分离出工件点云、以及对应的工件种类与工件姿态类。

(3)点云配准模块，用于将识别结果作为点云配准的初始值，依次采用icp算法和ndt算法进行精配准。

(4)坐标转换模块，用于采用标定板以建立相机坐标系与世界坐标系的关系。

结合图5，基于前述方法，本发明还提及一种分拣系统，所述自动分拣系统包括机器人控制柜、机械臂、工业机器人末端执行件、深度相机、标定板、上位机。

所述标定板放置在现场工作环境中，用于上位机建立相机坐标系和世界坐标系之间的转换关系。

所述上位机与深度相机相连，所述深度相机根据上位机发送的控制指令以实时采集现场工作环境的图像信息，并且生成实时点云数据，将生成的实时点云数据发送至上位机。

所述上位机与机器人控制柜相连，上位机采用权利要求1-7任意一项中所述的基于深度相机的工件识别与定位方法对实时点云数据中的目标工件进行识别和定位，计算出目标工件的位姿数据，将位姿数据发送至机器人控制柜。

所述机器人控制柜分别与机械臂和工业机器人末端执行件相连，所述工业机器人末端执行件安装在机械臂一端。

所述机器人控制柜根据上位机发送的位姿数据以控制工业机器人末端执行件到达指定位姿点，采用工业机器人末端执行件对目标工件进行分拣。

本发明所提及的工件识别与定位的方法涉及到的装置有深度相机、标定板和上位机。其中，深度相机用于采集现场的工作环境的图像信息并且生成点云数据，标定板用于建立相机坐标系和世界坐标系之间的转换关系，上位机用于接收和处理深度相机的采集的图像数据并通过机器学习和点云配准的方法来识别和定位工件。

具体的工件识别定位过程如下：

步骤一、依靠深度相机采集到的点云数据为基础，通过机器学习svm分类器对工件点云进行训练，得到工件识别子系统。步骤二、将现场采集点云数据导入工件识别子系统，识别出场景中的工件点云。步骤三、将识别出来的点云数据作为点云配准的粗定位，使用icp和ndt算法进行精配准。步骤四、通过棋盘标定等方法建立相机坐标系与世界坐标系关系，获取工件的位姿信息。

以上本发明的技术方案，与现有相比，其显著的有益效果在于，

(1)将深度相机生成的点云数据作为训练样本识别工件，取代了传统的模板匹配方法，增强了识别工件的鲁棒性，实现了对工件位姿的估计。

(2)将识别的结果作为点云的配准的初始值，有效的缩短了点云配准的时间，提高了点云配准的精度。

(3)另外，本发明还提供一种分拣系统，基于前述工件识别与定位方法，对目标工件进行快速识别定位，以精准控制工业机器人末端执行件的分拣动作。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是本发明的基于深度相机的工件识别与定位方法流程图。

图2是本发明的工件识别与定位方法流程图。

图3是本发明的工件配准示意图。

图4是本发明的基于深度相机的工件识别与定位方法的其中一个例子的流程图。

图5是本发明的分拣系统结构示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1，本发明提出一种基于深度相机的工件识别与定位方法，所述方法包括：

s1：采用深度相机以采集现场工作环境的图像信息和对应的实时点云数据。

s2：基于识别不同种类、不同姿态和不同完整度的工件模型的支持向量机，识别实时点云数据中所包含的工件点云、以及对应的工件种类与工件姿态。

s3：将识别结果作为点云配准的初始值，依次采用icp算法和ndt算法进行精配准。

s4：采用标定板以建立相机坐标系与世界坐标系的关系，获取工件的位姿数据。

结合图2，本发明的基于深度相机的工件识别方法分为三步，第一步通过机器学习的svm方法识别训练工件的支持向量，对不同姿态下和不同完整度的工件点云图进行样本采集。第二步通过深度相机采集工件现场点云图。第三步在场景中寻找与样本支持向量相同的场景点云数据进行寻找匹配，并且计算出训练工件样本的点云到场景点云的转换关系。

结合图3，本发明的基于深度相机的工件定位方法分为三步，第一步通过机器学习算法识别出工件，将识别结果作为工件定位点云的粗配准。第二步以识别结果作为配准的初值，通过icp算法进行精配准。第三步在前两步的基础上通过ndt算法进行最终的配准。

结合图4，本发明所提及的基于深度相机的工件识别与定位方法的其中一个例子的具体流程如下：

(1)训练样本：通过深度相机采集工件的点云数据图做为训练图片，使用svm作为分类器，训练svm工件样本模型。具体是第一步输入点云数据，对于给出的每一个训练样本，明确每个样本的归类是0还是1，即为每个样本标注一个确切的类别标签，作为svm训练时使用。一般svm对于样本特征的选择以及维度没有明确的要求，根据样本实际情况选择，常用的边缘、haar、角点、sift、surf、直方图等直方图特征表述参与训练；第二步设置svm参数。svm常用的参数有svm类型选择、核函数类型以及算法的终止条件和松弛变量等。其中核函数的选择是决定svm识别效果的关键性因素，它的本质作用是将低维空间的线性不可分类问题，借助核函数转化为高维空间的线性可分，进而可以在高维空间找到分类的最优边界，即超平面。采用sigmoid核函数，支持向量机实现多层神经网络；第三步开始训练支持向量，根据之前选择的特征表述和设置的参数，训练支持向量。

(2)识别与定位：通过深度相机采集场景点云数据，采用体素化滤波进行预处理，减少场景点云噪声，提取工件所在的感兴趣区域，将背景区域与工件所在区域分割，提取待识别的工件点云，与前述训练的支持向量机对比找出工件并且利用点云匹配点之间的关系计算出模板点云与待识别点云之间的转换关系矩阵记为r1和t1，然后使用icp算法对工件进行配准转换关系记为r2和t2，最后使用ndt配准来进一步提高配准精度记为r3和t3。定位结束，模板点云和场景点云最终转换关系[r，t]为：

[r,t]＝[r1，t1]*[r2,t2]*[r3,t3]。

基于前述方法，本发明还提及一种基于深度相机的工件识别与定位系统，所述系统包括以下模块：

(1)点云数据获取模块，用于获取现场工作环境的图像信息和对应的实时点云数据。

(2)工件识别子系统，用于识别实时点云数据中所包含的工件点云、以及对应的工件种类与工件姿态，包括：

①建立模型单元，用于基于统计学习理论，预先建立以现场工作环境为背景的不同种类、不同姿态和不同完整度的工件点云图作为训练样本的高维特征模型。

②工件识别单元，用于将实时点云数据映射至支持向量机的高维特征模型中，分离出工件点云、以及对应的工件种类与工件姿态类。

(3)点云配准模块，用于将识别结果作为点云配准的初始值，依次采用icp算法和ndt算法进行精配准。

(4)坐标转换模块，用于采用标定板以建立相机坐标系与世界坐标系的关系。

结合图5，基于前述方法，本发明还提及一种分拣系统，所述自动分拣系统包括机器人控制柜1、机械臂2、工业机器人末端执行件3、深度相机4、标定板6、上位机5。

所述标定板6放置在现场工作环境中，用于上位机5建立相机坐标系和世界坐标系之间的转换关系。优选的，所述标定板6包括棋盘标定板6。

所述上位机5与深度相机4相连，所述深度相机4根据上位机5发送的控制指令以实时采集现场工作环境的图像信息，并且生成实时点云数据，将生成的实时点云数据发送至上位机5。

所述上位机5与机器人控制柜1相连，上位机5采用权利要求1-7任意一项中所述的基于深度相机的工件识别与定位方法对实时点云数据中的目标工件进行识别和定位，计算出目标工件的位姿数据，将位姿数据发送至机器人控制柜1。

所述机器人控制柜1分别与机械臂2和工业机器人末端执行件3相连，所述工业机器人末端执行件3安装在机械臂2一端。

所述机器人控制柜1根据上位机5发送的位姿数据以控制工业机器人末端执行件3到达指定位姿点，采用工业机器人末端执行件3对目标工件进行分拣。为了便于描述，目标工件7用圆柱齿轮表示，应当理解，本发明所提及的方法和分拣系统对分拣工件的种类没有限定。

其中，机器人控制柜1与机械臂2通过数据电缆传输电机的脉冲指令，控制工业机器人到达指定位姿点。通过工业机器人末端执行件3来实现对目标工件7的抓取操作，工业机器人末端执行件3可根据分拣的目标工件7的类型选择吸盘或者是机械手等。深度相机4通过usb向上位机5传输彩色图像和深度图像并且采集点云数据。上位机5通过前述工件识别和定位方法对点云数据进行处理，识别并定位目标工件7，并与机器人控制柜1通信，传输工业机器人应到达的抓取和放置的目标工件7的位姿点。标定板6用来标定相机与工业机器人之间坐标的转换关系。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。