一种适用于批量产品的高精度点胶方法及装置与流程

本发明涉及点胶技术领域，具体涉及一种适用于批量产品的高精度点胶方法及装置。

背景技术：

现有技术中，待点胶产品的二维数据常常通过ccd相机获取，进而指导机械手施胶；但是仅根据二维数据，无法定位产品高度，无法针对产品的高度变化生成合理的动作轨迹。此外，行业中使用线性扫描传感器匀速扫描三维数据，遇到大尺寸或批量产品点胶时，扫描过程费时，且对速度控制要求极高，而且三维数据需要与每一个产品进行一对一标定，效率极低。

技术实现要素：

针对现有技术的不足之处，本发明的目的在于提供一种适用于批量产品的高精度点胶方法及装置。

本发明的技术方案概述如下：

一方面，本发明提供一种适用于批量产品的高精度点胶方法，包括手眼标定、数据采集、数据融合、点胶轨迹规划及出胶信号的生成；

其中，数据采集包括：通过3d阵面传感器获取产品的3d数据，所述产品的3d数据至少包括产品的轮廓边界点的3d数据；以及通过二维相机获取产品的彩色图像信息，并识别产品上的点胶位置的二维坐标及产品边界点的二维坐标；

数据融合包括：将3d阵面传感器获取产品的3d数据中xy平面数据与二维相机获取产品的xy平面数据融合，得到融合结果中的点胶位置的xy平面坐标及z平面坐标；

点胶轨迹规划及出胶信号的生成包括：根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号。

进一步地，所述3d阵面传感器的拍摄视角与二维相机的拍摄视角相交或重叠。

进一步地，所述将3d阵面传感器获取产品的3d数据中xy平面数据与二维相机获取产品的xy平面数据融合，得到融合结果中的点胶位置的xy平面坐标及z平面坐标，包括：

将3d阵面传感器获取产品3d数据中轮廓边界点的xy平面数据进行排序，与二维相机获取产品轮廓边界点的xy平面数据进行对齐融合；

根据二维相机识别的点胶位置，确定融合后的点胶位置的xy平面坐标；

在3d阵面传感器获取产品的3d数据中，确定点胶位置的z平面坐标。

进一步地，所述数据融合还包括：

统计xy平面坐标分布范围，将坐标的宽度和高度范围按产品排布的行列数计算得到产品行列坐标宽度，从而得出产品的2d、3d坐标和分布棋盘格行列映射关系；将融合后的xy平面数据置换为行列号，并与所述分布棋盘格的行列对齐；

对齐后得到点胶位置在所述分布棋盘格的行列序号。

进一步地，所述数据融合还包括：补全所述分布棋盘格上的空缺位置。

进一步地，所述根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号，包括：

根据点胶位置在所述分布棋盘格的行列序号规划出xy平面点胶轨迹，根据点胶位置的z平面坐标规划z平面点胶轨迹。

进一步地，所述根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号，还包括：

根据融合结果中点胶位置的z平面坐标，生成点胶高度和/或角度信号。

进一步地，还包括：根据点胶轨迹及出胶信号执行点胶。

进一步地，所述根据点胶轨迹及出胶信号执行点胶，包括：

判断分布棋盘格的当前序号的产品是否为异常状态；

若异常，则执行下一格；

若正常，则向执行机构发送本次点胶的起点、终点的全局坐标和出胶信号，完成后即可继续下一格点胶。

相应地，本发明还提供了一种适用于批量产品的高精度点胶装置，其特征在于，包括：手眼标定模块、数据采集模块、数据融合模块、规划及生成模块；

所述数据采集模块，用于通过3d阵面传感器获取产品的3d数据，所述产品的3d数据至少包括产品的轮廓边界点的3d数据；以及通过二维相机获取产品的彩色图像信息，并识别产品上的点胶位置的二维坐标；

所述数据融合模块，用于将3d阵面传感器获取产品的3d数据中xy平面数据与二维相机获取产品的xy平面数据融合，得到融合结果中的点胶位置的xy平面坐标及z平面坐标；

所述规划及生成模块，用于根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号。

相比现有技术，本发明的有益效果在于：本发明提供的适用于批量产品的高精度点胶方法，融合二维数据及三维数据，将二维数据、三维数据与分布棋盘格对齐，充分利用二维和三维数据的优势，可精准定位xyz的坐标位置和点胶区域，输出三维精准点胶轨迹和控制信号；通过ccd相机获取点胶产品的彩色信息，提高获取点胶位置的准确性，且在数据处理的过程中，将产品的三维数据中的轮廓边界点与二维数据中的轮廓边界点融合，获取点胶位置的xyz的坐标，进行点胶轨迹规划更精确。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种适用于批量产品的高精度点胶方法的流程示意图；

图2为本发明的一种适用于批量产品的高精度点胶方法的另一流程示意图；

图3为本发明的一种基适用于批量产品的高精度点胶装置的方框示意图。

附图标记：10、手眼标定模块；20、数据采集模块；30、数据融合模块；40、规划与生成模块；50、执行模块。

具体实施方式

下面结合附图对本发明做进一步的详细说明，本发明的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。

接下来，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

实施例1：

如图1-3所示，本发明的一种适用于批量产品的高精度点胶方法，包括：

s1、手眼标定；

s2、数据采集；

s3、数据融合；

s4、点胶轨迹规划及出胶信号的生成；

s5、根据点胶轨迹及出胶信号执行点胶。

其中，s2数据采集包括：通过3d阵面传感器获取产品的3d数据，产品的3d数据至少包括产品的轮廓边界点的3d数据；以及通过二维相机获取产品的彩色图像信息，并识别产品上的点胶位置的二维坐标及产品边界点的二维坐标。

s3数据融合包括：将3d阵面传感器获取产品的3d数据中xy平面数据与二维相机获取产品的xy平面数据融合，得到融合结果中的点胶位置的xy平面坐标及z平面坐标。

s4点胶轨迹规划及出胶信号的生成包括：根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号。

优选地，本发明中3d阵面传感器的拍摄视角与二维相机的拍摄视角相交或重叠。

3d阵面传感器和ccd相机均可静止拍摄，且利用3d阵面传感器拍摄深度图像即可获得产品完整的3d点云数据。

具体地，手眼标定包括：3d阵面传感器与机械手之间的标定，以及ccd相机与机械手之间的标定。

3d阵面传感器与机械手之间的标定，包括：通过校对机械手触及的多点位置在3d阵面传感器中的精确坐标，得到第一线性方程组，求解出机械手多轴坐标系和3d阵面传感器坐标系之间的旋转及尺寸变换矩阵。通过3d阵面传感器与机械手之间的标定，指导机械臂的运动。

ccd相机与机械手之间的标定，包括：通过校对机械手触及的多点位置在ccd相机中的像素坐标，得到第二线性方程组，求解得出机械手多轴坐标系和ccd相机的2d坐标系之间的映射矩阵。通过ccd相机与机械手之间的标定，指导机械臂的运动，同时，通过3d阵面传感器、ccd相机分别与机械手之间的标定，可采用其中一个标定关系指导机械手运动，另一个标定关系验证机械手的运动，实现指导运动与运动后检测的双重功能。

通过3d阵面传感器获取产品的3d数据，产品的3d数据至少包括产品的轮廓边界点的3d数据，包括：

s21、通过3d阵面传感器获取待点胶产品的3d点云数据。

s22、有序进行边界提取，得到轮廓边界点的3d数据。

具体地，s21包括：

s211、采集待点胶产品的点云数据，获得包括噪声的待点胶产品的初始点云数据，对初始点云数据进行体素滤波处理，降低点云总数同时保持点云形状不变，以获得低密度点云数据，对该低密度点云数据中的点进行欧式聚类，使得低密度点云数据被划分为多个点云片，将每个点云片中的点连接形成三角形实现每个点云片的三角面化，以此获得多个三角网格面。

s212、提取每个三角网格面的边界顶点，以获得多个三角网格面的轮廓，进而获得三角网格面的轮廓，设定待点胶产品轮廓的选择标准，在所有三角网格面的轮廓中选取待点胶产品的轮廓，该轮廓中范围内的点即为待点胶产品对应的点云数据。

具体地，s22包括：

s221、将待点胶产品的轮廓上的每个点作为种子点，以每个种子点为中心按照预设的半径进行搜索，以此获得每个种子点的点云块，所有种子点的点云块形成三维边界点云带。

s222、将三维边界点云带中所有的点通过最小二乘法计算得到拟合产品基准平面，然后将该三维边界点云带上所有的点投影至基准平面中，获得平面边界点云带，在该平面边界点云带中的点按照设定的规则进行提取，以此获得平面内的有序边界点及其编号，按照平面内的有序边界点的编号筛选其在三维边界点云带中对应编号的点，以此获得三维点云带中有序的边界点，将该三维点云带中有序的边界点依次连接后获得待点胶产品的边界轮廓，即实现三维点云的待点胶产品的边界有序提取，进而得到轮廓边界点的3d坐标。

产品的3d数据至少包括轮廓边界点的3d坐标，其中，轮廓边界点的3d坐标中xy平面上的数据即为3d数据中xy平面数据。

通过二维相机获取产品的彩色图像信息，并识别产品上的点胶位置的二维坐标及产品边界点的二维坐标，包括：

s23、通过ccd传感器获取待点胶产品的彩色信息，识别出每个待点胶产品上的待点胶位置的2d像素坐标，及产品边界点的二维坐标；二维相机获取的产品边界点的二维坐标即为二维相机获取的产品轮廓边界点的xy平面数据。

本发明依赖ccd传感器获取的高精度彩色信息，采用ai检测算法准确识别出所有待点胶产品上的轮廓边界点和待点胶位置的2d像素坐标。

将3d阵面传感器获取产品的3d数据中xy平面数据与二维相机获取产品的xy平面数据融合，得到融合结果中的点胶位置的xy平面坐标及z平面坐标，包括：

s31、将3d阵面传感器获取产品3d数据中轮廓边界点的xy平面数据进行排序，与二维相机获取产品轮廓边界点的xy平面数据进行对齐融合。

s32、根据二维相机识别的点胶位置，确定融合后的点胶位置的xy平面坐标；在3d阵面传感器获取产品的3d数据中，确定点胶位置的z平面坐标。

数据融合还包括：

s33、统计2d和3d的xy平面坐标分布范围，将坐标的宽度和高度范围按产品排布的行列数计算得到产品行列坐标宽度，从而得出产品的2d、3d坐标和分布棋盘格行列映射关系；

s34、将融合后的2d和3d的xy平面数据统一置换为行列号，并与产品分布棋盘格的行列对齐；

s35、对齐后得到点胶位置在分布棋盘格的行列序号。

数据融合还包括：s36、补全分布棋盘格上的空缺位置。

可以理解为，在步骤s222有序得到轮廓边界点的3d坐标，在步骤s31中，将轮廓边界点的3d坐标中包含的xy平面数据进行排序，将二维相机获取产品轮廓边界点的xy平面数据进行排序，二者排序之后进行对齐融合，得到更为精确的待点胶产品的轮廓边界点。同时，依赖ccd相机获取的高精度彩色信息，识别出每个产品的待点胶位置，得到所有待点胶产品的点胶位置后再统计出产品在分布棋盘格的行列序号，并补全空缺位置，在上述基础上规划点胶路径，较适用于大规模的产品点胶，且无需在点胶时，对产品点云数据与像素坐标进行融合标定。

根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号，包括：

s41、根据点胶位置在分布棋盘格的行列序号规划出xy平面点胶轨迹，根据点胶位置的z平面坐标规划z平面点胶轨迹；

根据融合结果中点胶位置的z平面坐标，生成点胶高度和/或角度信号。

本发明根据每个待点胶产品的点胶位置在分布棋盘格的行列序号，可以规划处大规模产品的点胶轨迹，且从xyz三个平面上均可规划点胶轨迹，精度较高，适用于大规模产品的点胶。

s5包括：

s51、判断分布棋盘格的当前序号的产品是否为异常状态；

s52、若异常，则执行下一格；

s53、若正常，则向执行机构发送本次点胶的起点、终点的全局坐标和出胶信号，完成后即可继续下一格点胶。

由于本发明按行列号补全未放置产品的空置区域，使行列棋盘格排满。因此，在执行点胶任务时，可以先判断分布棋盘格中的当前序号的产品是否为异常，若分布棋盘格中的当前序号为空置区域，可以很容易判断出分布棋盘格中的当前序号的产品为异常。在继续下一格点胶时，无需对下一格上的产品进行重新标定，可直接继续下一格的点胶。

而且，本发明将二维边界点与三维边界点融合，精确得到点胶的起点、终点及每个点胶位置的高度，向执行机构发送本次点胶的起点、终点的全局坐标指导点胶路径，同时向执行机构发送点胶位置的高度信息，指导执行机构进行精确的出胶。

相应地，本发明还提供了一种适用于批量产品的高精度点胶装置，其特征在于，包括：手眼标定模块10、数据采集模块20、数据融合模块30、规划及生成模块40、执行模块50；

数据采集模块20，用于通过3d阵面传感器获取产品的3d数据，产品的3d数据至少包括产品的轮廓边界点的3d数据；以及通过二维相机获取产品的彩色图像信息，并识别产品上的点胶位置的二维坐标及产品边界点的二维坐标；

数据融合模块30，用于将3d阵面传感器获取产品的3d数据中xy平面数据与二维相机获取产品的xy平面数据融合，得到融合结果中的点胶位置的xy平面坐标及z平面坐标；

规划及生成模块40，用于根据融合结果中点胶位置的xyz平面坐标进行点胶轨迹规划以及生成出胶信号。

还包括执行模块50，用于根据点胶轨迹及出胶信号执行点胶。

本发明提供的适用于批量产品的高精度点胶方法，融合二维数据及三维数据，将二维数据、三维数据与分布棋盘格对齐，充分利用二维和三维数据的优势，可精准定位xyz的坐标位置和点胶区域，输出三维精准点胶轨迹和控制信号；通过ccd相机获取点胶产品的彩色信息，提高获取点胶位置的准确性，且在数据处理的过程中，将产品的三维数据中的轮廓边界点与二维数据中的轮廓边界点融合，获取点胶位置的xyz的坐标，进行点胶轨迹规划更精确。

此外，装置实施例中的装置与方法实施例基于同样地发明构思。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质包括存储器和处理器，该存储器中存储有至少一条指令和至少一段程序，该至少一条指令和至少一段程序由该处理器加载并执行以实现上述方法实施例提供的适用于批量产品的高精度点胶方法。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。