3D点云的采集方法及装置、电子装置与流程

本发明涉及机器视觉和工业机器人，具体而言，涉及一种3d点云的采集方法及装置、电子装置。

背景技术：

1、工业生产过程中，工件不可避免会因为生产工艺的限制，而偶发性的产生各种表面缺陷，相关技术中，已经逐渐有了通过机械臂携带二维工业相机采集工件表面图像搭配ai检测提供人工肉眼检测的解决方案，该方案检测效果稳定，且效率更高。但是每个缺陷往往都有其具体尺寸指标，尤其是仅靠二维图像无法获得深度方向的值，所以在许多场景下需要三维相机协助复检，但高精度的三维相机视野小，无法自行到合适的点位进行采集，需要二维相机引导三维相机到合适的点位进行采集，但二维相机缺少三维信息，无法通过二维相机对复杂表面的物体进行机械臂引导，需要用户手动调整机械臂来调整3d相机的采集点位，由于工业产品中大部分零部件都是外观复杂的，针对外观复杂的零部件，手动调整效率低，无法保证准确性，相关技术点云采集质量较差，可靠性低，安全性差。

2、针对相关技术中存在的上述问题，暂未发现高效且准确的解决方案。

技术实现思路

1、本发明提供了一种3d点云的采集方法及装置、电子装置，以解决相关技术中存在的上述技术问题。

2、根据本发明的一个实施例，提供了一种3d点云的采集方法，其特征在于，包括：获取2d相机识别目标工件的缺陷位置的缺陷图像，并获取所述缺陷图像的二维缺陷坐标；获取所述目标工件的标准数字模型点云，根据所述标准数字模型点云将所述二维缺陷坐标转化为三维缺陷坐标；根据所述三维缺陷坐标计算3d相机的点位姿态；控制所述3d相机在所述点位姿态采集所述目标工件在所述缺陷位置的3d点云。

3、可选地，根据所述标准数字模型点云将所述二维缺陷坐标转化为三维缺陷坐标，包括：确定所述2d相机在识别所述缺陷图像时的光心坐标，以及确定所述缺陷图像的缺陷中心坐标；基于所述2d相机的内参标定得到所述2d相机的焦距和主点坐标；根据所述焦距和所述主点坐标计算所述缺陷中心坐标在相平面坐标系的中间三维坐标。根据所述中间三维坐标在所述标准数字模型点云中查找与所述缺陷中心坐标匹配的三维缺陷坐标。

4、可选地，根据所述中间三维坐标在所述标准数字模型点云中查找与所述缺陷中心坐标匹配的三维缺陷坐标包括：根据所述光心坐标和所述中间三维坐标生成直线方程；计算所述2d相机的解析度；根据所述直线方程和所述解析度在所述标准数字模型点云中查找与所述缺陷中心坐标匹配的临时点集；在所述临时点集中选择目标点，并将所述目标点的坐标确定为三维缺陷坐标。

5、可选地，根据所述直线方程和所述解析度在所述标准数字模型点云中查找与所述缺陷中心坐标匹配的临时点集包括：针对所述标准数字模型点云中的每个模型点，计算所述模型点与所述直线方程之间的投影距离；判断所述投影距离是否小于所述解析度；若所述投影距离小于所述解析度，将对应模型点添加至与所述缺陷中心坐标匹配的所述临时点集。

6、可选地，在所述临时点集中选择目标点包括：计算所述临时点集中每个临时点与所述光心坐标之间的第一直线距离，得到所有临时点的第一直线距离集合；在所述第一直线距离集合中选择最小直线距离；将所述最小直线距离对应的指定临时点坐标确定为目标点。

7、可选地，根据所述三维缺陷坐标计算所述3d相机的点位姿态包括：针对所述标准数字模型点云中的每个模型点，计算所述模型点到所述三维缺陷坐标的第二直线距离；判断所述第二直线距离是否小于指定阈值；将所述标准数字模型点云中所述第二直线距离小于所述指定阈值的模型点添加至平面点集；采用所述平面点集拟合生成平面方程，并计算所述平面方程的法向量；确定所述3d相机在统一坐标系中的单位垂直向量，其中，所述单位垂直向量是在z轴为单位长度，x轴和y轴为0的向量；根据所述法向量和所述单位垂直向量计算所述3d相机的姿态角；采用所述三维缺陷坐标和所述姿态角生成所述3d相机的点位姿态。

8、可选地，根据所述法向量和所述单位垂直向量计算所述3d相机的姿态角包括：计算所述法向量与所述单位垂直向量之间的第一夹角；判断所述第一夹角是否为锐角；若所述第一夹角为锐角，将所述法向量转化为姿态角；若所述第一夹角为直角或钝角，将所述法向量取反，将取反后的法向量转化为姿态角。

9、可选地，在控制所述3d相机在所述点位姿态采集所述目标工件在所述缺陷位置的3d点云之后，所述方法还包括：获取所述3d点云的点云中心坐标； 判断所述点云中心坐标与所述三维缺陷坐标是否相同；若所述点云中心坐标与所述三维缺陷坐标相同，采用所述3d点云计算所述目标工件的缺陷位置的深度信息；若所述点云中心坐标与所述三维缺陷坐标不相同，确定所述缺陷图像为误检结果。

10、根据本发明的另一个实施例，提供了一种3d点云的采集装置，包括：获取模块，用于获取2d相机识别目标工件的缺陷位置的缺陷图像，并获取所述缺陷图像的二维缺陷坐标；转化模块，用于获取所述目标工件的标准数字模型点云，根据所述标准数字模型点云将所述二维缺陷坐标转化为三维缺陷坐标；计算模块，用于根据所述三维缺陷坐标计算3d相机的点位姿态；采集模块，用于控制所述3d相机在所述点位姿态采集所述目标工件在所述缺陷位置的3d点云。

11、可选地，所述转化模块包括：确定子模块，用于确定所述2d相机在识别所述缺陷图像时的光心坐标，以及确定所述缺陷图像的缺陷中心坐标；处理子模块，用于基于所述2d相机的内参标定得到所述2d相机的焦距和主点坐标；计算子模块，用于根据所述焦距和所述主点坐标计算所述缺陷中心坐标在相平面坐标系的中间三维坐标；查找子模块，用于根据所述中间三维坐标在所述标准数字模型点云中查找与所述缺陷中心坐标匹配的三维缺陷坐标。

12、可选地，所述查找子模块包括：生成单元，用于根据所述光心坐标和所述中间三维坐标生成直线方程；计算单元，用于计算所述2d相机的解析度；查找单元，用于根据所述直线方程和所述解析度在所述标准数字模型点云中查找与所述缺陷中心坐标匹配的临时点集；选择单元，用于在所述临时点集中选择目标点，并将所述目标点的坐标确定为三维缺陷坐标。

13、可选地，所述查找单元包括：第一计算子单元，用于针对所述标准数字模型点云中的每个模型点，计算所述模型点与所述直线方程之间的投影距离；判断子单元，用于判断所述投影距离是否小于所述解析度；匹配子单元，用于若所述投影距离小于所述解析度，将对应模型点添加至与所述缺陷中心坐标匹配的所述临时点集。

14、可选地，所述选择单元包括，第二计算子单元，用于计算所述临时点集中每个临时点与所述光心坐标之间的第一直线距离，得到所有临时点的第一直线距离集合；选择子单元，用于在所述第一直线距离集合中选择最小直线距离；确定子单元，用于将所述最小直线距离对应的指定临时点坐标确定为目标点。

15、可选地，所述计算模块包括，第一计算子模块，用于针对所述标准数字模型点云中的每个模型点，计算所述模型点到所述三维缺陷坐标的第二直线距离；判断子模块，用于判断所述第二直线距离是否小于指定阈值；添加子模块，用于将所述标准数字模型点云中所述第二直线距离小于所述指定阈值的模型点添加至平面点集；拟合子模块，用于采用所述平面点集拟合生成平面方程，并计算所述平面方程的法向量；确定子模块，用于确定所述3d相机在统一坐标系中的单位垂直向量，其中，所述单位垂直向量是在z轴为单位长度，x轴和y轴为0的向量；第二计算子模块，用于根据所述法向量和所述单位垂直向量计算所述3d相机的姿态角；生成子模块，用于采用所述三维缺陷坐标和所述姿态角生成所述3d相机的点位姿态。

16、可选地，所述第二计算子模块包括：计算单元，用于计算所述法向量与所述单位垂直向量之间的第一夹角；判断单元，用于判断所述第一夹角是否为锐角；第一转化单元，用于若所述第一夹角为锐角，将所述法向量转化为姿态角；第二转化单元，用于若所述第一夹角为直角或钝角，将所述法向量取反，将取反后的法向量转化为姿态角。

17、根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项装置实施例中的步骤。

18、通过本发明实施例，获取2d相机识别目标工件的缺陷位置的缺陷图像，并获取所述缺陷图像的二维缺陷坐标；获取所述目标工件的标准数字模型点云，根据所述标准数字模型点云将所述二维缺陷坐标转化为三维缺陷坐标；根据所述三维缺陷坐标计算3d相机的点位姿态；控制所述3d相机在所述点位姿态采集所述目标工件在所述缺陷位置的3d点云，通过获取标准数字模型点云，将得到的目标工件缺陷位置的缺陷图像的二维缺陷坐标转化为三维缺陷坐标，然后根据所述三维缺陷坐标计算得到3d相机的采集点位姿态，最后控制3d相机在采集点位姿态采集3d点云，采用2d相机采集的缺陷图像引导3d相机的点位姿态，解决了相关技术中根据2d相机不能引导3d相机同步采集的技术问题，3d相机在引导的点位姿态再次进行3d点云采集，并与2d相机采集的缺陷图像进行交叉复检，提高了缺陷检测的准确性、可靠性。