相机视野范围的生成方法及装置、存储介质、电子设备与流程

本发明涉及相机检测，更具体地，涉及一种相机视野范围的生成方法及装置、存储介质、电子设备。

背景技术：

1、相关技术中，随着科技的发展，市面上涌现出了许多基于不同原理的3d相机，比如结构光、线激光、双目视觉和时间飞行法（tof）等。这些三维相机可以获得其视野内的三维信息，从而实现对物体的类型识别、姿态估计、尺寸测量等实用功能。工业生产过程中，工件不可避免会因为生产工艺的限制，而偶发性的产生各种表面缺陷，现在已经逐渐有了通过2d工业相机采集工件表面图像搭配ai检测提供人工肉眼检测的解决方案，该方案检测效果稳定，且效率更高。

2、相关技术中，对于每个型号的工件，尤其是外观复杂的工件，都需要对2d相机的采集轨迹进行示教，从而使得依照该轨迹，2d相机可以完整的采集工件的表面图像n幅。目前主流方式为机械臂携带一个2d相机对工件表面进行采集。在示教过程一般通过人工调整机械臂的点位，同时观察在当前点位采集的2d图像是否合适来逐个录入机械臂的点位。但该方法缺少一个用于判断目前示教出来的采集轨迹是否已经完整覆盖了整个工件的方法。人工只能根据经验判断是否把容易产生重大的缺陷已经录入采集轨迹之中，但难以判断是否可以对工件表面完整采集，或是否已经覆盖了必须要覆盖的位置，为了保证2d相机能在所有的点位采集能完全覆盖工件的全局视野，只能设置多个视野范围重复甚至相同的点位，导致2d相机在根据点位序列扫描工件时，点位多，效率低，扫描得到的重复图像多，图像数据处理量大。

3、针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现思路

1、为了解决现有技术的不足，本发明提供了一种相机视野范围的生成方法及装置、存储介质、电子设备。

2、根据本技术实施例的一个方面，提供了一种相机视野范围的生成方法，包括：控制3d相机采集目标工件的工件点云；采用所述工件点云创建所述目标工件的参考点集；控制2d相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；在所述参考点集中查找与所述工件像素点匹配的观测点集；采用所述观测点集围成的点云区域生成所述2d相机在所述示教点位的有效视野范围。

3、进一步地，采用所述工件点云创建所述目标工件的参考点集包括：获取所述目标工件的标准数字模型；将所述工件点云与所述标准数字模型进行点云配准，得到所述标准数字模型至所述工件点云的变换矩阵；采用所述变换矩阵将所述标准数字模型的模型点云转换为与所述工件点云的姿态对应的参考点云；采用所述参考点云中的所有点创建所述目标工件的参考点集。

4、进一步地，在所述参考点集中查找与所述工件像素点匹配的观测点集包括：在统一坐标系中确定所述2d相机在所述示教点位的光心位置，计算所述2d相机的解析度；针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

5、进一步地，根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集包括：针对所述参考点集中的每个参考点，计算所述参考点与所述直线方程之间的投影距离；判断所述投影距离是否小于所述解析度；若所述投影距离小于所述解析度，将对应参考点添加至所述临时点集。

6、进一步地，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集包括：确定所有临时点的直线距离集合，在所述直线距离集合中选择最小直线距离；将所述最小直线距离对应的指定临时点添加至所述观测点集；针对所述参考点集中的每个参考点，计算所述参考点与所述指定临时点之间的第二直线距离；判断所述第二直线距离是否小于所述解析度*1/2；若所述第二直线距离小于所述解析度*1/2，将对应参考点添加至所述观测点集。

7、进一步地，控制2d相机在示教点位采集所述目标工件的局部图像包括：在统一坐标系中确定所述2d相机在所述示教点位的光心位置；从所述光心位置发射四条最大视野射线，其中，所述四条最大视野射线中相邻两条最大视野射线的夹角相同；根据所述四条最大视野射线计算所述2d相机在所述示教点位的视野区域，采集所述目标工件在所述视野区域内的局部图像，并将所述局部图像中的像素点从相平面的坐标系转换为所述统一坐标系。

8、进一步地，采用所述观测点集围成的点云区域生成所述2d相机在所述示教点位的有效视野范围包括：将所述观测点集中的每个点的标志位配置为第二标识符，将所述参考点集中除所述观测点集之外的其他点的标志位配置为第一标识符，其中，所述第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；将所述第一标识符对应的点云显示为第一颜色，所述第二标识符对应的点云显示为第二颜色；将所述第二颜色所覆盖的范围确定为所述2d相机在所述示教点位的有效视野范围。

9、根据本技术实施例的另一方面，还提供了一种相机视野范围的生成装置，包括：第一控制模块，用于控制3d相机采集目标工件的工件点云；创建模块，用于采用所述工件点云创建所述目标工件的参考点集；第二控制模块，用于控制2d相机在示教点位采集所述目标工件的局部图像，其中，所述局部图像包括若干个工件像素点；查找模块，用于在所述参考点集中查找与所述工件像素点匹配的观测点集；生成模块，用于采用所述观测点集围成的点云区域生成所述2d相机在所述示教点位的有效视野范围。

10、进一步地，所述创建模块包括：获取单元，用于获取所述目标工件的标准数字模型；配准单元，用于将所述工件点云与所述标准数字模型进行点云配准，得到所述标准数字模型至所述工件点云的变换矩阵；转换单元，用于采用所述变换矩阵将所述标准数字模型的模型点云转换为与所述工件点云的姿态对应的参考点云；创建单元，用于采用所述参考点云中的所有点创建所述目标工件的参考点集。

11、进一步地，所述查找模块包括：处理单元，用于在统一坐标系中确定所述2d相机在所述示教点位的光心位置，计算所述2d相机的解析度；生成单元，用于针对所述局部图像中的每个工件像素点，生成所述工件像素点和所述光心位置之间的直线方程；查找单元，用于根据所述直线方程和所述解析度在所述参考点集中查找与所述工件像素点匹配的临时点集；创建单元，用于计算所述临时点集中每个临时点与所述光心位置之间的第一直线距离，根据所述第一直线距离和所述解析度和所述临时点集创建观测点集。

12、进一步地，所述查找单元包括：计算子单元，用于针对所述参考点集中的每个参考点，计算所述参考点与所述直线方程之间的投影距离；判断子单元，用于判断所述投影距离是否小于所述解析度；添加子单元，用于若所述投影距离小于所述解析度，将对应参考点添加至所述临时点集。

13、进一步地，所述创建单元包括：选择子单元，用于确定所有临时点的直线距离集合，在所述直线距离集合中选择最小直线距离；添加子单元，用于将所述最小直线距离对应的指定临时点添加至所述观测点集；计算子单元，用于针对所述参考点集中的每个参考点，计算所述参考点与所述指定临时点之间的第二直线距离；判断子单元，用于判断所述第二直线距离是否小于所述解析度*1/2；添加子单元，用于若所述第二直线距离小于所述解析度*1/2，将对应参考点添加至所述观测点集。

14、进一步地，所述第二控制模块包括：确定单元，用于在统一坐标系中确定所述2d相机在所述示教点位的光心位置；发射单元，用于从所述光心位置发射四条最大视野射线，其中，所述四条最大视野射线中相邻两条最大视野射线的夹角相同；采集单元，用于根据所述四条最大视野射线计算所述2d相机在所述示教点位的视野区域，采集所述目标工件在所述视野区域内的局部图像，并将所述局部图像中的像素点从相平面的坐标系转换为所述统一坐标系。

15、进一步地，所述生成模块包括：配置单元，用于将所述观测点集中的每个点的标志位配置为第二标识符，将所述参考点集中除所述观测点集之外的其他点的标志位配置为第一标识符，其中，所述第一标识符用于表征对应点未被采集，第二标识符用于表征对应点已经被采集；显示单元，用于将所述第一标识符对应的点云显示为第一颜色，所述第二标识符对应的点云显示为第二颜色；确定单元，用于将所述第二颜色所覆盖的范围确定为所述2d相机在所述示教点位的有效视野范围。

16、根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序运行时执行上述的方法步骤。

17、根据本技术实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述的方法步骤。

18、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

19、通过本发明，控制3d相机采集目标工件的工件点云；采用工件点云创建目标工件的参考点集，控制2d相机在示教点位采集目标工件的局部图像，其中，局部图像包括若干个工件像素点，在参考点集中查找与工件像素点匹配的观测点集，采用观测点集围成的点云区域生成2d相机在示教点位的有效视野范围，通过利用3d相机创建目标工件的参考点集，然后利用2d相机采集的局部图像的像素点在参考点集中查找匹配的观测点集，最后将观测点集围成的点云区域确定为2d相机在当前示教点位的有效视野范围，解决了相关技术不能生成2d相机在示教点位的有效视野范围的技术问题，提高了示教的效率与准确性，可辅助人工实现高效率的表面采集轨迹示教，避免配置重复或者相近点位的冗余情况，更避免了重要筛查部位缺少对应的采集点位的情况，从而避免了工件因为缺少必要的检测而造成生产损失。