一种基于手持式三维扫描仪的边缘检测方法及系统与流程

本发明涉及图像检测技术领域，尤其涉及一种基于手持式三维扫描仪的边缘检测方法及系统。

背景技术：

手持式三维扫描仪是利用光学成像原理获取被测量物体三维数据信息的一种便携设备，通常包括至少一个结构光投影器、至少两个相机以及用于进行三维数字图像处理的计算单元。手持式三维扫描仪广泛应用于工业产品检测、逆向工程、仿真、定位等领域。在对精密零件进行三维扫描时，往往需要对零件边缘，例如其外轮廓、沟槽、孔、圆角、轴肩、键槽等进行精确的识别和检测，以便对零件误差进行准确分析。

数字图像的边缘检测是图像分割、目标识别、区域形状提取等图像处理领域的重要基础。边缘检测的实质是对图像的灰度值进行分析，寻找图像中灰度值变化的最大方向像素，并将这些像素拟合成曲线，进行处理。

现有的手持式三维扫描设备由于检测方法的限制，在扫描到被测物体边缘时，经常出现识别不够准确、响应时间长、容易出现边缘误匹配的问题。

技术实现要素：

基于此，本发明提供了一种基于手持式三维扫描仪的边缘检测方法及系统，能够对被扫描物体的边缘进行精密检测，以解决现有技术中边缘检测识别不准确、响应时间长、容易出现边缘误匹配的问题。

本发明提供的基于手持式三维扫描仪的边缘检测方法，包括以下步骤：

控制扫描仪的至少两个相机同步拍摄，获取被扫描物体在不同视角的2d图像；

基于获取的所述2d图像，识别所述被扫描物体的边缘曲线；

利用极线约束方法对所述被扫描物体的边缘曲线进行三维重建，获得所述被扫描物体的边缘在扫描仪坐标系下的三维坐标，并将其作为所述被扫描物体的边缘的备选三维点集合；

校验三维重建的数据，从所述备选三维点集合中筛选出正确匹配所述被扫描物体的边缘的真实三维点集合；

获取当前扫描仪的全局位置坐标，并根据获取的当前扫描仪的全局位置坐标进行坐标转换，得到所述被扫描物体的边缘曲线上的真实三维点的全局坐标。

作为一种可实施方式，所述基于获取的所述2d图像，识别所述被扫描物体的边缘曲线，包括以下步骤：

将获取的所述2d图像转换成特征图像，并进行图像分割，利用边缘提取算法对分割后的特征图像进行处理，经过滤波后拟合成所述被扫描物体的边缘曲线。

作为一种可实施方式，所述利用极限约束方法对所述被扫描物体的边缘曲线进行三维重建，获得所述被扫描物体的边缘在扫描仪坐标系下的三维坐标，包括以下步骤：

从所述被扫描物体的边缘曲线的集合中分别提取至少两张同步拍摄的2d图像的二维边缘线条的二维点数据；

基于提取的2d图像对应的各个相机的空间位置关系以及所提取的二维点数据，利用三角法原理和极线约束方法计算出所述被扫描物体的边缘在扫描仪坐标系下的三维坐标。

作为一种可实施方式，所述校验三维重建的数据，从所述备选三维点集合中筛选出正确匹配所述被扫描物体的边缘的真实三维点集合，包括以下步骤：

判断所述备选三维点集合是否在被扫描物体的整体三维点云上；如果是，则判断其为所述被扫描物体的边缘的真实三维点集合。

作为一种可实施方式，在利用极线约束方法对所述被扫描物体的边缘曲线进行三维重建后，还包括以下步骤：

对获得的图像边缘特征进行点云加密处理，得到所述被扫描物体的参数化特征或加密点云。作为一种可实施方式，所述校验三维重建的数据，从所述备选三维点集合中筛选出正确匹配所述被扫描物体的边缘的真实三维点集合，包括以下步骤：

将所述备选三维点集合与所述扫描仪的至少另一个相机所拍摄的所述被扫描物体的图像进行校验；

所述备选三维点集合包括若干子集合，该相机和所述子集合二者的之间的光心连线与该相机所拍摄的图像存在交点集合，所述交点集合到该相机所拍摄的图像上的二维线条在设定阈值范围内的距离最小值者所对应的子集合即为真实三维点集合。

作为一种可实施方式，所述获取当前扫描仪的全局位置坐标，包括以下步骤：

扫描粘贴在所述被测物体上的标记点，根据获取的标记点与预先设置或积累的标记点库进行匹配，获得当前扫描仪的全局位置坐标。

作为一种可实施方式，所述获取当前扫描仪的全局位置坐标，包括以下步骤：

利用跟踪器获得当前扫描仪的全局位置坐标。

相应地，本发明还提供一种基于手持式三维扫描仪的边缘检测系统，包括2d图像获取模块、边缘曲线识别模块、三维重建模块、校验模块，以及3d全局坐标检测模块；

所述2d图像获取模块，用于控制扫描仪的至少两个相机同步拍摄，获取被扫描物体在不同视角的2d图像；

所述边缘曲线识别模块，用于基于获取的所述2d图像，识别所述被扫描物体的边缘曲线；

所述三维重建模块，用于利用极线约束方法对所述被扫描物体的边缘曲线进行三维重建，获得所述被扫描物体的边缘在扫描仪坐标系下的三维坐标，并将其作为所述被扫描物体的边缘的备选三维点集合；

所述校验模块，用于校验三维重建的数据，从所述备选三维点集合中筛选出正确匹配所述被扫描物体的边缘的真实三维点集合；

所述3d全局坐标检测模块，用于获取当前扫描仪的全局位置坐标，并根据获取的当前扫描仪的全局位置坐标进行坐标转换，得到所述被扫描物体的边缘曲线上的真实三维点的全局坐标。

本发明还提供一种基于手持式三维扫描仪的边缘检测系统，包括处理器和存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行如权利要求1～7任一项所述的基于手持式三维扫描仪的边缘检测方法。

作为一种可实施方式，上述基于手持式三维扫描仪的边缘检测系统，还包括扫描仪；

所述处理器与所述扫描仪电连接；

所述扫描仪至少包括两个相机；所述扫描仪自带光源，能够同时照亮标记点和所述被扫描物体的边缘。

作为一种可实施方式，所述基于手持式三维扫描仪的边缘检测系统还包括扫描仪和跟踪器；

所述处理器分别与所述扫描仪和跟踪器电连接；

所述扫描仪至少包括两个相机；所述扫描仪自带光源，能够照亮所述被扫描物体的边缘；

所述跟踪器，包括至少一个跟踪相机，用于对所述扫描仪捕捉定位。

与现有技术相比，本技术方案具有以下优点：

利用本发明提供的基于手持式三维扫描仪的边缘检测方法及系统，可以对工件的外轮廓及沟槽、键槽、孔洞等边缘进行精确的识别和测量，从而得到准确的三维数据。其检测精度高，识别准确，响应迅速，能够有效避免误匹配的问题。

附图说明

图1为本发明实施例一提供的基于手持式三维扫描仪的边缘检测方法的流程示意图；

图2为本发明实施例二提供的基于手持式三维扫描仪的边缘检测方法的流程示意图；

图3为本发明实施例三提供的基于手持式三维扫描仪的边缘检测方法的流程示意图；

图4为本发明实施例提供的基于手持式三维扫描仪的边缘检测方法的两种效验原理对比示意图；

图5为本发明实施例二提供的基于手持式三维扫描仪的边缘检测系统的结构示意图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

参见图1，本发明实施例一提供了一种基于手持式三维扫描仪的边缘检测方法，包括以下步骤：

s100、控制扫描仪的至少两个相机同步拍摄，获取被扫描物体在不同视角的2d图像。

例如，本申请中使用的扫描仪包括至少两个相机，可以是2个相机、3个相机、4个相机或者更多。具体到该步骤中，如果控制2个相机同步拍摄，则获取2张被扫描物体在不同视角的2d图像。也可以控制3个相机同步拍摄，获取3张被扫描物体在不同视角的2d图像。多个相机拍摄以此类推。

s200、基于获取的2d图像，识别被扫描物体的边缘曲线；

具体地，在光源照明条件下，通过将获取的2张或者多张2d图像转换成特征图像，并进行图像分割，利用边缘提取算法对分割后的特征图像进行处理，经滤波后拟合成被扫描物体的边缘曲线。

补充说明如下，在工程应用中，由于ccd摄像机光敏元件的不连续性，常常需要将边缘位置的估计精度提高到亚像素级。为了达到亚像素精度，需要将图像的离散表示转换成一个连续函数，亚像素阈分割算法通过双线性插值来完成这种转换，继而提取穿过设定灰度值的边缘。在进行上述边缘检测时，canny算子是一种常用的数学模型。它使用高斯滤波器对图像进行高斯滤波，并计算滤波图像的梯度值向量，分析其大小和方向，计算其梯度向量进行非极大值抑制，对其进行数据处理得到相应的局部细化边缘，最后使用双阈值算法进行分析。在像素点灰度值大于高阈值时，认定为边缘信息；小于低阈值时，认定为边缘信息；处于两个阈值中间时，当这些像素点在按某一曲线与前面所检测到的边缘信息连续时，也认定为边缘信息。

s300、利用极线约束方法对被扫描物体的边缘曲线进行三维重建，获得被扫描物体的边缘在扫描仪坐标系下的三维坐标，并将其作为被扫描物体的边缘的备选三维点集合。

被扫描物体的边缘曲线的集合中包括了2d图像的二维边缘线条集合，从所述被扫描物体的边缘曲线的集合中分别提取至少两张同步拍摄的2d图像的二维边缘线条的二维点数据；基于提取的2d图像对应的各个相机的空间位置关系以及所提取的二维点数据，利用三角法原理和极线约束方法计算出所述被扫描物体的边缘在扫描仪坐标系下的三维坐标。

进一步地，在利用极线约束方法对被扫描物体的边缘曲线进行三维重建后，还可以对获得的图像边缘特征进行点云加密处理，得到被扫描物体的参数化特征或加密点云，以增加边缘检测的精度和分辨率。

s400、校验三维重建的数据，从备选三维点集合中筛选出正确匹配被扫描物体的边缘的真实三维点集合。

效验三维数据可以采用以下两种方式实现：

第一种效验方式：判断备选三维点集合是否在被扫描物体的整体三维点云上；如果是，则判断其为被扫描物体的边缘的真实三维点集合。

第二种效验方式：将备选三维点集合与扫描仪的至少另一个相机所拍摄的被扫描物体的图像进行校验；备选三维点集合包括若干子集合，该相机和子集合二者的之间的光心连线与该相机所拍摄的图像存在交点集合，所述交点集合到该相机所拍摄的图像上的二维线条在设定阈值范围内的距离最小值者所对应的子集合即为真实三维点集合。

第二种效验方式实现过程中，要求所使用的扫描仪至少包括三个相机。

对于特定边缘，如孔径可以根据椭圆度、直径等校验，计算速度高于普通边缘。

s500、获取当前扫描仪的全局位置坐标，并根据获取的当前扫描仪的全局位置坐标进行坐标转换，得到被扫描物体的边缘曲线上的真实三维点的全局坐标。

具体地，可以通过扫描粘贴在被测物体上的标记点，根据获取的标记点与预先设置或积累的标记点库进行匹配，获得当前扫描仪的全局位置坐标；也可以利用跟踪器获得当前扫描仪的全局位置坐标。

利用标记点获得当前扫描仪的全局位置坐标的实现方式，需要提前在被测物体上粘贴或者设置标记点，而且该实施方式所使用的扫描仪可以自带光源，确保能够同时照亮标记点和被测工件边缘。

利用跟踪器获得当前的扫描仪的全局位置坐标的实现方式中，所使用的跟踪器可以包括至少一个跟踪相机，同时扫描仪包括定位特征，用于被跟踪相机捕捉定位。跟踪器也可以是激光跟踪仪，或关节臂及机械手，或者本领域通用的其他跟踪或导航装置。

下面以两个相机同步拍摄为例，对本发明的具体实现过程进行进一步说明。

实施例二

本实施例基于利用标记点进行定位的手持式三维扫描仪，该手持式三维扫描仪包括至少一个结构光投影器，至少两个相机，和进行三维数字图像处理的计算器。该扫描仪自带能够同时照亮标记点和被测工件边缘的一种或多种光源，该标记点可以是漫反射标记点、逆反射标记点或自发光标记点。

参见图2，本实施例的扫描步骤为：

s11、控制扫描仪的两个相机同步拍摄，获得两张被扫描物体在不同视角的2d图像。

s12、根据所述两张2d图像，分别识别获取被扫描物体的边缘曲线，并提取标记点；

具体地，在光源照明下，将2d图像转换成特征图像，并进行图像分割，然后通过边缘提取算法对其进行处理，最后经过滤波后拟合成边缘曲线。

s13、利用极线约束方法对所述两幅2d图像的边缘曲线进行三维重建，获得被扫描物体的边缘和标记点在扫描仪坐标系下的三维坐标，即备选三维点集。

从两幅同步2d图像的二维边缘线条集合中分别提取二维点数据，利用已知的所述两幅同步2d图像对应的两个相机的空间位置关系，根据三角法原理和极线约束原理计算出所述备选三维点集合。

进一步地，在三维重建后，可以根据获得的边缘特征进行点云加密处理，然后选择将参数化特征或加密点云作为输出，以增加边缘检测的精度和分辨率。s14、校验三维重建的数据，从所述备选三维点集合中筛选出正确匹配被扫描物体的边缘的真实三维点集合。

其中，校验三维重建的数据的方法可以是：获得的边缘数据与扫描仪扫描的被扫描物体的整体三维点云的校验，即判断所述备选三维点集合是否在整体三维点云上，如果是，则判断其为真是三维点集合；也可以用第三相机来进行校验，即将所述备选三维点集合与另外至少一个相机的图像进行校验，所述备选三维点集合包括若干子集合，所述子集合与所述另外至少一个相机的光心连线与所述另外一个至少一个相机所拍摄的图像存在交点集合所述交点集合到该相机所拍摄的图像上的二维线条在设定阈值范围内的距离最小值者所对应的子集合即为真实三维点集合。

s15、利用标记点获得当前扫描仪的全局位置坐标，对当前扫描仪的全局位置坐标进行坐标转换，得到工件边缘曲线上的真实三维点的全局坐标；

其中，进行坐标转换的方法通过标记点进行，具体为：在被扫描物体上粘贴标记点，标记点被手持式三维扫描仪全程同步扫描，根据获取的标记点与之前经过标定的标记点库进行匹配，获得当前的扫描仪的全局位置坐标。

在部分实施例中，为了增强扫描效果，可以对被扫描物体表面进行喷白处理。

实施例三

本实施例基于利用跟踪器进行定位的手持式三维扫描仪，该手持式三维扫描仪包括至少一个结构光投影器，至少两个相机，能够被跟踪器捕捉到的定位特征若干，和进行三维数字图像处理的计算机。跟踪器包含至少一个跟踪相机，能够实时捕捉和记录手持式三维扫描仪的姿态和位置。

参见图3，本实施例的扫描步骤为：

s21、控制扫描仪的两个相机同步拍摄，获得同一被扫描物体在不同视角的两张2d图像。

s22、根据所述两张2d图像，分别识别获取被扫描工件的边缘曲线；

在光源照明下，将2d图像转换成特征图像，并进行图像分割，然后通过边缘提取算法对其进行处理，最后经过滤波后拟合成边缘曲线；其他细节可参考实施例一。

s23、利用极线约束方法对所述两幅2d图像的边缘曲线进行三维重建，获得被扫描物体的边缘和标记点在扫描仪坐标系下的三维坐标，即备选三维点集。

具体包括：从两幅同步2d图像的二维边缘线条集合中分别提取二维点数据，利用已知的所述两幅同步2d图像对应的两个相机的空间位置关系，根据三角法原理和极线约束原理计算出所述备选三维点集合。

s24、校验三维重建的数据，从所述备选三维点集合中筛选出正确匹配被扫描工件的边缘的真实三维点集合；

其中，校验三维重建的数据的方法可以是：获得的边缘数据与扫描仪扫描的被扫描物体的整体三维点云的校验，即判断所述备选三维点集合是否在整体三维点云上，如果是，则判断其为真是三维点集合；也可以用第三相机来进行校验，即将所述备选三维点集合与另外至少一个相机的图像进行校验，所述备选三维点集合包括若干子集合，所述子集合与所述另外至少一个相机的光心连线与所述另外一个至少一个相机所拍摄的图像存在交点集合，所述交点集合到该相机所拍摄的图像上的二维线条在设定阈值范围内的距离最小值者所对应的子集合即为真实三维点集合。

s25、利用跟踪器获得当前扫描仪的全局位置坐标，对当前扫描仪的全局位置坐标进行坐标转换，得到工件边缘曲线上的真实三维点的全局坐标。

参见图4，为上述实施例提供的基于手持式三维扫描仪的边缘检测方法的两种效验原理对比示意图。由同步触发单元控制投影器投影，控制相机1和相机2同步拍摄2d图像，然后依次经2d图像处理器、2d特征提取器、3d特征计算器处理后到达边缘电极效验器进行效验，最后经过3d特征重构器得到工件边缘曲线上的真实三维点的全局坐标。

其中，在校验过程中，一种是利用3d点云计算器得到被扫描物体的整体三维点云，然后利用整体三维点云进行效验。另一种是将将备选三维点集合与相机3拍摄并经2d图像处理器处理后的图像进行校验。如图中虚线所示。

基于同一发明构思，本发明实施例四还提供了一种基于手持式三维扫描仪的边缘检测系统，该系统与前述基于手持式三维扫描仪的边缘检测方法的发明原理相同，具体实现方式可参照前述方法实现，重复之处，不再冗述。

参见图5，本实施例提供的基于手持式三维扫描仪的边缘检测系统包括2d图像获取模块100、边缘曲线识别模块200、三维重建模块300、校验模块400，以及3d全局坐标检测模块500。

其中，2d图像获取模块100用于控制扫描仪的至少两个相机同步拍摄，获取被扫描物体在不同视角的至少两张2d图像；

边缘曲线识别模块200用于基于获取的2d图像，识别被扫描物体的边缘曲线；

三维重建模块300用于利用极线约束方法对被扫描物体的边缘曲线进行三维重建，获得被扫描物体的边缘在扫描仪坐标系下的三维坐标，并将其作为被扫描物体的边缘的备选三维点集合；

校验模块400用于校验三维重建的数据，从备选三维点集合中筛选出正确匹配被扫描物体的边缘的真实三维点集合；

3d全局坐标检测模块500用于获取当前扫描仪的全局位置坐标，并根据获取的当前扫描仪的全局位置坐标进行坐标转换，得到被扫描物体的边缘曲线上的真实三维点的全局坐标。

相应地，本发明实施例五还提供了一种基于手持式三维扫描仪的边缘检测系统，包括处理器和存储器；存储器用于存储程序代码，并将程序代码传输给处理器；处理器用于根据程序代码中的指令执行实施例一、实施例二、实施例三提供的基于手持式三维扫描仪的边缘检测方法。

进一步地，该基于手持式三维扫描仪的边缘检测系统，在处理器和存储器的基础上，还包括扫描仪；处理器与扫描仪电连接；扫描仪至少包括两个相机；扫描仪自带光源，能够同时照亮标记点和被扫描物体的边缘。检测时，只需要提前在被测物体上粘贴或者设置标记点，通过扫描仪自带的光源，照亮标记点，利用标记点获得当前扫描仪的全局位置坐标。

作为另一种实施方式，该基于手持式三维扫描仪的边缘检测系统，在处理器和存储器的基础上，还包括扫描仪和跟踪器；处理器分别与扫描仪和跟踪器电连接；扫描仪至少包括两个相机；扫描仪自带光源，能够照亮被扫描物体的边缘；跟踪器包括至少一个跟踪相机，用于对扫描仪捕捉定位。检测时，利用跟踪器获得当前的扫描仪的全局位置坐标。

利用本发明实施例提供的基于手持式三维扫描仪的边缘检测方法及系统，可以对工件的外轮廓及沟槽、键槽、孔洞等边缘进行精确的识别和测量，得到准确的三维数据，其检测精度高，识别准确，响应迅速，能够有效避免误匹配的问题。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。