一种基于双激光相机的3D字符视觉检测缺陷装置及方法与流程

一种基于双激光相机的3d字符视觉检测缺陷装置及方法
技术领域
1.本发明涉及视觉检测技术领域，特别是涉及一种基于双激光相机的3d字符视觉检测缺陷装置及方法。


背景技术：

2.视觉检测就是用机器代替人眼来做测量和判断，具体是指通过机器视觉产品(即图像摄取装置，如cmos和ccd)将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作，是用于生产、装配或包装的有价值的机制。
3.机械加工工件表面通常都有通过冲头或激光加工出的数字及英文字母。这些数字或英文字母用于标识工件的生产日期、生产批次、零件名称、零件号以及操作员等信息，是生产组织及管理、产品质量监控和产品物流跟踪及售后追溯的重要媒介。
4.通过冲头或激光在工件表面加工出的字符，与工件表面上的喷涂、印刷字符或粘贴纸质标签相比，是刻印在工件表面上的。这种刻印在工件表面的字符具有一定的深度信息，是空间立体字符，具有耐污损及耐划伤的特点，能够适应高温、清洗及高速旋转等各种恶劣的工业环境及产品工作状况，具有表面喷涂、印刷字符或粘贴纸质标签不可比拟的环境稳定性优势，目前已被广泛的应用到各种工业产品之上。
5.目前，对于工件表面的字符缺陷检测，仍普遍采用如下传统方法：依靠平面相机感应工件表面不同的反光量而形成的灰度图像，对灰度图像进行图像识别处理，从而检测工件上的字符是否有错误、歪斜以及字符残缺等不良情况。
6.然而，这种传统方法用于工件表面的字符缺陷检测存在如下缺点：
7.1、受光光谱范围广，易受环境光影响；
8.2、工件表面污渍和笔迹会影响成像，抗干扰能力较差；
9.3、将3d字符转换为2d图像，会丢失深度或厚度信息，无法检测字符深度或厚度，以及深度或厚度上的缺陷。


技术实现要素：

10.为克服上述现有技术存在的不足，本发明之一目的在于提供一种基于双激光相机的3d字符视觉检测缺陷装置及方法，通过采用双激光相机扫描合成一张信息更全面的点云图，从而提高检测速度和精度，同时采用特定波长的激光，感光元件只接收特定波长的光线，对其他波长的光线进行过滤，可有效降低环境光对图像的影响，提高抗干扰能力。
11.本发明之另一目的在于提供一种基于双激光相机的3d字符视觉检测缺陷方法及装置，可排除工件表面污渍和笔迹的干扰，提高识别的准确率。
12.本发明之再一目的在于提供一种基于双激光相机的3d字符视觉检测缺陷方法及装置，除了检测3d字符的内容、位置外，还可以字符的残缺、深度或厚度信息，检测更全面。
13.为达上述目的，本发明提出一种基于双激光相机的3d字符视觉检测缺陷装置，包括：
14.第一激光相机与第二激光相机，其与激光均成θ角，第一激光相机与第二激光相机正反对装，分别采集激光照射到的待检测工件表面的激光轮廓图片，获得第一点云图与第二点云图；
15.图片拼接单元，用于将所述第一点云图与第二点云图进行拼接，合成一张精度更高、信息更完整的点云图；
16.字符缺陷检测单元，用于对拼接后的点云图利用ocr技术识别出字符内容，并使用形状匹配对字符内容进一步确认及得出字符的位置，检验字符位置是否在允许的公差范围内，并在得到字符的内容和位置后，对实际字符与标准字符进行差分比对，从而检测实际字符是否存在残缺。
17.优选地，将第一点云图与第二点云图中的一张作为主图像，另一张作为副图像，图像拼接前事先标定两个激光相机的相对位置关系，计算出转换矩阵，使用所述转换矩阵将副图像的数据转换成可以和主图像对应的数据，再将转换后副图像的数据插补进主图像中，合成一张精度更高、信息更完整的点云图。
18.优选地，字符缺陷检测单元进一步包括：
19.3d字符截取模块，用于将3d字符从拼接后的点云图中截取出来，并进行矫正；
20.字符区域提取模块，用于对矫正后的3d字符通过阈值分割提取出字符区域，并得到字符区域中的灰度值；
21.字符识别模块，用于利用ocr技术对字符区域进行识别，识别出字符内容；
22.模板匹配模块，用于将字符识别模块识别出的字符内容与字符模板进行模板匹配，输出匹配结果；
23.字符位置检测模块，用于将模板匹配模块的匹配结果中的字符位置和角度进行坐标变换，以检验字符位置是否在允许的公差范围之内；
24.缺陷检测模块，用于在模板匹配模块进行匹配后，将字符区域转换为标准位置，与标准字符区域进行相减得到差异区域，根据差异区域来判断字符是否存在残缺。
25.优选地，所述字符缺陷检测单元还包括：
26.深厚度检测模块，用于根据字符识别模块获得的字符区域中的灰度值，计算字符的深度或厚度是否达标。
27.优选地，于所述模板匹配模块中，调用对应字符模板进行模板匹配，匹配结果输出分数，从而利用分数高低对字符内容进一步确认，同时，所述匹配结果还输出当前字符在图像中的位置和角度。
28.优选地，所述字符位置检测模块将匹配结果中的字符位置和角度进行坐标变换得到世界坐标，将得到的世界坐标与标准位置坐标值进行比对计算，判断x方向、y方向以及旋转角度的偏差是否在设定公差值内，若在公差之内则判定为位置偏差正常，若在公差之外为异常，进行报警提示。
29.优选地，所述缺陷检测模块通过检测所述差异区域的面积，长度，宽度等来判断字符是否存在残缺。
30.优选地，所述缺陷检测模块在通过所述模板匹配模块确认了字符内容与字符位置
后，计算从原点(0,0,0)到现在字符位置(x,y,r)的变换矩阵，并使用该矩阵将处于原点的模板字符区域(px,py)变换为比对字符区域(qx,qy)，将比对字符区域与现在字符区域进行相减得到差异区域，检测差异区域的面积，长度，宽度等来判断字符是否存在残缺。
31.优选地，所述深厚度检测模块根据所述字符识别模块获得的字符区域中的灰度值，乘以比例系数得到字符的实际深度或厚度，并判断是否达标。
32.为达到上述目的，本发明还提供一种基于双激光相机的3d字符视觉检测缺陷方法，包括如下步骤：
33.步骤s1，利用第一激光相机与第二激光相机分别采集激光照射到的待检测工件表面的激光轮廓图片，获得第一点云图与第二点云图，所述第一激光相机与第二激光相机采用正反对装方式；
34.步骤s2，将第一点云图与第二点云图进行拼接，合成一张精度更高、信息更完整的点云图；
35.步骤s3，对拼接后的点云图利用ocr技术识别出字符内容，并使用形状匹配对字符内容进一步确认及得出字符的位置，检验字符位置是否在允许的公差范围内，并在得到字符的内容和位置后，对实际字符与标准字符进行差分比对，从而检测实际字符是否存在残缺。
36.与现有技术相比，本发明具有如下有益效果：
37.1、有效降低了环境光对图像的影响，提高了抗干扰能力
38.2、排除了工件表面污渍和笔迹的干扰，提高了识别的准确率。
39.3、除了检测3d字符的内容、位置外，还可以字符的残缺、深度或厚度，检测更全面
40.4、采用双激光扫描，一次扫描就能合成一张信息更全面的点云图，提高了检测速度和精度。
附图说明
41.图1为本发明一种基于双激光相机的3d字符视觉检测缺陷装置的系统结构图；
42.图2为本发明具体实施例中第一激光相机、第二激光相机与激光器的安装示意图；
43.图3为本发明具体实施例中两个相机正反对装的视角示意图；
44.图4为本发明一种基于双激光相机的3d字符视觉检测缺陷方法的步骤流程图。
具体实施方式
45.以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
46.图1为本发明一种基于双激光相机的3d字符视觉检测缺陷装置的系统结构图。如图1所示，本发明一种基于双激光相机的3d字符视觉检测缺陷装置，包括：
47.第一激光相机101，其相机与激光成θ角，其相机与激光器采用正向安装的方式，采集激光照射到的待检测工件表面的激光轮廓图片，获得第一点云图，如图2所示。
48.第二激光相机102，其相机与激光成θ角，其相机与激光器采用反向安装的方式，采
集激光照射到的待检测工件表面的激光轮廓图片，获得第二点云图。
49.在本发明中，第一激光相机101与第二激光相机102中的激光垂直向下，相机与激光成一定夹角(即相机视线方向与激光照射方向成一定夹角)去拍摄激光轮廓，即激光线垂直向下照射，相机从侧边拍摄激光返回的位置，从而得到激光照射位置的一条轮廓，再通过移动激光相机或者工件进行扫描，得到工件表面高度的点云图，假设该夹角为θ(0
°
《θ《90
°
)，正装时能扫描到的视角为0
°
～180
°‑
θ，反装时则为θ～180
°
，如图3所示，本发明采用两个激光相机正反对装，两个激光相机同时扫描工件，各自得到一张工件表面的点云图，并且两个相机从两个角度对待检测工件进行扫描，从而实现0
°
～180
°
全覆盖，以达到消除扫描死角的目的，在本发明中，两个激光相机均采用特定波长的激光，感光元件只接收特定波长的光线，对其他波长的光线进行过滤，抗环境光干扰强。
50.可见，本发明采用基于三角测距法的激光相机，对待检测工件表面进行3d点云成像，工件表面的污渍和笔迹不会对成像造成影响，同时直接3d成像保留了深度或厚度信息，可以对字符的深度或厚度进行检测。
51.图片拼接单元103，用于将第一点云图与第二点云图进行拼接，合成一张精度更高、信息更完整的点云图。
52.由于通过第一激光相机101与第二激光相机102获取到的是单相机的两张图，还需要将该两张点云图进行拼接合成。在本发明具体实施例中，将两张点云图中的一张作为主图像，另一张作为副图像，图像的拼接需要事先标定两个激光相机的相对位置关系，方法是通过扫描标定板，找出副图像坐标(px,py,pz)与主图像坐标(qx,qy,qz)对应的三组以上数据，代入如下转换矩阵(公式1)，求解出其中的旋转矩阵r1和平移矩阵t1，然后使用该转换矩阵将副图像的数据转换成可以和主图像对应的数据，再将转换后副图像的数据插补进主图像中，合成一张精度更高、信息更完整的点云图。
[0053][0054]
字符缺陷检测单元104，用于对拼接后的点云图利用ocr技术识别出字符内容，并使用形状匹配对字符内容进一步确认及得出字符的位置，检验字符位置是否在允许的公差范围内，并在得到字符的内容和位置后，对实际字符与标准字符进行差分比对，从而检测实际字符是否存在残缺。
[0055]
具体地，字符缺陷检测单元104进一步包括：
[0056]
3d字符截取模块，用于将3d字符从拼接后的点云图中截取出来，并进行矫正。
[0057]
在本发明具体实施例中，3d字符截取模块先通过人工框取模板工件上模板字符的外围位置作为基准，后续使用此基准对字符进行截取，并对外围平面进行归零矫正。
[0058]
字符区域提取模块，用于对矫正后的3d字符通过阈值分割提取出字符区域，并得到字符区域中的灰度值。
[0059]
具体地，字符区域提取模块对矫正的3d字符通过阈值分割得到二值化图像，根据二值化图像过滤提取出字符区域，并获得字符区域中的灰度值。
[0060]
字符识别模块，用于利用ocr技术对字符区域进行识别，识别出字符内容。由于利
用ocr技术进行字符识别已是现有成熟技术，在此不予赘述。
[0061]
模板匹配模块，用于将字符识别模块识别出的字符内容与字符模板进行模板匹配，输出匹配结果。
[0062]
在本发明具体实施例中，当通过字符识别模块得到字符内容后，则调用对应字符模板进行模板匹配，匹配结果会输出分数，则可以利用分数高低对字符内容进一步确认，极大的提高了内容识别准确率，同时，匹配结果也会输出字符在图像中的位置和角度。例如，一个字符ocr识别为h，则调用h的模板进行匹配，得到h的分数大于设定值，则认为内容识别正确，若分数小于设定值，则调用所有模板一一匹配，将分数最高的模板对应的字符作为内容识别结果，同时匹配结果输出字符在图像中的位置及角度。由于字符的模板匹配采用的是现有成熟技术，在此不予赘述。
[0063]
字符位置检测模块，用于将模板匹配模块的匹配结果中的字符位置和角度进行坐标变换，以检验字符位置是否在允许的公差范围之内。
[0064]
具体地，字符位置检测模块将匹配结果中的字符位置和角度进行坐标变换得到世界坐标，然后检验字符位置是否在允许的公差范围内，即将得到的世界坐标与标准位置坐标值进行比对计算，判断x方向、y方向以及旋转角度的偏差是否在设定公差值内，若在公差之内则判定为位置偏差ok，若在公差之外为ng，进行报警提示。
[0065]
缺陷检测模块，用于在模板匹配模块进行匹配后，将字符区域转换为标准位置，与标准字符区域进行相减得到差异区域，根据差异区域来判断字符是否存在残缺。
[0066]
具体地，在通过模板匹配模块确认了字符内容与字符位置后，计算从原点(0,0,0)到现在字符位置(x,y,r)的变换矩阵，并使用该矩阵将处于原点的模板字符区域(px,py)变换为比对字符区域(qx,qy)，比对字符区域与现在字符区域进行相减得到差异区域，检测差异区域的面积，长度，宽度等来判断字符是否存在残缺。如下公式2所示：
[0067][0068]
其中，
[0069]
优选地，字符缺陷检测单元104还包括：
[0070]
深厚度检测模块，用于根据字符识别模块获得的字符区域中的灰度值，乘以比例系数(毫米/灰度)得到字符的实际深度或厚度，判断是否达标。
[0071]
图4为本发明一种基于双激光相机的3d字符视觉检测缺陷方法的步骤流程图。如图4所示，本发明一种基于双激光相机的3d字符视觉检测缺陷方法，包括如下步骤：
[0072]
步骤s1，利用第一激光相机与第二激光相机分别采集激光照射到的待检测工件表面的激光轮廓图片，获得第一点云图与第二点云图。
[0073]
在本发明中，第一激光相机与第二激光相机中的激光垂直向下，相机与激光成一定夹角去拍摄激光轮廓，假设这个夹角为θ(0
°
《θ《90
°
)，正装时能扫描到的视角为0
°
～180
°‑
θ，反装时为θ～180
°
，本发明采用两个激光相机正反对装，从两个角度对待检测工件进行扫描，从而实现0
°
～180
°
全覆盖，以达到消除扫描死角的目的。
[0074]
步骤s2，将第一点云图与第二点云图进行拼接，合成一张精度更高、信息更完整的点云图。
[0075]
由于通过第一激光相机与第二激光相机获取到的是单相机的两张图，还需要将该两张点云图进行拼接合成。在本发明具体实施例中，将两张点云图中的一张作为主图像，另一张作为副图像，图像的拼接需要事先标定两个激光相机的相对位置关系，方法是通过扫描标定板，找出副图像坐标(px,py,pz)与主图像坐标(qx,qy,qz)对应的三组以上数据，代入如下转换矩阵，求解出其中的旋转矩阵r1和平移矩阵t1，然后使用该转换矩阵将副图像的数据转换成可以和主图像对应的数据，再将转换后副图像的数据插补进主图像中，合成一张精度更高、信息更完整的点云图。
[0076][0077]
步骤s3，对拼接后的点云图利用ocr技术识别出字符内容，并使用形状匹配对字符内容进一步确认及得出字符的位置，检验字符位置是否在允许的公差范围内，并在得到字符的内容和位置后，对实际字符与标准字符进行差分比对，从而检测实际字符是否存在残缺。
[0078]
具体地，步骤s3进一步包括：
[0079]
步骤s300，将3d字符从拼接后的点云图中截取出来，并进行矫正。
[0080]
在本发明具体实施例中，3d字符框取模块先通过人工框取模板工件上模板字符的外围位置作为基准，后续使用此基准对字符进行截取，并对外围平面进行归零矫正。
[0081]
步骤s301，对矫正后的3d字符通过阈值分割提取出字符区域，并得到字符区域中的灰度值。
[0082]
具体地，于步骤s301中，对矫正的3d字符通过阈值分割得到二值化图像，根据二值化图像过滤提取出字符区域，并获得字符区域中的灰度值。
[0083]
步骤s302，利用ocr技术对字符区域进行识别，识别出字符内容。由于利用ocr技术进行字符识别已是现有成熟技术，在此不予赘述。
[0084]
步骤s303，将步骤s302识别出的字符内容与字符模板进行模板匹配，输出匹配结果。
[0085]
在本发明具体实施例中，当通过字符识别模块得到字符内容后，则调用对应字符模板进行模板匹配，匹配结果会输出分数，则可以利用分数高低对字符内容进一步确认，极大的提高了内容识别准确率，同时，匹配结果也会输出字符在图像中的位置和角度。例如，一个字符ocr识别为h，则调用h的模板进行匹配，得到h的分数大于设定值，则认为内容识别正确，若分数小于设定值，则调用所有模板一一匹配，将分数最高的模板对应的字符作为内容识别结果，同时匹配结果输出字符在图像中的位置及角度。由于字符的模板匹配采用的是现有成熟技术，在此不予赘述。
[0086]
步骤s304，将步骤s303的匹配结果中的字符位置和角度进行坐标变换，以检验字符位置是否在允许的公差范围之内。
[0087]
具体地，于步骤s304中，将匹配结果中的字符位置和角度进行坐标变换得到世界坐标，然后检验字符位置是否在允许的公差范围内，即将得到的世界坐标与标准位置坐标值进行比对计算，判断x方向、y方向以及旋转角度的偏差是否在设定公差值内，若在公差之内则判定为位置偏差ok，若在公差之外为ng，进行报警提示。
[0088]
步骤s305，在步骤s303进行匹配后，将字符区域转换为标准位置，与标准字符区域进行相减得到差异区域，根据差异区域来判断字符是否存在残缺。
[0089]
具体地，在通过步骤s303确认了字符内容与字符位置后，计算从原点(0,0,0)到现在字符位置(x,y,r)的变换矩阵，并使用该矩阵将处于原点的模板字符区域(px,py)变换为比对字符区域(qx,qy)，比对字符区域与现在字符区域进行相减得到差异区域，检测差异区域的面积，长度，宽度等来判断字符是否存在残缺。如下公式所示：
[0090][0091]
其中，
[0092]
优选地，步骤s3还包括：
[0093]
步骤s306，根据步骤301获得的字符区域中的灰度值，计算字符的深度或厚度是否达标，即根据步骤301获得的字符区域中的灰度值，乘以比例系数(毫米/灰度)得到字符的实际深度或厚度，然后判断是否达标。
[0094]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。