一种视觉检测定位系统和方法与流程

1.本发明涉及计算机视觉技术领域，特别是涉及一种视觉检测定位系统和方法。


背景技术：

2.随着科技发展，对各种工件和零件的制造工艺和效率要求越来越高，对产品的加工要求也是越来越苛刻。视觉定位系统将解决机械定位误差和机械磨损误差带来的影响，实时把误差值发送给加工或检测系统，是许多在线产品检测和高精度加工设备的首选。视觉定位系统具有高度智能化与自动化特点，让整个控制过程变得简单而轻松。通过简单的编程，视觉定位系统可以轻松让设计人员学会的所有实操过程，具有高效率和高自由度，大大地提高了高精度加工和检测效率,满足智能制造和快速定制实时在线检测的需要。
3.公开号为cn110648364a的中国发明专利公开了一种多维度空间固废视觉检测定位及识别方法，包括离线训练步骤、在线检测步骤；离线训练步骤，步骤如下：1.1)采集样本固体废物的高度图像、彩色图像；1.2)根据预定的高度阈值，将高度图像进行二值化处理，得到二值图像；1.3)将二值图像作为掩膜，对彩色图像进行掩膜处理，获取目标像素覆盖的目标区域；1.4)将步骤1.3)掩膜处理后的彩色图像的目标区域与其对应于高度图像的相应目标区域进行roi提取，获得一个或多个roi图像；1.5)制作roi图像标签，将roi图像作为输入，将roi图像标签作为训练目标，进行全卷积神经网络训练，得到训练模型；在线检测步骤，步骤如下：2.1)采集待检测固体废物的高度图像、彩色图像；2.2)根据预定的高度阈值，将高度图像进行二值化处理，得到二值图像；2.3)将二值图像作为掩膜，对彩色图像进行掩膜处理，获取目标像素覆盖的目标区域；2.4)将步骤2.3)掩膜处理后的彩色图像的目标区域与其对应于高度图像的相应目标区域进行roi提取，获得一个或多个roi图像；2.5)将步骤2.4)获得roi图像输入训练模型，进行图像检测，得到每个roi图像的预测，重新组合获取高度图像或彩色图像的训练结果；2.6)根据训练结果进行轮廓检测，获取每个roi图像对应的目标的轮廓；2.7)基于轮廓，对每个目标进行抓取姿态及位置计算，完成定位与识别。
4.公开号为cn107883875a的中国发明专利公开了一种自主式海参捕捞装置视觉检测定位装置的视觉检测定位方法，自主式海参捕捞装置视觉检测定位装置包括水上部分和水下部分，水上部分和水下部分通过数据线和电源线连接在一起，所述水下部分包括图像采集装置、照明系统和防水装置，所述水上部分包括工控机、显示屏、电源系统和光源亮度控制盒，工控机分别连接显示屏、电源系统、光源亮度控制盒及图像采集装置，所述电源系统分别连接图像采集装置、照明系统、工控机、显示屏和光源亮度控制盒，所述光源亮度控制盒连接照明系统，所述图像采集装置和照明系统外侧均设有防水装置。图像采集装置将采集到的水下视频图像信息发送给工控机，工控机中的软件首先对采集到的海参图像进行图像的预处理，所述预处理包括图像的灰度化、图像增强、图像滤波操作，所述图像增强包括自适应直方图增强，所述图像滤波包括中值滤波；之后使用预先训练好的卷积神经网络模型对图像中的海参目标进行检测，辨别出图像中是否存在海参，若存在海参目标，使用矩形框在图像上将海参目标框出，进行海参目标的二维图像上的定位；之后读取出已标定好
的双目相机的内外参数，选择相应的特征进行特征提取操作，使用的特征包括：harris角点特征、sift特征、surf特征，然后对双目相机得到的两幅处理后的图像进行立体匹配，匹配方法为flann方法，根据匹配结果进行视差的计算，再根据得出的视差计算出海参的深度信息，以此再计算出海参的x、y坐标信息，由此确定出海参的三维地理坐标信息，输出海参的三维坐标位置。
5.上述视觉检测定位系统存在一些缺陷，需要针对被检测目标对功能模块进行重新设计，降低了开发效率。


技术实现要素：

6.针对现有技术中存在的缺陷，本发明的目的在于提供一种视觉检测定位系统和方法，解决了现有技术中需要针对被检测目标对功能模块进行重新设计，降低了开发效率的问题。
7.为了达到上述目的，本发明所采用的具体技术方案如下：
8.一种视觉检测定位系统，包括
9.多光谱光源控制模块，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
10.多光谱成像模块，根据产品ct时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
11.姿态定位模块，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
12.姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定；
13.软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块发送控制数据并接收反馈数据。
14.优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
15.优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互具体指的是
16.所述软件处理模块基于软件ui设计、参数设计和cnc编程操作模块设计控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互。
17.优选的，姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定中的控制模块包括但不限于plc、机械臂、工业机器人。
18.优选的，所述姿态数据包括坐标和角度偏移值。
19.优选的，多光谱光源控制模块还用于预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色led灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化
并记录；基于代数融合算法将单色led灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
20.一种视觉检测定位方法，包括以下步骤：
21.s1，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
22.s2，根据产品ct时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
23.s3，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
24.s4，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定。
25.优选的，步骤s3和步骤s4中的姿态数据具体指的是坐标和角度偏移值。
26.优选的，步骤s3中的姿态算法由神经网络算法训练得到。
27.优选的，步骤s3中的姿态算法在本地或云端由神经网络算法训练得到。
28.本发明的有益效果在于：融合了计算机视觉、光源控制、智能io编程等领域的技术，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。姿态数据具有通用性，无需开发人员重新开发，还可根据控制模块的格式进行编程设定。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明实施例提供的一种视觉检测定位系统的原理框图；
31.图2是本发明实施例提供的一种视觉检测定位方法的流程图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
33.在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
34.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
35.如图1所示，本发明提出了一种视觉检测定位系统，包括
36.多光谱光源控制模块，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；ct(cycle time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品ct时间即为产品循环时间。
37.具体的，根据产品ct时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。
38.高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形led灯。
39.多光谱光源控制模块根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；在此之前，可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色led灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色led灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。在具体实施过程中，多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息以及需要多光谱下的产品图像还是融合的多光谱图像，可以从光源数据库中匹配对应的光源。
40.多光谱成像模块，根据产品ct时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；多光谱成像模块包括黑白工业相机和成像控制器，环形led灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形led灯连接，控制黑白工业相机和环形led灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响。
41.成像控制器控制环形led灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建。从黑白相机的输出信号中获得被测产品的光谱反射率。产品表面在时间t
i
时以相对光谱功率分布为l(λ，t
i
)的光源照明，黑白工业相机在时间t
i
时的输出为o(t
i
)＝∫l(λ,t
i
)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
42.姿态定位模块，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；
43.在具体实施过程中，判断是否需要检测产品的三维角度，若不需要，则采用faster r
‑
cnn检测算法或yolo检测算法或ssd算法对多光谱图像进行处理，若需要检测产品的三角角度，则在上述目标检测网络的基础上添加角度回归层、添加对应的损失函数并进行训练后得到状态算法对多光谱图像进行处理。损失函数包括角度误差、坐标误差、iou误差、分类误差。
44.姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定；
45.软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、姿态
定位模块和姿态定位通信模块发送控制数据并接收反馈数据。
46.优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
47.优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互具体指的是
48.所述软件处理模块基于软件ui设计、参数设计和cnc编程操作模块设计控制所述多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块之间进行数据交互。
49.具体的，软件ui是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、姿态定位模块和姿态定位通信模块的运行参数、默认参数和自定义参数；cnc编程操作模块设计用于显示产品的运行状态和工业机器人/机械臂/plc的运行状态，还可向工业机器人/机械臂/plc发送控制信息。
50.软件处理模块包括操作界面，操作界面还分为多个区域，包括但不限于模式切换区域、伺服控制区域、模式界面区域和功能选择区域，模式切换区域包括手动模式、自动模式、程序编辑和参数设置。
51.优选的，姿态定位通信模块，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定中的控制模块包括但不限于plc、机械臂、工业机器人。
52.优选的，所述姿态数据包括坐标和角度偏移值。
53.视觉定位系统是以计算机视觉系统为平台，模块化面向对象设计，设计过程中把设计好的模块单独下载到相应模块独立运行，模块与模块之间不会相互影响，模块具有继承的特点，以前设计的模块现在需要用到时可以把好的功能继承过来，不需要重新开发设计，因此开发效率大大提高，将会使自动化设备提升到了一个新高度。
54.视觉定位系统融合了计算机视觉、光源控制、智能io编程等领域的技术，是智能制造领域的发展趋势，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。可以为智能手机零部件的检测、贴合和组装提供快速的解决方案，具有非常好的经济和社会效益。
55.如图2所示，本发明还提出了一种视觉检测定位方法，包括以下步骤：
56.s1，根据产品ct时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；ct(cycle time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品ct时间即为产品循环时间。
57.具体的，可根据产品ct时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形led灯。
58.在其他实施例中，还可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色led灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰
度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色led灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。在具体实施过程中，可以根据所需的清晰度、图像对比度、边缘信息以及需要多光谱下的产品图像还是融合的多光谱图像，从光源数据库中匹配对应的光源。
59.s2，根据产品ct时间和高速频闪光源保持一致，获取高速清晰的多光谱图像；
60.具体的，获取高速清晰的多光谱图像可利用黑白工业相机和成像控制器获取多光谱图像，环形led灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形led灯连接，控制黑白工业相机和环形led灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响。
61.成像控制器控制环形led灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建。从黑白相机的输出信号中获得被测产品的光谱反射率。产品表面在时间t
i
时以相对光谱功率分布为l(λ，t
i
)的光源照明，黑白工业相机在时间t
i
时的输出为o(t
i
)＝∫l(λ,t
i
)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
62.s3，基于状态算法对多光谱图像进行处理，得到多光谱图像中的姿态数据；步骤s3中的姿态算法由神经网络算法训练得到。步骤s3中的姿态算法在本地或云端由神经网络算法训练得到。
63.在具体实施过程中，判断是否需要检测产品的三维角度，若不需要，则采用faster r
‑
cnn检测算法或yolo检测算法或ssd算法对多光谱图像进行处理，若需要检测产品的三角角度，则在上述目标检测网络的基础上添加角度回归层、添加对应的损失函数并进行训练后得到状态算法对多光谱图像进行处理。损失函数包括角度误差、坐标误差、iou误差、分类误差。
64.s4，将姿态数据实时传输给控制模块以便根据控制模块的格式进行编程设定。
65.步骤s3和步骤s4中的姿态数据具体指的是坐标和角度偏移值。
66.本发明的有益效果在于：融合了计算机视觉、光源控制、智能io编程等领域的技术，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。姿态数据具有通用性，无需开发人员重新开发，还可根据控制模块的格式进行编程设定。
67.以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。