一种基于机器视觉的冲压产线异常检测及预防系统的制作方法

本发明涉及冲压产线异常检测，具体为一种基于机器视觉的冲压产线异常检测及预防系统。

背景技术：

1、随着冲压自动化技术的不断进步，自动化生产线以其较高的生产效率、稳定的产品质量以及规模生产条件下更低的单件生产成本，被广泛应用于冲压生产中。一条冲压产线一般设置有多个工位，当一个冲次完成后，由夹钳夹取料片然后放到下个工位，但这个过程中可能出现空料、料片偏移、叠料等异常情况。

2、现有技术中，采用在压机的上模、机械臂、下模等区域设置传感器的方式，通过收集的压力、磁通量、震动等信息来判断是否异常，但这种方式只能检测有无异常，无法区分空料、偏移、叠料等情况，无法检测压机内异物、废料口堵住等异常，且当冲压频率较高时，传感器容易出现失灵或者由于压机震动等原因导致误报警，同时，出现异常时无法快速定位到具体工位，会造成使用不方便，在设备调试阶段，有时需要关闭传感器以便进行调试，这时只能靠人眼观察预防异常，不仅会导致调试效率低，而且不够安全可靠，此外，无法检测进入压机人员是否未佩戴劳保用品，安全性较低，另外，传感器的数据的维度太少，数据价值小，且大部分老压机不支持额外安装传感器，导致改造风险大和可靠性低。

技术实现思路

1、本发明的目的在于提供一种基于机器视觉的冲压产线异常检测及预防系统，以解决上述背景技术提出的采用在压机的上模、机械臂、下模等区域设置传感器的方式，通过收集的压力、磁通量、震动等信息来判断是否异常，但这种方式只能检测有无异常，无法区分空料、偏移、叠料等情况，无法检测压机内异物、废料口堵住等异常，且当冲压频率较高时，传感器容易出现失灵或者由于压机震动等原因导致误报警，同时，出现异常时无法快速定位到具体工位，会造成使用不方便，在设备调试阶段，有时需要关闭传感器以便进行调试，这时只能靠人眼观察预防异常，不仅会导致调试效率低，而且不够安全可靠，此外，无法检测进入压机人员是否未佩戴劳保用品，安全性较低，另外，传感器的数据的维度太少，数据价值小，且大部分老压机不支持额外安装传感器，导致改造风险大和可靠性低的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于机器视觉的冲压产线异常检测及预防系统，包括图像获取模块、压机状态检测模块、叠料检测模块、实时异常检测模块、关键帧检测模块、数据分析模块、风险评估模块和人员安全检测模块；

3、所述图像获取模块是用于对各个工位的情况进行拍摄，并将拍摄图片进行保存；

4、所述叠料检测模块是用于检测叠料状态是否正常，采用图像算法检测帧图像里料片的上边缘和下边缘，以上下边缘的距离作为料片厚度，所述实时异常检测模块，是用以检测实时冲压状态是否异常；

5、所述关键帧检测模块用于选取关键帧图片，选取起料、落料和传料类型的关键帧图片作为模板，计算当前帧图像和模板的匹配程度，所述数据分析模块用于根据历史数据预测当前出现风险的概率、根据历史数据推荐最佳生产参数以及生成生产报表；

6、所述风险评估模块用于评估异常情况出现的风险高低，采用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，然后利用预测模型预测未来帧图片和模板的匹配度，所述人员安全检测模块用于检测人员是否穿戴劳保用品，通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。

7、优选的，所述实时异常检测模块的模板依据压机启动后前期采集数据生成，阈值根据历史的匹配度数据设定。

8、优选的，所述关键帧检测模块选取的起料、落料和传料的关键帧图片分别为料片刚被机械臂夹起、料片刚被放下和料片被夹至工位上方最高点时的状态，阈值根据历史匹配度数据设定。

9、优选的，所述图像获取模块包括工业相机、相机镜头、光源、服务器以及poe交换机；

10、所述工业相机中采用高帧率相机、高分辨率相机，安装在距离目标工位旁，距离不超过3米；

11、所述相机镜头根据工业相机到拍摄画面中心点的距离，选用合适的短焦镜头；

12、所述光源采用条形led光源；

13、所述服务器用于运行检测程序；

14、所述poe交换机用于使用网线连接相机和服务器，给相机供电。

15、优选的，所述工业相机包括相机管理模块以及共享内存模块；

16、所述相机管理模块用于设置相机参数、将相机图像写入共享内存，以便后续实时异常检测模块获取以及录制视频。

17、优选的，还包括异常检测方法，具体的为：

18、s1、从共享内存读取相机图像；

19、s2、检测压机状态：以当前帧和前30帧的像素值的平均绝对差值作为匹配度指标，匹配度在连续15次内有10次都低于阈值，说明画面静止，压机停机，否则用自相关算法检测图像亮度变化的周期性，如果有周期性则说明压机正在运行，没有则说明只是受到了人员活动的干扰，压机还是停机状态；

20、s3、对压机工位状态进行检测。

21、优选的，所述s3中，在压机运行时，具体包括以下检测步骤：

22、l1、通过程序的配置文件判断当前工位是上料工位还是冲压工位；

23、l2、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常；

24、l3、检测是否发生其他异常：程序初始化时取一段正常冲压视频的连续帧图片作为模板，模板依据压机启动后前期采集数据生成，运行时用phash算法计算当前帧和模板的值，以当前帧和模板的phash值的平均绝对差值的最小值作为匹配度指标，若匹配度低于阈值则判断为异常；

25、l4、若前面检测出异常，可发送停机信号，然后在用户界面上显示具体异常工位；

26、l5、检测是否是关键帧；程序初始化时取起料、落料、传料类型的关键帧图片作为模板，运行时计算当前帧图像和模板的phash匹配程度，若匹配度高于阈值，则判定为关键帧；

27、l6、提取图像特征，对异常进行具体分类，通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓，通过开源的特征点匹配算法检测当前帧和关键帧模板图对应的特征点的坐标；

28、l7、预测异常发生的概率：用收集的匹配度、平均偏移量等数据训练开源的时间序列预测模型，利用预测模型预测未来帧图片和模板的匹配度，如果预测的匹配度低于设定的阈值，则给出风险提示。

29、优选的，所述s3中，在压机停机时，具体包括以下检测步骤：

30、r1、通过程序的配置文件判断当前工位是上料工位还是冲压工位；

31、r2、检测是否发生叠料异常：用直线检测算法检测帧图像里料片的上边缘和下边缘，然后计算上下边缘的距离作为料片厚度，取一张正常料片的厚度作为标准，若后续料片厚度大于标准厚度的1.5倍，则判定叠料异常；

32、r3、提取图像特征：通过开源的图像分割算法检测图片中料片、废料口、异物等物体的中心点位置、轮廓；

33、r4、人员安全检测：通过开源的目标检测及姿态估计算法检测图片中工人劳保用品穿着佩戴是否合规。

34、优选的，所述l6中异常种类包括空料异常、异物异常、废料口异常、料片偏移异常以及人员未佩戴劳保用品异常；

35、所述空料异常是根据料片中心点是否存在来判断，料片中心点不存在即为空料异常；

36、所述异物异常是根据异物中心点是否存在来判断，异物中心点不存在即为异物异常；

37、所述废料口异常是根据当前帧和模板图在废料口轮廓区域的匹配度是否低于阈值来判断，匹配度低于阈值即为废料口异常；

38、所述料片偏移异常是计算当前帧和模板图对应特征点坐标的平均差值作为平均偏移量，当平均偏移量大于阈值时则判断为料片偏移异常。

39、与现有技术相比，本发明的有益效果是：

40、本发明采用机器学习与深度学习配合的方式实现了对冲压生产的全天候、不间断实时异常检测，能在更高的冲次频率环境下正常工作，提高生产效率，能快速定位异常工位，效率高，利用机器视觉加统计的方式预测可能发生的异常，能详细区分各类异常，效果好，调试阶段无需关闭相机，可以持续检测，可靠性高，能检测进入压机人员是否佩戴劳保用品，安全性高，数据维度更丰富，可用于数据分析和风险评估，价值更高，不影响现有压机系统，改造难度低，几乎无风险。