基于机器视觉的实时工件表面缺陷检测评价系统及方法

1.本发明属于智能识别技术领域，具体涉及一种基于机器视觉的实时工件表面缺陷检测评价系统及方法。


背景技术：

2.工业生产加工是一个复杂的过程，由于加工工艺或周围工作环境等多方面原因，使得各个加工工序难以处于绝对的稳定状态，这将导致工件表面的质量特性产生波动，极易产生裂纹、划痕、凹坑、麻点等表面缺陷。这些缺陷不仅使产品的外观受到影响，使用过程中还会在复杂因素的耦合作用下继续发展对工件结构产生更为严重的破坏，造成工件产品的性能指标大幅度降低。因此，对工件表面缺陷进行检测成为生产企业极为关注的问题之一。
3.基于机器视觉技术的工件表观缺陷在线检测系统，通过将相机远程提供的实时图像自动地、鲁棒地转换为供专业人员分析、操作的直观信息和知识，为工件的缺陷检测和质量评估提供了高效、有前景的解决方案。
4.近年来，多种图像识别方法已在各类工件表观缺陷识别场景中得到了成功的应用，但整体还存在一些问题。
5.申请号202010836865.7名称为一种基于ssd网络模型的工件表面缺陷检测方法及系统，公布了一种基于ssd网络模型的工件表面缺陷检测方法及系统，该方法与系统能够处理大规模的图像数据，可以识别多种不同的缺陷类别以及能获得像素级的缺陷区域信息。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法及系统所采用的骨干网络ssd网络模型属于两阶段目标检测网络，检测响应时间较长，难以实现实时识别功能，仅能实现离线检测，无法应用于实时作业环境检测；(2)该方法及系统固定采用一种检测网络模型，而非通过建立检测网络模型库，并基于实际工业场景自主选择调用合适的网络模型，导致所开发设计的系统面向复杂的工业场景下检测的泛化能力差；
6.华东交通大学名称为基于机器视觉的复杂曲面工件表面缺陷检测技术与系统的硕士学位论文，研究了一套基于机器视觉的复杂曲面工件表面缺陷检测技术与系统，该方法与系统能实现大型复杂曲面工件表面的图像采集、缺陷定位、缺陷种类识别等功能。但是，上述公开的技术方案仍然存在如下技术问题：(1)该方法与系统中缺少对工件表面缺陷的尺寸测定、质量评估功能开发，未实现基于表面缺陷尺寸的工件表面质量等级自动评定，功能性及自动化程度有待提高；(2)该方法及系统虽然实现了一定的检测功能，但是各功能模块各自独立，未实现集成化自动检测系统的搭建，智能化程度有待提高；
7.西南科技大学名称为基于深度学习的工件表面缺陷检测技术研究的硕士学位论文，研究了一套基于深度学习的工件表面缺陷检测技术与系统，该技术方案中搭建了硬件、软件集成的集成系统。但是，上述公开的技术方案仍然存在如下技术问题：(1)所基于的改进nasnet及ssd网络等检测骨干网络均属于两阶段检测网络，检测响应时间较长，难以满足实时作业检测需求，功能性有待提升；(2)所开发的系统不具备自我纠查功能，检测过程中
若检测性能无法达到预估效果的情况下，无法实现自主决策并处理，智能化程度有待提高；(3)所开发的系统未包含数据库自储自建自学功能，不仅极大的浪费了检测资源，并将间接使得检测网络无法基于足够的数据量进行学习获得合适的网络参数，最终导致复杂工业监测背景下，检测系统鲁棒性较差，泛化能力有待提高。
8.因此，由于工业背景环境的复杂性，单一某种/某类图像识别处理方法很难保证检测评估的准确性和全面性。为实现高效且高质量的工件表面缺陷检测，急需发明一种快速响应、功能全面、系统完善、高度智能的智能缺陷检测系统及方法，利用该系统与方法既能有效保证检测的实时性，又能全面系统的展示和评估检测结果。


技术实现要素：

9.本发明目的在于提供一种基于机器视觉的实时工件表面缺陷检测评价系统及方法，该系统及方法通过机器视觉、深度学习、人机交互和无线通讯等技术实现远程实时评价工件表面质量，并对所存在的问题及时产生对应分析报告以供工作人员进行合理解决。有效解决了当下工件表面缺陷检测系统功能单一，适应性不强的问题。
10.本发明解决其技术问题所采用的技术方案是：
11.基于机器视觉的实时工件表面缺陷检测评价系统及方法，其特征在于：系统包括图像采集平台、无线传输平台、检测处理平台、可视化监控平台；
12.所述图像采集平台，包含信息捕捉模块和环境配置模块，系统硬件主要组成为工业相机，光源及数字控制器，所述工业相机用来实时拍摄/捕捉待检测工件表面图像，获取图像信息；所述光源及数字控制器用来调整拍摄环境参数，确保拍摄质量；该平台用于实时采集工件表面图像信息；
13.所述无线传输平台，包含发射模块和接收模块，系统硬件主要组成为主控机，开发板及ad/da解码编码芯片；所述开发板主要完成图像格式转换，连接系统各个重要组成芯片，并且合成相应的控制信号；所述主控机完成对ad/da解码编码芯片的初始化；所述ad/da解码编码芯片分别完成图像解码和编码；该平台用于实现图像采集平台与可视化监控平台之间的无线信息传输；
14.所述检测处理平台，包含数据存储模块、实时检测模块和自主学习模块，系统硬件主要为运算服务器，储存硬盘；所述数据存储模块用于存储检测处理算法模型，实时传输的图像及对应的检测结果与质量报告；所述实时检测模块用于读取实时传输的图像信息及运行对应的检测处理算法模型，并生成缺陷标注信息和工件表面质量评估报告；所述自主学习模块用于对一定时间周期内数据存储模块中检测结果与质量报告进行分析生成检测准确性报告，并将所储存的图像进行重新标注以不断扩充检测算法模型训练集用来重新训练更新获得更为准确的检测模型权重，提高检测准确率；该平台用于实现对实时采集的图像中缺陷进行分类、定位、尺度量化及质量评估；
15.所述可视化监控平台，包含检测效果展示模块及控制指令生成模块，系统硬件主要为液晶触控面板及远程监控主机组合在一起的触控显示一体机，且与检测处理平台相连接，所述检测效果展示模块用于展示检测处理平台处理后得到的实时图像的缺陷检测结果、工件表面质量评估报告及一定作业时间周期内的缺陷检测准确性报告；所述控制指令生成模块，用于通过触控面板调整相机位置及数字控制器，保证高质量的图像采集质量；该
平台用于将基于实时图像得到的检测分析结果可视化，并远程控制调整拍摄环境，确保图像采集质量；
16.基于机器视觉的实时工件表面缺陷检测评价方法，包括以下步骤：
17.步骤1：接通工件表面缺陷检测系统电源，图像采集平台开始工作，液晶触控面板显示实时图像信息，展示检测调试界面，通过触控面板上的调整按键分别远程调节相机位置，光源位置与强度，保证图像采集质量；
18.步骤2：检测调试完成后，点击触控面板上的检测处理按钮启动检测处理平台，进入检测处理界面，通过触控面板上的“算法模型”按键可查看预存的算法模型库，并基于检测对象及目标调用已经训练好的指定检测处理算法模型，点击确定后，指定算法模型被调用，此时检测评价功能与自主学习功能启动；
19.步骤3：作业开始，实时图像中的缺陷信息将被检测标注，并生成对应时刻所拍摄工件表面的质量评估报告，在每一定作业时间周期结束后，缺陷检测准确性报告也将被展示；
20.步骤4：每一定作业时间周期内的图像信息将被扩充为训练样本集并在下一个作业时间周期内对所采用的检测算法模型进行重新训练，获得新的训练权重并更新应用于下下一个作业时间周期内的同个检测算法模型；
21.步骤5：多个连续作业时间周期后，若连续多份缺陷检测准确性报告所报告的检测性能评价指标低于设定标准值，液晶触控面板将弹出红色警告窗口，提醒工作人员中断作业；
22.步骤6：作业中断后，工作人员操作液晶触控面板退出检测处理界面以暂停运行检测处理平台，在检测调试界面重新调整图像拍摄环境，调试完成后继续进入检测处理界面，调用其他可行算法模型，重新开始检测；
23.步骤7：重复步骤3-6，直到作业完成/检测任务结束，关闭工件表面缺陷检测系统电源。
24.进一步地，所述用于控制信号和图像数据传输的无线传输平台部署在图像采集平台及可视化监控平台上，传输的有效距离不小于100米，最高延时不大于0.05秒。
25.进一步地，所述检测处理算法模型是由缺陷检测算法模型，图像分割算法模型与量化评估算法模型组合后层次递进而实现，首先缺陷检测算法模型对实时采集的整张图片信息基于指定缺陷对象进行识别，对检测出的缺陷对象生成目标框及分类名标注，并展示在可视化监控平台中；随后图像分割算法模型对目标检测后具备分类标签的目标框进行裁剪，裁剪后的图片将存储到指定文件夹；最后量化评估算法模型对图像分割后指定文件夹中裁剪得到的缺陷图片进行遍历量化处理，生成包含各缺陷量化参数及评估指标信息的工件表面质量评估报告表储存于该指定文件夹中，并展示在可视化监控平台中。
26.本发明的有益效果为：
27.1、所设计的基于机器视觉的实时工件表面缺陷检测评价系统，充分利用无线通讯的优势，可远程监督与调控检测环境，保证了检测工作进行的安全性和便捷性。
28.2、所设计的检测处理平台，在实时实现工件表面缺陷分类、定位、尺度量化及质量评估的可视化，保证了缺陷检测工作的全能化的同时，还具备自主学习功能，保证了检测工作的智能化。
29.3、所设计的检测处理算法模型框架，合理集成组合各算法模型，通过对目标检测后带有缺陷的目标框进行裁剪作为缺陷量化评估算法模型的输入，而不是将整张图片作为输入，极大的降低了语义分割计算量，减少了量化评估处理时间，保证了检测功能的实时性。
30.综上，所提出的基于机器视觉的实时工件表面缺陷检测评价系统及方法在保证实时性的同时实现了高安全性、高便捷性、高智能化和全能化的工件表面缺陷检测作业。为工件表面缺陷检测系统及方法的升级提供了新思路。
附图说明
31.图1是基于机器视觉的实时工件表面缺陷检测评价系统布局图
32.图2是基于机器视觉的实时工件表面缺陷检测评价系统控制整体框图；
33.图3是自主学习模块与实时检测模块交互关系图(以前三个工作时间周期示例)；
34.图4是实时检测模块运行逻辑图；
35.图5是基于机器视觉的实时工件表面缺陷检测评价方法流程图
具体实施方式
36.下面结合附图对本发明作进一步描述。
37.如图1所示，本实施例的基于机器视觉的实时工件表面缺陷检测评价系统，包括用于实时采集高质量图像信息的图像采集平台1、用于控制信号和图像信息传输的无线传输平台2、用于对采集的工件表面图像进行缺陷检测并出具检测分析结果的检测处理平台3、用于将检测分析结果可视化，并远程调控拍摄环境的可视化监控平台4。所述图像采集平台1中光源101和工业相机102分别平行工件表面/切面沿一定距离前后装配在检测台架上，数字控制器103安装在检测台架侧面固定支架上，并分别与光源101和工业相机102相连，用于控制图像采集环境参数。所述无线传输平台2中无线传输装置201分别安装在图像采集平台中数字控制器103和可视化监控平台4的触控显示一体机401内。所述检测处理平台3中运算服务器301与可视化监控平台触控显示一体机401相连，接收实时采集的图像信息，并反馈对应检测评价信息。所述可视化监控平台4中触控显示一体机401实时展示所接收的图像信息与检测评价信息，并生成控制指令远程发送给图像采集平台1。
38.图2为基于机器视觉的实时工件表面缺陷检测评价系统控制整体框图，首先图像采集平台通过无线传输平台发送实时图像信息给可视化监控平台，经过触控显示一体机主机处理后同时将信息传输给液晶触控面板用于展示和传输给检测处理平台进行检测运算并返回检测处理得到的检测评价信息，在获得检测评价信息后，可由工作人员根据需要，操作液晶显示面板远程调控图像采集平台硬件。
39.图3为检测处理平台中自主学习模块与实时检测模块交互关系图，以前三个工作时间周期为例，在第一个工作时间周期内，实时检测模块收到实时采集的图像信息并调用对应的检测算法测试模型后即开始对每张采集图片(f
10
，f
20
...f
n0
)进行检测处理工作，并生成对应图片的检测评价信息(h
10
，h
20
...h
n0
)。同时，自主学习模块启动，与检测算法测试模型网络架构一样且共享同一权重的检测算法训练模型将查询是否存在上阶段检测图片的图片集。由于此时为第一个时间阶段，不存在上一阶段的图片集，则检测算法训练模型不
工作。直到该时间周期结束后，所生成对应图片的检测评价信息(h
10
，h
20
...h
n0
)被收集至自主学习模块中，并调用检测性能分析算法模型进行分析，获得该时间周期内的检测性能分析报告g0。至此第一个时间周期内检测处理平台中的检测工作结束，定义该阶段所检测的所有图片集合为图片集0。在第二个工作时间周期内，伴随着实时检测模块开始检测工作，由于上一阶段图片集0存在，自动学习模块将调用与检测算法训练模型，实时监测模块中检测处理算法模型的相同权重w0开始基于上一阶段的图片集0开始训练获得新的权重w1。直到该时间周期结束后，除了获得该时间周期内的检测性能分析报告g0外，自动学习模块还将采用获得的检测算法模型新权重对上一阶段权重进行覆盖处理，用于下一阶段检测算法训练模型与检测算法测试模型调用。至此第二个时间周期内检测处理平台中的检测工作结束，定义该阶段所检测的所有图片集合为图片集1，在下一时间周期将重复上一周期的检测处理操作。
40.图4为实时检测模块算法模型运行逻辑图，对于输入的图片信息，首先经过目标检测模型识别指定缺陷对象，并对检测出的缺陷对象生成目标框及分类名标注；随后图像分割算法模型对目标检测后具备分类标签的目标框进行裁剪；最后量化评估算法模型对图像裁剪后小范围缺陷图片进行遍历量化处理，生成包含各缺陷量化参数及评估指标信息的工件表面质量评估报告。
41.图5为基于机器视觉的实时工件表面缺陷检测评价方法流程图，包括以下步骤：
42.步骤1：接通工件表面缺陷检测系统电源，图像采集平台开始工作，液晶触控面板显示实时图像信息，展示检测调试界面，通过触控面板上的调整按键分别远程调节相机位置，光源位置与强度，保证图像采集质量；
43.步骤2：检测调试完成后，点击触控面板上的检测处理按钮启动检测处理平台，进入检测处理界面，通过触控面板上的“算法模型”按键可查看预存的算法模型库，并基于检测对象及目标调用已经训练好的指定检测处理算法模型，点击确定后，指定算法模型被调用，此时检测评价功能与自主学习功能启动；
44.步骤3：作业开始，实时图像中被检测标注的缺陷信息、对应时刻所拍摄工件表面的质量评估报告及每一定作业时间周期结束后的缺陷检测准确性报告等检测评价信息均被展示在触控面板上；
45.步骤4：每30min内的图像信息将被扩充为训练样本集并在下一个30min内，采用与检测处理测试模型相同网络结构且共享同一权重的检测算法训练模型进行重新训练，获得新的训练权重并更新应用于下下一个30min内的同个检测处理算法测试模型；
46.步骤5：若连续5份缺陷检测准确性报告所报告的检测准确性与召回率低于设定标准值，则系统判定检测状态异常，液晶触控面板将弹出红色警告窗口，提醒工作人员中断作业；
47.步骤6：作业中断后，工作人员操作液晶触控面板退出检测处理界面以暂停运行检测处理平台，在检测调试界面重新调整图像拍摄环境，调试完成后继续进入检测处理界面，调用其他可行算法模型，重新开始检测；
48.步骤7：重复步骤3-6，直到作业完成/检测任务结束，关闭工件表面缺陷检测系统电源。
49.本发明所述的基于机器视觉的实时工件表面缺陷检测评价系统及方法，一方面，
所设计的基于机器视觉的实时工件表面缺陷检测评价系统，充分利用无线通讯的优势，可远程监督与调控图像采集环境，保证了检测工作进行的安全性和便捷性。另一方面，所设计的检测处理平台，充分集成了当下检测评估功能，通过各算法模型的合理搭配组合，可实时实现工件表面缺陷分类、定位、尺度量化及质量评估的可视化，并在保证了缺陷检测工作的全能化的同时，还具备自主学习功能，保证了检测工作的智能化。
50.综上，所提出的基于机器视觉的实时工件表面缺陷检测评价系统及方法在保证实时性的同时实现了高安全性、高便捷性、高智能化和全能化的工件表面缺陷检测评价作业。为工件表面缺陷检测系统及方法的升级提供了新思路。上面结合附图对本发明的实例进行了描述，但本发明不局限于上述具体的实施方式，上述的具体实施方式仅是示例性的，不是局限性的，任何不超过本发明权利要求的发明创造，均在本发明的保护之内。