机器学习的工业智能图像分割及识别系统和方法与流程

本发明涉及工业自动化领域基于机器学习的智能缺陷检测，利用图像匹配的技术来对齐输入图像并根据图像的特征进行分区，对于分区图进行人工智能的学习并分割图像找出图像中的待检测物体或者差异点，能更好的利用人工智能和计算机视觉系统进行自动化控制及缺陷查找，并能根据用户需求灵活配置系统参数。

背景技术：

在前述的专利申请(申请号201810336822.5发明名称：一种基于视觉的自学习工业智能检测系统及方法)中，物料识别及物体检测的系统利用深度神经网络的分类能力，能够基于训练数据的分类基础上，训练合适的网络模型，能在特定任务上实现比人工更高的效率及准确率。

然而基于人工智能的分类器运用在缺陷查找尤其是微弱的缺陷查找时面临很多困难，一方面部分缺陷很微小，占输入图像极小的比例，另一方面，基于深度学习的人工智能图像分割及分类其输入图像受到计算量的限制有一定的要求，目前的深度学习的图像分割及分类通常将输入图像成比例缩放，但图像的缩放使得微小的缺陷更加难以分辨甚至消失，这极大的限制了人工智能在类似应用中的普及。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种机器学习的工业智能图像分割及识别系统和方法，利用图像匹配的技术来对齐输入图像并根据图像的特征进行分区，对于分区图进行人工智能的学习并分割图像找出图像中的待检测物体或者差异点，能更好的利用人工智能和计算机视觉系统进行自动化控制及缺陷查找，并能根据用户需求灵活配置系统参数。

一种机器学习的工业智能图像分割及识别系统，包括：

成像单元，所述成像单元对应用场景成像并转换成数字信号；

计算单元，所述计算单元包括:

匹配单元，所述匹配单元将所述成像单元生成的图像跟模板匹配，通过图像配准算法，将图像跟模板保持一致，通过图像变换，根据需求进行刚性或非刚性变换，为下一步图像分区做预处理；

分区单元，所述分区单元根据缺陷的大小来确定最佳分区大小便于进行深度学习处理；

训练单元，所述训练单元根据图像标定以及分区的结果输入深度学习的神经网络模型进行训练，并在学习到一定阶段后实时进行分析，并根据反馈结果调整分区器的分区方法，把分析结果发给识别单元及控制单元；以及

识别单元，所述根据训练单元的模型结果对后续数据进行分析及待检物体或缺陷查找；

通讯单元，所述通讯单元把分析结果发送到相关设备；以及

控制单元，所述控制单元根据分析结果来控制相关设备并通过显示端口输出结果到图像上。

上述机器学习的工业智能图像分割及识别系统和方法，利用图像匹配的技术来对齐输入图像并根据图像的特征进行分区，对于分区图进行人工智能的学习并分割图像找出图像中的待检测物体或者差异点，能更好的利用人工智能和计算机视觉系统进行自动化控制及缺陷查找，并能根据用户需求灵活配置系统参数。

在另外的一个实施例中，所述分区单元将roi(感兴趣区域)分为3x3一共9块等大小的图像。

在另外的一个实施例中，所述分区单元根据图像特征灵活分区mxn分区，其中，m，n可以为任意大于1的整数。

在另外的一个实施例中，所述分区单元根据所述训练单元的跟踪器反馈，可二次分区或者合并以达到最佳系统效率。

在另外的一个实施例中，所述成像单元包括但不限于cmos/ccd传感器，光学镜头及辅助光源。

在另外的一个实施例中，所述通讯单元通过无线网络把分析结果发送到相关设备。

在另外的一个实施例中，所述通讯单元通过有线网络把分析结果发送到相关设备。

所述的机器学习的工业智能图像分割及识别系统的工作方法，包括

成像单元取得场景中的图像后，将场景图像与模板进行匹配，使得输入图像尽可能接近模板；

在图像匹配后，根据特定目标进行待检物体或缺陷标定；

根据标定结果与输入场景的对比，决定分区参数，将待检测背景区分成小块，；

学习阶段，基于人工标定的结果，训练神经网络单元，生成神经网络模型，并根据训练识别的速度及准确度决定是否返回上一步重新分区；

识别阶段，基于生成的神经网络模型，实时分析结果，并再取得更多数据后返回上一步优化网络模型；

最终生成识别结果并输出至通讯单元和控制单元。

附图说明

图1为本申请实施例提供的一种机器学习的工业智能图像分割及识别系统的工作方法的流程图。

图2为本申请实施例提供的一种机器学习的工业智能图像分割及识别系统的结构示意图。

图3为本申请实施例提供的一种机器学习的工业智能图像分割及识别系统中训练单元的工作示意图。

图4为本申请实施例提供的一种机器学习的工业智能图像分割及识别系统中识别单元的工作示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参阅图1到图4，一种机器学习的工业智能图像分割及识别系统，包括：

成像单元，所述成像单元对应用场景成像并转换成数字信号；

计算单元，所述计算单元包括:

匹配单元，所述匹配单元将所述成像单元生成的图像跟模板匹配，通过图像配准算法，将图像跟模板保持一致，通过图像变换，根据需求进行刚性或非刚性变换，为下一步图像分区做预处理；

分区单元，所述分区单元根据缺陷的大小来确定最佳分区大小便于进行深度学习处理；

训练单元，所述训练单元根据图像标定以及分区的结果输入深度学习的神经网络模型进行训练，并在学习到一定阶段后实时进行分析，并根据反馈结果调整分区器的分区方法，把分析结果发给识别单元及控制单元；以及

识别单元，所述根据训练单元的模型结果对后续数据进行分析及待检物体或缺陷查找；

通讯单元，所述通讯单元把分析结果发送到相关设备；以及

控制单元，所述控制单元根据分析结果来控制相关设备并通过显示端口输出结果到图像上。

上述机器学习的工业智能图像分割及识别系统和方法，利用图像匹配的技术来对齐输入图像并根据图像的特征进行分区，对于分区图进行人工智能的学习并分割图像找出图像中的待检测物体或者差异点，能更好的利用人工智能和计算机视觉系统进行自动化控制及缺陷查找，并能根据用户需求灵活配置系统参数。

在另外的一个实施例中，所述分区单元将roi(感兴趣区域)分为3x3一共9块等大小的图像。

在另外的一个实施例中，所述分区单元根据图像特征灵活分区mxn分区，其中，m，n可以为任意大于1的整数。

在另外的一个实施例中，所述分区单元根据所述训练单元的跟踪器反馈，可二次分区或者合并以达到最佳系统效率。

在另外的一个实施例中，所述成像单元包括但不限于cmos/ccd传感器，光学镜头及辅助光源。

在另外的一个实施例中，所述通讯单元通过无线网络把分析结果发送到相关设备。

在另外的一个实施例中，所述通讯单元通过有线网络把分析结果发送到相关设备。

所述的机器学习的工业智能图像分割及识别系统的工作方法，包括

成像单元取得场景中的图像后，将场景图像与模板进行匹配，使得输入图像尽可能接近模板；

在图像匹配后，根据特定目标进行待检物体或缺陷标定；

根据标定结果与输入场景的对比，决定分区参数，将待检测背景区分成小块，；

学习阶段，基于人工标定的结果，训练神经网络单元，生成神经网络模型，并根据训练识别的速度及准确度决定是否返回上一步重新分区；

识别阶段，基于生成的神经网络模型，实时分析结果，并再取得更多数据后返回上一步优化网络模型；

最终生成识别结果并输出至通讯单元和控制单元。

下面是本发明的一个具体应用场景：

如图2，包括以下组成部分

成像单元，包括但不限于cmos/ccd传感器，光学镜头及辅助光源，其主要核心功能是对应用场景成像并转换成数字信号；

计算单元，包括但不限于cpu/gpu/fpga/mcu，其主要核心功能是通过成像单元的输入结果处理，并把分析结果发给通讯单元及控制单元，其主要功能分为四个子模块，包括:

a.匹配单元，其主要功能是将输入图像跟模板匹配，通过图像配准算法，将图像跟模板尽量保持一致，通过图像变换，根据需求进行刚性或非刚性变换，主要目的是为下一步图像分区做预处理。

b.分区单元，其主要功能是根据缺陷的大小来确定最佳分区大小便于进行深度学习处理，比如将roi(感兴趣区域)分为3x3一共9块等大小的图像，或者根据图像特征灵活分区mxn分区，其中m，n可以为任意大于1的整数，此外根据训练单元的跟踪器反馈，可二次分区或者合并以达到最佳系统效率

c.训练单元

根据图像标定以及分区的结果输入深度学习的神经网络模型进行训练，并在学习到一定阶段后实时进行分析，并根据反馈结果调整分区器分区方法把分析结果发给应用单元及控制单元

d.应用单元

根据训练单元的模型结果对后续数据进行分析及待检物体或缺陷查找

通讯单元，主要功能通过无线或有线网络把分析结果发送到相关设备

控制单元，主要功能根据分析结果来控制相关设备并通过显示端口输出结果到图像上

具体工作流程如下，如图3所示

1.成像单元取得场景中的图像后，将场景图像与模板进行匹配，(模板通常为金标准数据，根据需求取得的最佳无损数据)，使得输入图像尽可能接近模板

2.在图像匹配后，根据特定目标进行待检物体或缺陷标定；

3.根据标定结果与输入场景的对比，决定分区参数，将待检测背景区分成小块，其目的是使得标定数据与分区小块有适当的比例；

4.学习阶段，基于人工标定的结果，训练神经网络单元，生成神经网络模型，并根据训练识别的速度及准确度决定是否返回上一步重新分区；

5.应用阶段，基于生成的神经网络模型，实时分析结果，并再取得更多数据后返回上一步进一步优化网络模型

6.最终生成识别结果并输出至通讯及控制单元。

所述系统，部署在应用场景中，针对特定物件进行图像抓取，在数据收集阶段，图像标定软件通过人为以及计算机辅助方式就行标定，将待检测物体或缺陷就行标定生成标定图，此后根据预先制定的模板进行匹配，匹配完成后，标定图按照同样的几何变换就行匹配。根据标定的待检物体或缺陷大小相对于图像的比例生成分区参数后对匹配图像分区；

在训练阶段，标定图和分区图作为输入运用于深度学习的图像分割模型，并通过控制器设定模型参数，并根据输入图像对参数就行输入神经网络训练器进行模型训练，当训练模型参数收敛后，检测系统根据训练后的神经网络模型进行判别是否达到最优效率，如没有则重新调整分区参数并对标定图和匹配图重新分区，重新训练模型并重复这一过程直到最优结果，当系统性能达到系统预设要求后，可运用于实际检测，模型具备可应用可复制性；

在检测阶段，输入图像同样先根据同样的模板进行图像匹配，并运用最佳分区参数进行分区，此后分区图及分割模型作为分割器查找待检测物体或缺陷。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。