基于轮廓提取的工业图像特征识别方法及系统与流程

本发明涉及图像特征识别技术领域，更为具体地，涉及一种基于轮廓提取的工业图像特征识别方法及系统。

背景技术

近几年深度学习技术在图像信息理解方面取得了突破性进展，深度学习在图像分类准确率逐渐达到工业特征检测要求的准确率，由于工业检测中有相当一部分问题传统图像处理解决难度较大目前主要靠人工识别，因此需要考虑工业检测全自动化工厂需要替代人工识别，其中，深度学习的图像检测机制三部分：1、模型及相关参数载入；2、原始图像获取；3、算法检测结果回传。深度学习图像处理方面主要的方向有：分类、检测、分割。

深度学习图像分类模型在做图像分类(可扩展卷积神经网络做图像分类的相关技术，其中，做图像分类可采用多种方法进行分类，可扩展卷积神经网络技术是做图像分类中的一种技术)，最终的输出为图像的类别和图像类别的置信度，其中，深度学习图像检测模型在做图像检测(如：fasterrcnnrfcnyolo等技术)时，每种方法都有自己提取候选框的方式，针对候选框做筛选后对所检测的模型完成分类和位置确认，最终会返回图像类别置信度和当前框的位置信息。深度学习图像分割模型在做图像分割时返回的是：标注信息的掩码根据掩码的不同色彩值区分不同的类别；对抗神经网络(gan)其中的一项应用是做分割的训练，返回分割训练结果(mask掩码)与深度学习图像分割模型在图像分割时标注信息的掩码一致。

技术实现要素：

鉴于上述问题，本发明的目的是提供一种基于轮廓提取的工业图像特征识别方法及系统，以解决目前难度较大的图像处理主要靠人工识别的问题。

本发明提供一种基于轮廓提取的工业图像特征识别方法，包括：

提取工业原始图像的特征轮廓信息，根据所述特征轮廓信息划分所述工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；

对所述各部分检测区域进行特征识别检测；

对所述各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。

此外，优选的方案是，通过深度学习模型提取工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。

此外，优选的方案是，通过训练深度学习模型对所述各部分检测区域进行特征识别检测。

此外，优选的方案是，在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个gpu运行所述各部分检测区域。

此外，优选的方案是，通过工业相机拍摄图像获取工业原始图像。

本发明还提供一种基于轮廓提取的工业图像特征识别系统，包括：

特征轮廓提取模块，用于提取工业原始图像的特征轮廓信息，根据所述特征轮廓信息划分所述工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；

特征识别检测模块，用于对所述各部分检测区域进行特征识别检测；

检测结果整合返回模块，用于对所述各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。

此外，优选的方案是，所述特征轮廓提取模块通过深度学习模型提取工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。

此外，优选的方案是，所述特征识别检测模块通过训练深度学习模型对所述各部分检测区域进行特征识别检测。

此外，优选的方案是，所述特征识别检测模块在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个gpu运行所述各部分检测区域。

从上面的技术方案可知，本发明提供的基于轮廓提取的工业图像特征识别方法及系统，通过提取原始图像的特征轮廓和对提取的特征轮廓进行特征识别检测，并将检测结果返回，采用这种图像特征识别方法，能够解决目前难度较大的图像处理主要靠人工识别的问题，从而提高识别效率，完成工业检测全自动化的目的。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于轮廓提取的工业图像特征识别方法流程示意图；

图2为根据本发明实施例的基于轮廓提取的工业图像特征识别系统框图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。

工业图像检测通常是用分辨率较高的高清相机拍摄工件图像，这些分辨率很高的图像直接交给深度学习模型检测时，并不能满足深度学习模型对尺寸的要求，通常深度学习检测的图像大小在(224—768)之间，而且图像输入越大，深度学习模型的参数会越多，图像的检测时间会越长，则满足不了实际检测的效率需要。如果将高分辨率图像直接压缩为模型所需要的分辨率大小，又会损失图像细节，造成检测精度的下降。

工业图像在拍摄的时候，一个镜头所拍摄可能为工件的不同的部分，对不同部分的检测需要的训练模型不一样(分类，检测，分割，gan，或者配合使用)，而且深度学习模型对特征的识别也有自己的特点(大小，形状，颜色等)，工业图像检测的要求是对这样一张图像，需要综合各个部分检测的结果，呈现一个最终的检测结论等，需要将各部分检测的结果呈现一个。

在完成对图像检测多区域的获取后，在将图像放入深度学习模型检测检测之前，需要将截取部分按照实际模型的输入大小尺寸，返回的结果也是在这个基础上返回的，需要将结果映射回原图中。

在实际使用本方法的过程中，工件区域轮廓的提取需要根据实际情况来决定，通常综合考虑以下几个方面：a、模型的输入，即：根据模型的实际要求输入合适的图像，b、工件的图像特征，裁切后是否破坏整体特征，即：根据实际应用，裁切后保留需要检查的区域即可；c、检测需要满足的效率，即：根据检测实际需求，选定合适的图像分辨率，以提高检测效率；d、轮廓对问题的覆盖程度。

其中，需要说明的是，轮廓之间是可以有重叠的，因为有的深度学习模型对全局特征敏感，有的深度学习模型对局部细小特征敏感，配合使用才能使最终的特征识别更加完整。

以下将结合附图对本发明的具体实施例进行详细描述。

为了说明本发明提供的基于轮廓提取的工业图像特征识别方法，图1示出了根据本发明实施例的基于轮廓提取的工业图像特征识别方法流程。

如图1所示，本发明提供的基于轮廓提取的工业图像特征识别方法，包括：s110：提取工业原始图像的特征轮廓信息，根据特征轮廓信息划分工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；

s120：对各部分检测区域进行特征识别检测；

s130：对各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。

在步骤s110中，通过深度学习模型提取工业原始图像的特征轮廓信息，特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。

具体地，工业原始图像来源于工业相机等数据源，将这些数据源信息转换成相关的图像格式后提取图像相关轮廓信息。

其中，对图像轮廓信息的提取可以使用传统方法，也可以使用深度学习模型的方法，在图像目标提取的时候记录目标提取的位置(目标的起始点、长宽)，并将位置信息传入后续单独位置判断(检测、分割、gan)的模型中方便他将局部结果修改为全局结果返回并展示。

在步骤s120中，通过训练深度学习模型对各部分检测区域进行特征识别检测。其中，在通过训练深度学习模型对各部分检测区域进行特征识别检测的过程中，采用多个gpu运行所述各部分检测区域。

具体地，通过根据步骤s110中传递来的图像的特征轮廓信息，完成特征的识别检测和局部结果的返回。特征的识别检测可以是由传统图像处理部分返回结果，也可由经过训练的深度学习模型返回结果，可以是单个模型，也可以是模型的组合(分类/检测/分割/gan)，即对上述步骤s110的划分的各个区域进行检测，根据需要采用模型组合的方式。

其中，单独的特征识别检测部分可以独立执行结果的反馈，可以将检测结果在输入的图像上标出作为局部特征返回给上层直接的结果，即：获取图像信息+检测结果信息，也可以只返回检测结果信息。

此外，为了提高图像识别检测结果的效率，可以使用多gpu(模型计算单元)运行不同区域检测的方式提高效率。

在步骤s130中，主要由实际问题需求决定，比如：是对一个图像特征识别场景综合评价输出整体结论，还是对其中几个裁切的轮廓输出部分综合结论，这部分可以根据实际业务的需要进行参数的控制，比如类别置信度的选取，根据置信度选择特征标识的位置等；即：根据实际需求，对图像特征识别输出所需求的结论。

其中，根据步骤s110获取的裁切位置的起始点信息和长宽，可以将各个部分检测的结果(特征识别的位置信息)，分割/gan生成的mask。

在步骤s130中可以根据实际需要扩充，将不同部分的特征按照业务的实际需要分发到不同的场景中，可以直接在本地原图展示，也可以将步骤s110的处理结果直接展示，也可以将信息传递的业务需要的位置展示。

在本发明一个具体的实施例中，假设一幅图片中有三个工件，这个检测场景要检测两个项，1、这副图片中必须要有三个工件，如果数量不足三个，为不合格；2.每个工件上不允许有划痕，如果有划痕，要找出划痕位置。

那么此图片检测的两个问题：

1、如果整张图片输入模型给分割算法检测划痕，达不到瑕疵检测要求，于是将工件位置裁切出来，单独送给分割算法定位划痕问题。

2、因为必须保证图像中工件必须出现三次，单独用分类模型/检测模型能解决这个问题。

采用本发明的方法进行如下检测：

第一：整体图像训练一个模型，检测必须同时三个工件的问题。

第二：单个工件训练划痕瑕疵检测模型，每个的结果都返回原图标注；

第三：最后整合四个模型的信息，作为工件是okng的显示。其中，具体显示内容根据实际业务需要，可以只显示整体的okng，也可以显示不足三个工件ng+每个工件划痕maskng。

与上述方法相对应，本发明还提供一种基于轮廓提取的工业图像特征识别系统，图2示出了根据本发明实施例的基于轮廓提取的工业图像特征识别系统逻辑结构。

如图2所示，本发明提供的基于轮廓提取的工业图像特征识别系统200，包括：特征轮廓提取模块210、特征识别检测模块220和检测结果整合返回模块230。

其中，特征轮廓提取模块210，用于提取工业原始图像的特征轮廓信息，根据特征轮廓信息划分工业原始图像的各部分检测区域，以及确定各部分检测区域的位置；

特征识别检测模块220，用于对各部分检测区域进行特征识别检测；

检测结果整合返回模块230，用于对各部分检测区域的检测结果进行整合，并将整合后的检测结果返回。

其中，特征轮廓提取模块210通过深度学习模型提取工业原始图像的特征轮廓信息，所述特征轮廓信息包括：对检测区域区分定位、对检测区域裁切和缩放。

其中，特征识别检测模块220通过训练深度学习模型对所述各部分检测区域进行特征识别检测。此外，征识别检测模块220在通过训练深度学习模型对所述各部分检测区域进行特征识别检测的过程中，采用多个gpu运行所述各部分检测区域。

通过上述实施方式可以看出，本发明提供的基于轮廓提取的工业图像特征识别方法及系统，通过提取原始图像的特征轮廓和对提取的特征轮廓进行特征识别检测，并将检测结果返回，采用这种图像特征识别方法，能够解决目前难度较大的图像处理主要靠人工识别的问题，从而提高识别效率，完成工业检测全自动化的目的。

如上参照附图以示例的方式描述了根据本发明提出的基于轮廓提取的工业图像特征识别方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于轮廓提取的工业图像特征识别方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。