工业图像检测和分类识别方法、装置、系统及存储介质与流程

1.本技术涉及工业检测技术领域，具体而言，涉及一种工业图像检测和分类识别方法、装置、系统及存储介质。


背景技术：

2.随着工业检测系统的发展，使得检测任务也趋于多样化。
3.在工业生产条件下，通过检测系统检测产品缺陷的位置信息、类型信息等，以及通过分类模型对检测的结果进行筛选，目前，主要通过部署不同类型的检测模型实现不同的检测任务。
4.然而，对于每条生产线需要运行多个检测模型，导致降低检测系统的鲁棒性。


技术实现要素：

5.为了解决多个检测模型导致检测系统的鲁棒性降低的问题，本技术提供了一种工业图像检测和分类识别方法、装置、系统及存储介质。
6.本技术的实施例是这样实现的：
7.本技术实施例的第一方面提供一种工业图像检测和分类识别方法，包括如下步骤：
8.基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化，其中，检测网络模型是由包含缺陷目标的待检测图像训练获得的；
9.将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果；
10.对每个预测结果通过加权法进行投票，确定缺陷目标的种类信息和位置信息。
11.结合第一方面，在一种可能的实现方式中，将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果，包括：
12.通过检测网络输出预测边界框，确定待检测图像中过检图像的假阳边界框，以及将假阳边界框作为总样本集；
13.对总样本集通过随机抽取的方式确定m个子样本集；
14.将m个子样本集通分别输入m个分类模块，确定每个分类模块的预测结果；
15.其中，m为奇数。
16.结合第一方面，在一种可能的实现方式中，训练m个分类模型，包括：
17.将对应子样本集的最大值，对分类模块初始化；
18.将子样本集基于预设比例划分为训练集和验证集；
19.基于训练集和验证集训练分类模型。
20.结合第一方面，在一种可能的实现方式中，对每个预测结果通过加权法进行投票，包括：
21.基于假阳边界框的精度，确定每个分类模型的预测结果的权值；
22.将每个分类模型的预测结果与分类模型的预测结果的权值相乘后求和，获得其投票数；
23.其中，权值的范围为0-1。
24.结合第一方面，在一种可能的实现方式中，检测网络模型是由包含缺陷目标的待检测图像训练获得的，包括：
25.获取待检测图像，待检测图像具有缺陷目标；
26.基于待检测图像，训练检测网络模型的检测网络，其中，训练过程中对待检测图像进行在线增广。
27.结合第一方面，在一种可能的实现方式中，在线增广包括水平镜像、垂直镜像、预设角度旋转、预设方向平移，尺寸缩放。
28.本技术实施例的第二方面提供一种工业图像检测和分类识别装置，包括检测模块、分类校正模块。
29.检测模块，用于基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化，其中，检测网络模型是由包含缺陷目标的待检测图像训练获得的；
30.分类校正模块，用于将回归优化后的输出预测边界框中的假阳边界框通过m个分类模型，确定每个分类模块的预测结果；
31.分类校正模块，还用于对每个预测结果通过加权法进行投票，确定缺陷目标的种类信息和位置信息。
32.结合第二方面，在一种可能的实现方式中，包括检测模块和分类校正模块封装为单一模型。
33.本技术实施例的第三方面提供一种工业图像检测和分类识别系统，包括存储器和处理器，存储器用于存储工业图像检测和分类识别程序，处理器运行工业图像检测和分类识别程序以使工业图像检测和分类识别系统执行发明内容工业图像检测和分类识别方法。
34.本技术实施例的第四方面提供一种计算机可读存储介质，计算机可读存储介质上存储有工业图像检测和分类识别程序，工业图像检测和分类识别程序被处理器执行时实现发明内容工业图像检测和分类识别方法。
35.本技术的有益效果；基于联合通道和空间注意力机制，可实现对检测网络的输出预测边界框进行回归优化；进一步将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，可实现确定每个分类模块的预测结果；进一步对每个预测结果通过加权法进行投票，可实现确定缺陷目标的种类信息和位置信息。通过具有关于过检的针对性强的分类模块，降低检测系统的鲁棒性。
附图说明
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1示出了本技术实施例提供一种工业图像检测和分类识别方法的流程示意图；
38.图2示出了本技术实施例提供一种工业图像检测和分类识别方法中检测网络模型
确定的流程示意图；
39.图3示出了本技术实施例提供一种工业图像检测和分类识别方法中每个分类模块的预测结果确定的流程示意图；
40.图4示出了本技术实施例提供一种工业图像检测和分类识别方法中分类模块训练的流程示意图；
41.图5示出了本技术实施例提供一种工业图像检测和分类识别方法中每个预测结果通过加权法的流程示意图；
42.图6示出了本技术实施例提供一种工业图像检测和分类识别装置的结构示意图；
43.图7示出了本技术实施例提供一种工业图像检测和分类识别系统的结构示意图。
具体实施方式
44.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
45.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
46.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
47.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
48.在工业生产条件下，通过检测系统同时检测产品缺陷的位置信息、类型信息等，以及通过分类模型对检测的结果进行筛选，目前通常通过部署不同类型的检测模型实现不同的检测任务，使得每条生产线上同时运行多个检测模型，甚至几十个检测模型，降低检测系统的鲁棒性，同时还对现场运营维护人员提出更高的能力要求。
49.在检测中，通常通过两个指标进行判断，分别是过检和漏检，其中，过检是指分类检测的预测结果中存在fp(false positives，假阳)目标，即假的缺陷被错误的认为是真的缺陷。
50.为提高检测系统的鲁棒性，本技术提供一种工业图像检测和分类识别方法、装置、系统及存储介质，基于联合通道和空间注意力机制，可实现对检测网络的输出预测边界框进行回归优化；进一步将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，可实现确定每个分类模块的预测结果；进一步对每个预测结果通过加权法进行投票，可实现确定缺陷目标的种类信息和位置信息。通过具有关于过检的针对性强的分类模块，降低检测系统的鲁棒性。
51.以下结合附图说明对本技术实施例的工业图像检测和分类识别方法、装置、系统及存储介质进行详细说明。
52.图1是本技术实施例提供的一种工业图像检测和分类识别方法的流程示意图，如
图1所示，本技术实施例提供一种工业图像检测和分类识别方法，包括如下步骤：
53.s110、基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化，其中，检测网络模型是由包含缺陷目标的待检测图像训练获得的。
54.联合通道和空间注意力机制，也可以称为联合通道注意力机制和空间注意力机制，通过同时使用空间注意力机制和通道注意力机制，保证获得到待测图像中可能存在的重点区域的同时，将不同图像通道的特征图赋予不同的权值，提升了缺陷目标的检出率。
55.通道注意力机制和空间注意力机制均以非局部注意力机制的方式实现，以捕获通道和空间位置方面的长范围的语义依赖。
56.其中，计算每个像素位置时，不仅计算单一像素点与其邻域，而是和待测图像中所有位置计算相关性。对感兴趣区域的像素点，对应于全局多个不同的位置，计算全局不同位置对应获得感兴趣区域中像素点的权重，累加感兴趣区域内像素点的权重。
57.遍历待测图像中每一个像素点，判别该像素点对应的类，以及像素点的权重，对检测网络的输出预测边界框进行回归优化。
58.在待测图像中确定目标的位置，输出其在待测图像中的坐标信息，可以依赖边界框回归模块定位目标，其中，目标为缺陷目标，边界框回归是指通过矩形边界框去预测缺陷目标对象在待测图像中的位置，还可以不断细化预测边界框的位置。
59.其中，不断细化预测边界框的位置可以通过定义边界框回归损失函数，计算回归损失值，然后进行反向梯度下降实现的。
60.图2是本技术实施例提供的一种工业图像检测和分类识别方法中检测网络模型确定的流程示意图，在步骤110基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化之前，检测网络模型的确定，如图2所示，检测网络模型的确定包括如下步骤：
61.s101、获取待检测图像，待检测图像具有缺陷目标。
62.s102、基于待检测图像，训练检测网络模型，其中，训练过程中对待检测图像进行在线增广。在线增广包括水平镜像、垂直镜像、预设角度旋转、预设方向平移，尺寸缩放。
63.检测网络模块可以是指同时给出备选框和其对应的判断结果，可以以yolo系列为代表。
64.例如，检测网络模型可以采用yolo v5 tiny为骨干网络。
65.采用检测网络模块，增加联合通道和空间注意力机制，加强对小目标的检出能力。
66.s120、将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果。
67.通过步骤110输出的预测边界框可能包括多种缺陷目标，从中选取假阳边界框，作为分类模型的输入。
68.应当理解的是，为了提高针对假阳目标的识别和分类，对分类模型训练时，输入数据通过假阳边界框确定，实现在降低运算能力、推理能力，提高假阳目标的位置信息和类别信息的输出。
69.图3是本技术实施例提供的一种工业图像检测和分类识别方法中每个分类模块的预测结果确定的流程示意图，在步骤120中将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果，如图3所示，每个分类模块的预测结果
的确定包括如下步骤：
70.s121、通过检测网络输出预测边界框，确定待检测图像中过检图像的假阳边界框，以及将假阳边界框作为总样本集。
71.其中，在检测网络输出预测边界框中确定待检测图像中过检图像的假阳边界框，将假阳边界框从预测边界框中单独提取除后，可以使得分类模型具有针对性。
72.s122、对总样本集通过随机抽取的方式确定m个子样本集。
73.对于总样本集，通过随机抽取的方式确定子样本集，可以确保每个子样本集之间存在差异。
74.在一些实施例中，随机抽取方式，可以通过对总样本集中的每个假阳边界框进行编号，通过预设的编号进行随机抽取。
75.子样本集的个数m是根据分类模块的需求设定的。
76.s123、将m个子样本集通分别输入m个分类模块，确定每个分类模块的预测结果，其中，m为奇数。
77.通过将分类模块的个数设置为奇数，便于在之后的判断中，可以从不同的分类模块的预测结果中更好的确定缺陷目标的种类信息和位置信息。
78.例如，可以设置分类模块的数量m为3，在一些复杂的应用场景下，可以通过增加分类模块的数量提高其输出结果的准确率，例如，设置分类模块的数量m为5。
79.图4是本技术实施例提供的一种工业图像检测和分类识别方法中分类模块训练的流程示意图，在步骤123中将m个子样本集通分别输入m个分类模块，如图4所示，训练m个分类模型，包括如下步骤：
80.s1231、将对应子样本集的最大值，对分类模块初始化。
81.s1232、将子样本集基于预设比例划分为训练集和验证集。
82.s1233、基于训练集和验证集训练分类模型。
83.通过m个由不同的假阳边界框构成的子样本集，训练不同的分类模型。
84.s130、对每个预测结果通过加权法进行投票，确定缺陷目标的种类信息和位置信息。
85.图5是本技术实施例提供的一种工业图像检测和分类识别方法中每个预测结果通过加权法的流程示意图，在步骤130中对每个预测结果通过加权法进行投票，如图5所示，对每个预测结果通过加权法进行投票，包括如下步骤：
86.s131、基于假阳边界框的精度，确定每个分类模型的预测结果的权值；其中，权值的范围为0-1。
87.每个分类模型的权值与其训练过程中每轮的评估结果相关，也是就其中假阳边界框的精度，当过检目标(假阳边界框)越多，则对应的权值也越高，反之则会降低。
88.s132将每个分类模型的预测结果与分类模型的预测结果的权值相乘后求和，获得其投票数。
89.通过训练多个针对假阳的分类模块，并基于对每个预测结果通过加权投票，确定缺陷目标的种类信息和位置信息，降低检测网络模块过检，同时提高输出的缺陷目标的准确率。
90.分类模型只学习缺陷目标的过检结果。将每个分类模型的输出预测结果赋予不同
的权值并进行排序，同时进行多分类模型投票，最终输出缺陷目标的位置和类别信息。
91.本技术实施例提供一种工业图像检测和分类识别方法，基于联合通道和空间注意力机制，可实现对检测网络的输出预测边界框进行回归优化；进一步将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，可实现确定每个分类模块的预测结果；进一步对每个预测结果通过加权法进行投票，可实现确定缺陷目标的种类信息和位置信息。通过具有关于过检的针对性强的分类模块，降低检测系统的鲁棒性。
92.图6是本技术实施例提供的一种工业图像检测和分类识别装置的结构示意图，如图6所示，本技术实施例提供一种工业图像检测和分类识别装置600，包括检测模块601和分类校正模块602。
93.检测模块601，用于基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化，其中，检测网络模型是由包含缺陷目标的待检测图像训练获得的。
94.分类校正模块602，用于将回归优化后的输出预测边界框中的假阳边界框通过m个分类模型，确定每个分类模块的预测结果；还用于对每个预测结果通过加权法进行投票，确定缺陷目标的种类信息和位置信息。
95.检测模块和分类校正模块构成工业图像检测和分类识别装置，检测模块负责给出缺陷的位置和类别信息；分类校正模块负责校正检测模块的输出结果，降低检测模型的过检。采用现场采集的包含缺陷目标的产品数据集来训练检测模块，检测模块输出的过检图像，训练分类模块。
96.应当理解的是过检图像的大小与待测图像对应，通过在预测边界框中确定假阳边界框，不断细化预测边界框的位置。
97.在一些实施例中，检测模块和分类校正模块封装为单一模型，通过将检测模块和分类校正模块封装为单一模型可以降低工业图像检测和分类识别装置在现场训练和维护的成本，以及提高工业图像检测和分类识别装置的鲁棒性。
98.在一些实施例中，分类校正模块602，还用于：
99.通过检测网络输出预测边界框，确定待检测图像中过检图像的假阳边界框，以及将假阳边界框作为总样本集；对总样本集通过随机抽取的方式确定m个子样本集；将m个子样本集通分别输入m个分类模块，确定每个分类模块的预测结果；其中，m为奇数。
100.在一些实施例中，分类校正模块602，还用于：
101.将对应子样本集的最大值，对分类模块初始化；将子样本集基于预设比例划分为训练集和验证集；基于训练集和验证集训练分类模型。
102.在一些实施例中，分类校正模块602，还用于：
103.基于假阳边界框的精度，确定每个分类模型的预测结果的权值；将每个分类模型的预测结果与分类模型的预测结果的权值相乘后求和，获得其投票数；其中，权值的范围为0-1。
104.在一些实施例中，工业图像检测和分类识别装置还包括获取模块，获取模块用于：
105.获取待检测图像，待检测图像具有缺陷目标；基于待检测图像，训练检测网络模型的检测网络，其中，训练过程中对待检测图像进行在线增广。其中，在线增广包括水平镜像、垂直镜像、预设角度旋转、预设方向平移，尺寸缩放。
106.所述述装置中各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模
块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
107.图7是本技术实施例提供的一种工业图像检测和分类识别系统的结构示意图，如图7所示，本技术实施例提供的一种工业图像检测和分类识别系统包括存储器和处理器，存储器用于存储工业图像检测和分类识别程序，处理器运行工业图像检测和分类识别程序以使工业图像检测和分类识别系统执行工业图像检测和分类识别方法。
108.处理器执行工业图像检测和分类识别程序时，实现以下步骤：
109.基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化，其中，检测网络模型是由包含缺陷目标的待检测图像训练获得的；将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果；对每个预测结果通过加权法进行投票，确定缺陷目标的种类信息和位置信息。
110.在一些实施例中，将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果，包括：
111.通过检测网络输出预测边界框，确定待检测图像中过检图像的假阳边界框，以及将假阳边界框作为总样本集；对总样本集通过随机抽取的方式确定m个子样本集；将m个子样本集通分别输入m个分类模块，确定每个分类模块的预测结果；其中，m为奇数。
112.在一些实施例中，训练m个分类模型，包括：
113.将对应子样本集的最大值，对分类模块初始化；将子样本集基于预设比例划分为训练集和验证集；基于训练集和验证集训练分类模型。
114.在一些实施例中，对每个预测结果通过加权法进行投票，包括：
115.基于假阳边界框的精度，确定每个分类模型的预测结果的权值；将每个分类模型的预测结果与分类模型的预测结果的权值相乘后求和，获得其投票数；其中，权值的范围为0-1。
116.在一些实施例中，检测网络模型是由包含缺陷目标的待检测图像训练获得的，包括：
117.获取待检测图像，待检测图像具有缺陷目标；基于待检测图像，训练检测网络模型的检测网络，其中，训练过程中对待检测图像进行在线增广。其中，在线增广包括水平镜像、垂直镜像、预设角度旋转、预设方向平移，尺寸缩放。
118.本技术实施例提供一种工业图像检测和分类识别系统，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
119.本技术实施例提供的一种计算机可读存储介质，计算机可读存储介质上存储有工业图像检测和分类识别程序，工业图像检测和分类识别程序被处理器执行时，实现以下步骤：
120.基于联合通道和空间注意力机制，对检测网络的输出预测边界框进行回归优化，其中，检测网络模型是由包含缺陷目标的待检测图像训练获得的；将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果；对每个预测结果通过加权法进行投票，确定缺陷目标的种类信息和位置信息。
121.在一些实施例中，将回归优化后的输出预测边界框中的假阳边界框训练m个分类模型，确定每个分类模块的预测结果，包括：
122.通过检测网络输出预测边界框，确定待检测图像中过检图像的假阳边界框，以及将假阳边界框作为总样本集；对总样本集通过随机抽取的方式确定m个子样本集；将m个子样本集通分别输入m个分类模块，确定每个分类模块的预测结果；其中，m为奇数。
123.在一些实施例中，训练m个分类模型，包括：
124.将对应子样本集的最大值，对分类模块初始化；将子样本集基于预设比例划分为训练集和验证集；基于训练集和验证集训练分类模型。
125.在一些实施例中，对每个预测结果通过加权法进行投票，包括：
126.基于假阳边界框的精度，确定每个分类模型的预测结果的权值；将每个分类模型的预测结果与分类模型的预测结果的权值相乘后求和，获得其投票数；其中，权值的范围为0-1。
127.在一些实施例中，检测网络模型是由包含缺陷目标的待检测图像训练获得的，包括：
128.获取待检测图像，待检测图像具有缺陷目标；基于待检测图像，训练检测网络模型的检测网络，其中，训练过程中对待检测图像进行在线增广。其中，在线增广包括水平镜像、垂直镜像、预设角度旋转、预设方向平移，尺寸缩放。
129.本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
130.以下段落将对本技术说明书中涉及的中文术语、及其对应的英文术语进行对比罗列，以便于阅读、理解。
131.为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。