样本采集检测方法、设备及存储介质

1.本发明涉及图像处理领域，特别涉及一种样本采集检测方法、设备及存储介质。


背景技术：

2.样本采集是指从大批次被测物品中抽取一部分具有代表性的样本进行分析，在生产工作中，制作完成的产品需要进行检测以管控出产品质。
3.对于需要进行外观检测的物品，相关技术中，采样检测的工作是通过人工进行的，主要通过人工目视直接对产品的外观进行检测，或者通过摄像设备采集图像后通过人工进行分析图像实现检测，这样的采样检测效率低，且人工检测的品质难以管控，检测质量低。如何提高检测效率以及检测质量是亟待讨论和解决的问题。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供了一种样本采集检测方法、设备及存储介质，旨在提高采样检测的效率以及采样检测的质量。
5.本发明第一方面实施例提供样本采集检测方法，包括：
6.采集待测区域内的原始图像；
7.提取原始图像中的检测目标，得到多个目标特征；
8.对目标特征进行分类，并通过不同颜色的边界框在原始图像中根据分类后的目标特征进行划分，得到多个第一分类样本图；
9.对第一分类样本图进行识别，并对分类出错的第一分类样本图进行修改，得到修正特征图；
10.将未修改的第一分类样本图和修正特征图作为分类检测结果输出。
11.根据本发明的上述实施例，至少具有如下有益效果：先对待测区域采集原始图像，再对原始图像中的检测目标进行特征提取并分类，根据目标特征并以不同颜色的边界框对原始图像划分为多个第一分类样本图，第一分类样本图用于突出原始图像中的检测目标的位置，对第一分类样本图进行识别并对分类出错的第一分类样本图进行修正并覆盖，最终输出的分类检测结果包括第一分类样本图和修正特征图。通过图像处理的方式对原始图像进行采样检测分析，能够有效节省人工成本并有效减少人工作业带入的误差，采样检测效率高、质量好，在得到目标特征之后还进行分类工作并且对第一分类样本图进行识别修改，得到的检测结果可靠，且进行了分类的结果能够方便用户使用。
12.根据本发明第一方面的一些实施例，采集待测区域内的原始图像，包括：
13.对待测区域进行拍摄，得到拍摄图像；
14.检测到拍摄图像中包含待测物体，将包含待测物体的拍摄图像作为原始图像。
15.根据本发明第一方面的一些实施例，提取原始图像中的检测目标，得到多个目标特征，包括：
16.通过特征点检测算法对原始图像中的检测目标进行特征提取，得到多个目标特
征。
17.根据本发明第一方面的一些实施例，通过特征点检测算法对原始图像中的检测目标进行特征提取，得到多个目标特征，还包括：
18.对原始图像进行增亮处理，得到高亮图；
19.通过特征点检测算法对高亮图中的检测目标进行特征提取，得到多个目标特征。
20.根据本发明第一方面的一些实施例，对目标特征进行分类，并通过不同颜色的边界框在原始图像中根据分类后的目标特征进行划分，得到多个第一分类样本图，包括：
21.通过特征分类模型对目标特征进行分类，得到多个目标类型；
22.将原始图像中属于不同目标类型的目标特征以不同颜色的边界框包围，得到多个与各边界框对应的第一分类样本图。
23.根据本发明第一方面的一些实施例，将原始图像中属于不同目标类型的目标特征以不同颜色的边界框包围，得到多个与各边界框对应的第一分类样本图，包括：
24.通过边界框预测模型对原始图像中的目标特征进行边界框划分，得到多个边界框对应的第二分类样本图；
25.根据各第二分类样本图对应的目标类型，将对应的边界框调节为不同的颜色，得到多个第一分类样本图；
26.根据时间顺序和第一分类样本图的边界框的颜色进行分类储存，以供查询使用。
27.根据本发明第一方面的一些实施例，对第一分类样本图进行识别，并对分类出错的第一分类样本图进行修改，得到修正特征图，包括：
28.通过分类识别模型对第一分类样本图进行识别，得到识别结果；
29.当识别结果为分类出错，对第一分类样本图进行修改，得到修正特征图并对被修改的第一分类样本图进行替换。
30.根据本发明第一方面的一些实施例，分类识别模型是通过gan网络进行监督训练的神经网络模型，分类识别模型用于对第一分类样本图进行类型识别并与边界框的颜色进行比较，以得到识别结果。
31.本发明第二方面实施例提供一种电子设备，包括：
32.存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面任意一项的样本采集检测方法。
33.由于第二方面实施例的电子设备应用第一方面任意一项的样本采集检测方法，因此具有本发明第一方面的所有有益效果。
34.根据本发明第三方面实施例提供的一种计算机存储介质，存储有计算机可执行指令，计算机可执行指令用于执行第一方面任意一项的样本采集检测方法。
35.由于第三方面实施例的计算机存储介质可执行第一方面任意一项的样本采集检测方法，因此具有本发明第一方面的所有有益效果。
36.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
37.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得
明显和容易理解，其中：
38.图1是本发明实施例的样本采集检测方法的主要步骤图；
39.图2是图1中s100的具体步骤示意图；
40.图3是图1中s200的具体步骤示意图；
41.图4是图3中s210的具体步骤示意图；
42.图5是图1中s300的具体步骤示意图；
43.图6是图5中s320的具体步骤示意图；
44.图7是图1中s400的具体步骤示意图；
45.图8是边界框预测模型的处理流程示意图；
46.图9是图1中步骤s400之前的简化流程示意图；
47.图10是发明实施例的样本采集检测方法的具体处理流程示意图。
具体实施方式
48.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
49.样本采样通常简称采样，是一种取样方式，是一种科学研究方法，样本采集是指从大批次被测物品中抽取一部分具有代表性的样本进行分析，采样时通常考虑样本的代表性、典型性、时效性、以及样本检测的程序性。在生产工作中，制作完成的产品需要进行检测以管控出产品质。
50.对于需要进行外观检测的物品，相关技术中，采样检测的工作是通过人工进行的，主要通过人工目视直接对产品的外观进行检测，或者通过摄像设备采集图像后通过人工进行分析图像实现检测，这样的采样检测效率低，且人工检测的品质难以管控，正确率无法保证，检测质量低。如何提高检测效率以及检测质量是亟待讨论和解决的问题。
51.下面参照图1至图10描述本发明一种样本采集检测方法、设备及存储介质，旨在提高采样检测的效率以及采样检测的质量。
52.参考图1所示，根据本发明第一方面实施例的样本采集检测方法，包括但不限于以下步骤：
53.s100：采集待测区域内的原始图像；
54.s200：提取原始图像中的检测目标，得到多个目标特征；
55.s300：对目标特征进行分类，并通过不同颜色的边界框在原始图像中根据分类后的目标特征进行划分，得到多个第一分类样本图；
56.s400：对第一分类样本图进行识别，并对分类出错的第一分类样本图进行修改，得到修正特征图；
57.s500：将未修改的第一分类样本图和修正特征图作为分类检测结果输出。
58.先对待测区域采集原始图像，再对原始图像中的检测目标进行特征提取并分类，
根据目标特征并以不同颜色的边界框对原始图像划分为多个第一分类样本图，第一分类样本图用于突出原始图像中的检测目标的位置，对第一分类样本图进行识别并对分类出错的第一分类样本图进行修正并覆盖，最终输出的分类检测结果包括第一分类样本图和修正特征图。通过图像处理的方式对原始图像进行采样检测分析，能够有效节省人工成本并有效减少人工作业带入的误差，采样检测效率高、质量好，在得到目标特征之后还进行分类工作并且对第一分类样本图进行识别修改，得到的检测结果可靠，且进行了分类的结果能够方便用户使用。
59.可以理解的是，参照图2所示，步骤s100，采集待测区域内的原始图像，包括但不限于以下步骤：
60.s110：对待测区域进行拍摄，得到拍摄图像；
61.s120：检测到拍摄图像中包含待测物体，将包含待测物体的拍摄图像作为原始图像。
62.具体的，步骤s110为：在预设的分辨率下，通过摄像头对待测区域拍摄图像，拍摄时保持摄像头水平，以减少图像的畸变。上述预设的分辨率可以设置为3000*2000dpi。
63.可以理解的是，参照图3所示，步骤s200：提取原始图像中的检测目标，得到多个目标特征，包括但不限于以下步骤：
64.s210：通过特征点检测算法对原始图像中的检测目标进行特征提取，得到多个目标特征。
65.需要说明的是，特征点算法又称orb(oriented fast and rotated brief)算法，分为两部分，分别是特征点提取和特征点描述，特征点提取是由fast(features from accelerated segment test)算法发展而来的，特征点描述是根据brief(binary robust independent elementary features)算法改进的。特征点算法是先找出卓尔不群的点，并拿它与周围的点进行比较，如果发现找出的点与周围的点都不一样，则认为它是一个特征点，进行特征提取。一个特征点可以看作是一个样本，通过以上方法对原始图像进行特征提取以提取所有的检测目标，得到多个特征目标，特征提取的速度快、准确率高。提取得到的目标特征保存并作为后续s300步骤中进行分类的样本。
66.可以理解的是，参照图4所示，步骤s210，通过特征点检测算法对原始图像中的检测目标进行特征提取，得到多个目标特征，还包括但不限于以下步骤：
67.s211：对原始图像进行增亮处理，得到高亮图；
68.s212：通过特征点检测算法对高亮图中的检测目标进行特征提取，得到多个目标特征。
69.步骤s211，通过对原始图像的亮度实现增强，进而能够提高原始图像的对比度，在通过步骤s212进行特征提取时，高亮图的对比度高能够提高检测目标的特征提取准确率，可减少出现特征漏提取的问题。
70.可以理解的是，参照图5所示，步骤s300，对目标特征进行分类，并通过不同颜色的边界框在原始图像中根据分类后的目标特征进行划分，得到多个第一分类样本图，包括但不限于以下步骤：
71.s310：通过特征分类模型对目标特征进行分类，得到多个目标类型，其中，目标类型用于表征目标特征被分类后所属的类型；
72.s320：将原始图像中属于不同目标类型的目标特征以不同颜色的边界框包围，得到多个与各边界框对应的第一分类样本图。
73.不同颜色的边界框将原始图像中对应的目标类型进行包围之后，原始图像中形成有不同颜色的边界框，边界框及其所包围的原始图像组成第一分类样本图。
74.可以理解的是，参照图6所示，步骤s320，将原始图像中属于不同目标类型的目标特征以不同颜色的边界框包围，得到多个与各边界框对应的第一分类样本图，包括但不限于以下步骤：
75.s321：通过边界框预测模型对原始图像中的目标特征进行边界框划分，得到多个边界框对应的第二分类样本图；
76.s322：根据各第二分类样本图对应的目标类型，将对应的边界框调节为不同的颜色，得到多个第一分类样本图；
77.s323：根据时间顺序和第一分类样本图的边界框的颜色进行分类储存，以供查询使用。
78.需要说明是的，边界框预测模型是以yolov5为框架的模型。在进行步骤s321时，所有的目标特征对应的所有图片组成训练集，提取训练集中图片的宽高并修正为绝对坐标，使用kmeans算法对训练集中所有的检测框进行聚类，得到k个边界框；通过遗传算法对得到的边界框进行变异，将变异后效果好的边界框进行保留，否则跳过，最终输出最优的边界框对原始图像中的目标特征进行划分。
79.应用于工业生产时，通过机器视觉检测的方式代替人力进行图片采集、特征提取、分类识别以及分类储存，能够显著减少人工的参与，进而提高采集识别工作的可靠性。
80.步骤s322，通过调节边界框的参数实现颜色的添加，根据不同类型的目标类型将边界框调节为不同的颜色，即通过调节边界框的颜色用于表示第一分类样本图中目标类型的类型。步骤s323，不同颜色边界框对应的第一分类样本图分别储存于不同的存储空间中，且对应存储空间中的第一分类样本图依据年月日时分秒对应的时间进行排序储存，以方便用户进行查询使用。
81.可以理解的是，参照图7所示，步骤s400，对第一分类样本图进行识别，并对分类出错的第一分类样本图进行修改，得到修正特征图，包括但不限于以下步骤：
82.s410：通过分类识别模型对第一分类样本图进行识别，得到识别结果；
83.s420：当识别结果为分类出错，对第一分类样本图进行修改，得到修正特征图并对被修改的第一分类样本图进行替换。
84.需要说明的是，通过分类识别模型对第一分类样本图进行识别，用于判断第一分类样本图中检测目标的类型与边界框的颜色是否对应，若不对应则识别结果为分类出错；若对应，则分类结果为分类正确。通过上述方式对第一分类样本图进行识别判断，能够有效提高最终汇总输出的分类检测结果的可靠性和准确性。
85.可以理解的是，参照图7所示，在步骤s410之后，在通过分类识别模型对第一分类样本图进行识别，得到识别结果之后，还包括但不限于以下步骤：
86.s430：当识别结果为分类正确，保留对应的第一分类样本图。
87.可以理解的是，分类识别模型是通过gan网络进行监督训练的神经网络模型，分类识别模型用于对第一分类样本图进行类型识别并与边界框的颜色进行比较，以得到识别结
果。
88.需要说明的是，gan网络(generative adversarial network，生成对抗网络)，一般包括生成器和判别器，生成器的作用是通过学习训练数据的特征，在判别器的指导下，将噪声分布尽量拟合为训练数据的真实分布，从而生成具有训练集特征的相似数据。而判别器则负责区分输入的数据是真实的还是生成器生成的假数据，并将区分结果反馈给生成器。gan网络中的生成器和判别器交替训练，直至生成器生成的数据能够以假乱真，并且与判别器的能力达到均衡。通过gan网络神经网络模型进行监督训练得到分类识别模型的分类识别能力强，处理得到的识别结果可靠。
89.为进一步阐述本技术提供的样本采集检测方法，下面结合具体的示例/场景进行阐述。
90.在步骤s321中，边界框预测模型的输入维度为640*640*3，即原始图像处理之后的宽高都为640的3通道rgb彩色图片，经过处理，3个尺度下的检测层输出维度为s*s*na*(t
x
+ty+tw+th+to+nc)，其中s*s为划分的网格个数，na为每个尺度对应预设先验框的个数，nc为需要预测的类别数。以大尺度s＝20，na＝3，nc＝3为例，该维度网格结构的检测层输出维度为20*20*3*(5+3)＝9600。
91.网络模型主要预测参数有边界框相关参数t
x
、ty、tw、th，边界框置信度to和第i类别的置信度t
ci
，这些参数需要进行如下公式的解码以得到最终预测的边界框。
92.在进行边框处理时，先预测得到原始边框，原始边框公式如下：
93.b
x
＝2σ(t
x
)-0.5+c
x
94.by＝2σ(ty)-0.5+cy95.bw＝pw(2σ(tw))296.bh＝ph(2σ(th))297.scorei＝confidence*pr(classi)-σ(to)*σ(t
ci
)
98.再根据原始边框对最终预测的边界框进行估计：
99.b
x
＝(2σ(t
x
)-0.5+c
x
)*stride
100.by＝(2σ(ty)-0.5+cy)*stride
101.bw＝(2σ(tw))2*anchor_grid
102.bh＝(2σ(th))2*anchor_grid
103.其中，b
x
、by分别为边界框中心的横坐标和纵坐标，bw、bh分别为边界框的宽和高，c
x
、cy表示边界框中心所占据网格与左上角的网格之间的坐标距离，pw、ph是先验框的宽和高。
104.参照图8，c
x
、cy为当前预测的张量(tensor)对应的网格(grid)坐标，其值域为[0，grid_size)，步幅(stride)为[8,16,32]，例如，加入输入[416,416,3]，预测输出的tensor为[batch,52,52,3,5+num_class]，则c
x
是在[0,52)区间，stride为8。同理，anchor_grid的值域为[0,image_size]，具体通过anchor*stride计算实现，其中anchor会被处理到[0，grid_size)区间，再通过*stride放大到原始图像的输入大小[0，image_size)。
[0105]
iou(intersection over union，交并比)值，为预测框大小与真实框大小之间的交集与预测框大小与真实框大小之间并集之间的比值。通过iou值对边界框的预测结果进行评判。iou值越大，则容易将同一检测目标的不同预测结果当成是多个检测目标的多个预
测结果，导致出现一个目标出现多个预测结果的问题，即一个目标被多个边界框包围；iou值越小，则容易出现对于多个目标的不同预测结果当成对一个目标的不同预测结果，导致出现多个目标只有一个预测结果的问题，即只多个目标被划分到一个边界框中。通过上述方式对边界框进行修正，以输出最优的边界框。
[0106]
在步骤s410中，利用gan监督分类识别模型训练出错的分类样本，gan网络包括生成器和判别器。gan的训练优化目标公式如下所示：
[0107][0108]
其中，v(d，g)表示生成样本与真实样本之间的差异度，通过二分类的交叉熵损失进行表示，e表示熵，x～p
data
(x)表示x来自于真实数据分布(p
data
)，d(x)表示判别器，d(g(z))表示输入数据为生成器生成的假数据的判别器。表示生成器固定的情况下，通过最大化交叉熵损失v(d，g)来更新判别器d的参数。表示生成器要在判别器最大化真、假图片交叉熵损失v(d，g)的情况下，最小化这个交叉熵损失，进而调节生成器。
[0109]
分类识别模型的具体训练步骤如下：
[0110]
先训练判别器：将训练集数据的真数据打上真标签即赋值为1，将生成器生成的假数据打上假标签即赋值为0，将打上相应标签的真数据和假数据组成批处理(batch)送入判别器，对判别器进行训练，计算交叉熵损失，并调节判别器的参数，以使判别器对真数据的判别结果趋近于1即趋近于真、对假数据的判别结果趋近于0即趋近于假，此过程只对判别器的参数进行调节更新，不对生成器的参数进行修改；
[0111]
再训练生成器：将高斯分布的噪声z送入生成器，然后将生成器生成的假数据打上真标签即赋值为1并送入判别器，计算交叉熵损失，并调节生成器的参数，以使生成器生成的假数据的判别结果趋近于1即趋近于真，此过程中只更新调节生成器的参数，不对判别器的参数进行修改。
[0112]
参照图9所示，在步骤s400对分类出错的分类样本进行修改之前，样本采集检测方法的步骤可以总结为依次进行图片采集、特种提取、样本获取、以及分类储存。
[0113]
具体的，通过图片采集得到原始图像；对原始图像中的检测目标进行特征提取并进行分类，得到多个第一分类样本图；手动修改时进入编辑模式，对分类出错的第一分类样本图的边界框颜色进行修正，得到修正特征图，将修正特征图和第一分类样本图依据分类结果进行分类储存。上述处理流程参考图10所示。
[0114]
另外，本发明第二方面实施例还提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
[0115]
处理器和存储器可以通过总线或者其他方式连接。
[0116]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网
及其组合。
[0117]
实现上述第一方面实施例的样本采集检测方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的样本采集检测方法，例如，执行以上描述的方法步骤s100至s500、方法步骤s110至s120、方法步骤s210、方法步骤s211至s212、方法步骤s310至s320、方法步骤s321至s323、方法步骤s410至s430。
[0118]
以上所描述的设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0119]
此外，本发明第三方面实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的样本采集检测方法，例如，执行以上描述的方法步骤s100至s500、方法步骤s110至s120、方法步骤s210、方法步骤s211至s212、方法步骤s310至s320、方法步骤s321至s323、方法步骤s410至s430。
[0120]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、信号结构、程序模块或其他信号)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、信号结构、程序模块或者诸如载波或其他传输机制之类的调制信号中的其他信号，并且可包括任何信息递送介质。
[0121]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0122]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。