多类别复杂混叠目标物快速识别方法、系统、设备及介质

1.本发明涉及智能识别技术领域，尤其涉及一种多类别复杂混叠目标物快速识别方法、一种多类别复杂混叠目标物快速识别系统、一种计算机设备及一种计算机可读存储介质。


背景技术：

2.现有的工业机器人装配加工现场普遍存在光照条件复杂、多类别零配件混叠堆放等问题，给现有机器视觉检测算法在处理多类别零配件识别及位姿估计任务时带来较多困难，制约了工业机器人等自动化分拣设备在装配件分拣上料环节的推广应用。
3.在实际的工业环境下，多种不同类别的目标物相互混叠摆放时，个别目标物的轮廓被其他目标物遮挡，导致现有的视觉检测算法在识别被部分遮挡的目标物时错误率较高；另外，在处理一些尺寸差异较大的多类别目标物分类识别或者是大场景下的小目标物识别任务时，现有的目标识别方法，会出现小尺寸目标物无法识别的现象；此外，现有的视觉检测算法难以满足实时检测的要求，能满足检测准确率难以满足检测时效性，反之亦然；再者，现有的视觉检测算法难以适应因光照强度变化而导致的目标物颜色特征变化、反光和外形轮廓模糊等问题。
4.以上所列出的现有视觉检测算法的不足，都是由于算法在特征提取不足、特征提取网络提取冗余特征过多以及模型过大方面的缺陷，所导致的算法鲁棒性、实用性较差。


技术实现要素：

5.本发明所要解决的技术问题在于，提供一种多类别复杂混叠目标物快速识别方法、多类别复杂混叠目标物快速识别系统、计算机设备及计算机可读存储介质，可快速、准确地识别工业场景下混叠目标。
6.为了解决上述技术问题，本发明提供了一种多类别复杂混叠目标物快速识别方法，包括：构建样品数据集，所述样品数据集包括训练数据集及测试数据集；构建基准模型，所述基准模型包括特征提取网络、类人类注意力机制模块、额外特征提取网络及非极大值抑制模块，所述类人类注意力机制模块包括eca-net模块及isab模块，所述isab模块为带权重筛选特征的sam空间注意力机制；通过所述训练数据集对所述基准模型进行训练以生成目标模型；将目标物数据集输入所述目标模型以输出识别结果。
7.作为上述方案的改进，所述特征提取网络的构建的步骤包括：构建resnet-50卷积神经网络；根据目标物特征调整所述resnet-50卷积神经网络中卷积层的步长，以使所述resnet-50卷积神经网络输出目标尺寸的初始特征，所述目标尺寸与所述目标物特征相匹配；将调整后的resnet-50卷积神经网络作为特征提取网络。
8.作为上述方案的改进，根据目标物特征调整所述resnet-50卷积神经网络中第四卷积层的步长，以使所述resnet-50卷积神经网络输出目标尺寸为38
×
38
×
1024的初始特征。
9.作为上述方案的改进，所述isab模块的构建的步骤包括：构建sam空间注意力机制；在所述sam空间注意力机制中添加权重筛选特征；将添加所述权重筛选特征后的sam空间注意力机制作为isab模块。
10.作为上述方案的改进，所述在所述sam空间注意力机制中添加权重筛选特征的步骤包括：提取所述sam空间注意力机中的两个基准特征；将所述两个基准特征分别进行转置处理以生成两个权重筛选特征；将所述两个权重筛选特征添加至所述sam空间注意力机中。
11.作为上述方案的改进，所述多类别复杂混叠目标物快速识别方法还包括：将所述识别结果以文本形式进行存储；通过绘图函数生成所述识别结果所对应的识别框，并显示所述识别框。
12.作为上述方案的改进，所述构建样品数据集的步骤包括：通过视觉传感器采集样品集；对所述样品集进行数据增强处理；对经增强处理后的所述样品集进行标注处理，以构建训练数据集及测试数据集。
13.相应地，本发明还提供了一种多类别复杂混叠目标物快速识别系统，包括：样品构建模块，用于构建样品数据集，所述样品数据集包括训练数据集及测试数据集；模型构建模块，用于构建基准模型，所述基准模型包括特征提取网络、类人类注意力机制模块、额外特征提取网络及非极大值抑制模块，所述类人类注意力机制模块包括eca-net模块及isab模块，所述isab模块为带权重筛选特征的sam空间注意力机制；训练模块，用于通过所述训练数据集对所述基准模型进行训练以生成目标模型；识别处理模块，将目标物数据集输入所述目标模型以输出识别结果。
14.相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述多类别复杂混叠目标物快速识别方法的步骤。
15.相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述多类别复杂混叠目标物快速识别方法的步骤。
16.实施本发明，具有如下有益效果：
17.本发明将特征提取网络、类人类注意力机制模块、额外特征提取网络及非极大值抑制模块相结合，形成结构独特的识别模型，可为无人工厂、自主装配机器人提供更好的、更快速的识别结果，明显改善企业的机器人的识别效率；
18.本发明融入改进的注意力机制，给特征提取网络提取的特征信息进行加权操作，从而有效地突出有用特征，剔除无用特征，展示目标物重要特征，最终达到提升目标物识别的准确性，提高网络的执行效率；
19.本发明能兼顾快速性和准确性，减少无用的神经网络以及神经元，使得模型在混叠场景下识别多类别目标物时速度更快更准确；
20.进一步，本发明提出了基于resnet-50卷积神经网络为主干的特征提取网络，调整、设计部分特征提取板块，为后续步骤提取出更多且更优的特征。
附图说明
21.图1是本发明多类别复杂混叠目标物快速识别方法的第一实施例流程图；
22.图2是本发明中基准模型的结构示意图；
23.图3是现有的resnet-50卷积神经网络中第四卷积层的结构示意图；
24.图4是本发明中特征提取网络的结构示意图；
25.图5是本发明中eca-net模块的结构示意图；
26.图6是本发明中isab模块的结构示意图；
27.图7是本发明多类别复杂混叠目标物快速识别方法的第二实施例流程图；
28.图8是本发明多类别复杂混叠目标物快速识别系统的结构示意图。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
30.参见图1，图1显示了本发明多类别复杂混叠目标物快速识别方法的第一实施例，其包括：
31.s101，构建样品数据集。
32.本发明中，样品数据集包括训练数据集及测试数据集；具体地，构建样品数据集的步骤包括：
33.(1)通过视觉传感器采集样品集；
34.(2)对样品集进行数据增强处理；
35.可通过翻转、马赛克、增减亮度、增减饱和度等操作对样品集进行数据增强处理，从而增加样品集的多样性，以增强训练后模型的鲁棒性。
36.(3)对经增强处理后的样品集进行标注处理，以构建训练数据集及测试数据集。
37.通过图片标注工具labelimg，对经增强处理后的样品集进行标注处理，从而构建出后续步骤所需的训练数据集及测试数据集。
38.s102，构建基准模型。
39.如图2所示，基准模型包括特征提取网络、类人类注意力机制模块、额外特征提取网络及非极大值抑制模块。与现有技术不同的是，本发明对特征提取网络及类人类注意力机制模块进行了改进，下面分别对特征提取网络、类人类注意力机制模块及非极大值抑制模块进行详细说明：
40.一、特征提取网络
41.特征提取网络的构建的步骤包括：
42.(1)构建resnet-50卷积神经网络；
43.(2)根据目标物特征调整resnet-50卷积神经网络中卷积层的步长，以使resnet-50卷积神经网络输出目标尺寸的初始特征，目标尺寸与目标物特征相匹配；
44.结合图3及图4可知，本发明根据目标物特征调整resnet-50卷积神经网络中第四卷积层的步长，以使resnet-50卷积神经网络输出目标尺寸为38
×
38
×
1024的初始特征。也就是说，本发明通过调整卷积层中的残差结构，可有效改进特征图的输出尺寸，以更好地配合目标物特征。
45.(3)将调整后的resnet-50卷积神经网络作为特征提取网络。
46.相应地，resnet-50卷积神经网络与特征提取网络的输出尺寸及模块结构的比对
结果如表1所示：
47.表1
[0048][0049]
因此，本发明可根据实际工业场景下自主装配机器人面对的装配目标物的特征，在resnet-50卷积神经网络的基础上，通过修改卷积层中的残差结构，形成一种结构独特的特征提取网络，以提取目标物最初始也是最重要的特征层。
[0050]
二、类人类注意力机制模块
[0051]
需要说明的是，通过特征提取网络的构建，已经提取了大量目标物的特征，但特征提取网络没有进行特征的筛选，从而会出现大量冗余、无用的特征信息，导致识别效果差以及效率低下。因此，本发明将特征提取网络与类人类注意力机制模块相融合，以对原始的特征集合，进行筛选，突出重要特征，消除冗余特征，提搞整个模型的效率。
[0052]
与现有技术不同的是，本发明中的类人类注意力机制模块包括eca-net模块(参见图5)及isab(improved spatial attention block)模块；如图6所示，isab模块为带权重筛选特征的sam空间注意力机制；其中，isab模块的构建的步骤包括：
[0053]
(1)构建sam空间注意力机制；
[0054]
(2)在sam空间注意力机制中添加权重筛选特征；
[0055]
具体地，在sam空间注意力机制中添加权重筛选特征的步骤包括：
[0056]
(a)提取sam空间注意力机中的两个基准特征；
[0057]
(b)将两个基准特征分别进行转置处理以生成两个权重筛选特征；
[0058]
(c)将两个权重筛选特征添加至sam空间注意力机中。
[0059]
(3)将添加权重筛选特征后的sam空间注意力机制作为isab模块。
[0060]
相应地，sam空间注意力机与isab模块的特征比对结果如表2所示：
[0061]
表2
[0062][0063]
因此，通过类人类注意力机制模块可对特征进行不同权重的筛选，从而有效地突出有用特征，剔除无用特征，展示目标物重要特征，最终达到提升目标物识别的准确性，提高网络的执行效率。
[0064]
三、非极大值抑制模块
[0065]
由于基准模型对同一个目标物会出现不同置信度、iou(intersection over union)的多个识别框，为了剔除冗余的识别框，以选出识别结果最优的识别框，可通过非极大值抑制(nms，non maximum suppression)算法挑选出最优的识别框。
[0066]
s103，通过训练数据集对基准模型进行训练以生成目标模型；
[0067]
利用步骤s101构建的训练数据集对基准模型进行训练并调整、拟合对应的模型参数，可使基准模型的性能达到更优。
[0068]
s104，将目标物数据集输入目标模型以输出识别结果。
[0069]
综上所述，本发明在现有神经网络算法的基础上，从特征提取网络、类人类注意力机制等方面进行了改进，提升了算法的性能；从而提高机器视觉对于多类别混叠目标物的检测识别效率，尤其是增强了算法对于小尺寸目标物的检测召回率为无人工厂、自主装配机器人提供更好的、更高效、更快速的识别结果。
[0070]
参见图7，图7显示了本发明多类别复杂混叠目标物快速识别方法的第二实施例，其包括：
[0071]
s201，构建样品数据集。
[0072]
s202，构建基准模型。
[0073]
s203，通过训练数据集对基准模型进行训练以生成目标模型；
[0074]
s204，将目标物数据集输入目标模型以输出识别结果。
[0075]
s205，将识别结果以文本形式进行存储；
[0076]
优选地，可采用txt文本的形式进行存储，但不以此为限制，可根据实际情况进行调整，灵活性强。
[0077]
s206，通过绘图函数生成识别结果所对应的识别框，并显示识别框。
[0078]
与图1所示的第一实施例不同的是，本实施例中，可通过步骤s205将识别结果以文本形式进行存储；并使用绘图函数将识别框画出，实现识别结果的可视化。
[0079]
相应地，将faster-rcnn视觉检测算法、yolov4视觉检测算法、efficientdet-d1视觉检测算法、sdd视觉检测算法及本发明多类别复杂混叠目标物快速识别方法分别应用于
同一场景时，其识别结果如表3所示：
[0080][0081]
由上表可知，本发明多类别复杂混叠目标物快速识别方法可在保持较高map(98.4％)值的前提下，保持算法的检测速率(fps：78)。
[0082]
综上，本发明多类别复杂混叠目标物快速识别方法可以帮助工业机器人更快速、准确的识别工业场景下混叠目标，为无人工厂、自主装配机器人提供更好的、更快速的识别结果，明显改善企业的机器人的识别效率。具体地：
[0083]
1、本发明提出了基于resnet-50卷积神经网络为主干的特征提取网络，调整、设计部分特征提取板块，为后续步骤提取出更多且更优的特征；
[0084]
2、本发明融入改进的注意力机制，给特征提取网络提取的特征信息进行加权操作，筛除冗余的特征，突出有效的特征；
[0085]
3、本发明能兼顾快速性和准确性，减少无用的神经网络以及神经元，使得模型在混叠场景下识别多类别目标物时速度更快更准确。
[0086]
参见图8，图8显示了本发明多类别复杂混叠目标物快速识别系统100的具体结构，其包括样品构建模块1、模型构建模块2、训练模块3及识别处理模块4，具体地：
[0087]
样品构建模块1，用于构建样品数据集，样品数据集包括训练数据集及测试数据集。具体地，样品构建模块1通过视觉传感器采集样品集，并对样品集进行数据增强处理(如，翻转、马赛克、增减亮度、增减饱和度)，再对经增强处理后的样品集进行标注处理，以构建训练数据集及测试数据集。从而增加样品集的多样性，以增强训练后模型的鲁棒性。
[0088]
模型构建模块2，用于构建基准模型，基准模型包括特征提取网络、类人类注意力机制模块、额外特征提取网络及非极大值抑制模块，类人类注意力机制模块包括eca-net模块及isab模块，isab模块为带权重筛选特征的sam空间注意力机制。
[0089]
训练模块3，用于通过训练数据集对基准模型进行训练以生成目标模型。具体地，训练模块3可利用样品构建模块所构建的训练数据集对基准模型进行训练并调整、拟合对应的模型参数，以使基准模型的性能达到更优。
[0090]
识别处理模块4，将目标物数据集输入目标模型以输出识别结果。具体地，识别处理模块4可将识别结果以文本形式进行存储；并使用绘图函数将识别框画出，实现识别结果的可视化。
[0091]
如图2所示，基准模型包括特征提取网络、类人类注意力机制模块、额外特征提取
网络及非极大值抑制模块。
[0092]
特征提取网络是在resnet-50卷积神经网络的基础上改进而来。具体地，可先构建resnet-50卷积神经网络；再根据目标物特征调整resnet-50卷积神经网络中卷积层的步长，以使resnet-50卷积神经网络输出目标尺寸的初始特征，目标尺寸与目标物特征相匹配；最后，将调整后的resnet-50卷积神经网络作为特征提取网络。结合图3及图4可知，本发明根据目标物特征调整resnet-50卷积神经网络中第四卷积层的步长，以使resnet-50卷积神经网络输出目标尺寸为38
×
38
×
1024的初始特征。也就是说，本发明通过调整卷积层中的残差结构，可有效改进特征图的输出尺寸，以更好地配合目标物特征。
[0093]
而类人类注意力机制模块是由eca-net模块(参见图5)及isab(improved spatial attention block)模块组合而成。具体地，先构建sam空间注意力机制；再在sam空间注意力机制中添加权重筛选特征；最后，将添加权重筛选特征后的sam空间注意力机制作为isab模块。其中，权重筛选特征是由sam空间注意力机中的两个基准特征通过转置处理后生成。
[0094]
相应地，本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述多类别复杂混叠目标物快速识别方法的步骤。同时，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述多类别复杂混叠目标物快速识别方法的步骤。
[0095]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。