一种垃圾异物识别方法、装置、电子设备及存储介质与流程

1.本发明涉及垃圾智能识别技术领域，尤其涉及一种垃圾异物识别方法、装置、电子设备及存储介质。


背景技术：

2.随着居民生活水平的不断提高和餐饮行业的快速发展，餐厨垃圾产生量进入爆发式增长阶段，随之所带来的环境和生态问题日益显著。餐厨垃圾是指餐厅、企事业单位食堂、饭馆等盈利性商家产生的桶装垃圾。
3.餐厨垃圾需要采用无害化处理技术及资源利用方式促进资源高效再利用，其资源化利用前需要经过分选过程，分选出损害三相分离设备以及影响有机质利用率的异物质。目前，餐厨垃圾通常采用人工分选、机械分选等分选方式去除杂质，然而人工分选面临着作业时间长、作业环境恶劣、招工难问题，而机械分选虽然分选效率高，但是处理精度低，分选出很多有用的有机物质，导致资源浪费。
4.随着物联网技术与人工智能技术的发展，中国垃圾分类行业逐步具备智能化特点，从市场雏型阶段的人工机器分类时代迈向智能分类的初期阶段。而智能识别方法多数用在比较容易分类的生活垃圾上面，生活垃圾具有表面特征清晰，识别目标完整，遮挡干扰较少等特点，智能识别方法可以较轻松的获取目标特征从而进行检测识别。由于餐厨垃圾物料的特殊性、复杂性，目前餐厨垃圾分选阶段智能识别方法的应用未发现有相关研究资料及信息。如公开号为cn112660671b的专利就公开一种餐厨垃圾的异物质图像识别系统及管理系统，通过对垃圾图像进行局部抠图处理，以得到异物图像，将异物图像与预先存储的异物对比图像做匹配，并根据匹配结果生成对应的异物识别结果信息。上述专利虽然可以对垃圾进行分类，但是需要图像边界清晰、遮挡少和特征明显才能进行特征提取与匹配，由于餐厨垃圾呈现复杂的油-水-固物料特性及不均一性，所需要识别的目标被油污、剩菜剩饭等东西遮挡覆盖，抠图难以捕捉高级语义特征和复杂内容，导致遮挡目标的识别率不高。


技术实现要素：

5.针对餐厨垃圾油-水-固物料混合不均一性，遮挡情况严重，造成目标边界模糊，特征不清晰，现有的餐厨垃圾识别技术不能有效的提取餐厨垃圾异物质特征，从而导致识别准确率较低的问题，本发明提供了一种垃圾异物识别方法、装置、电子设备及存储介质，将智能化技术应用到餐厨垃圾分选阶段，检测和识别餐厨垃圾中的异物质并给出位置信息，提高目标识别的准确率和识别速度，实现餐厨垃圾异物质识别无人或少人化。
6.为实现上述目标，本发明提供了以下技术方案：
7.第一方面，本发明提供了一种垃圾异物识别方法，该方法包括：
8.获取目标垃圾图像，并识别目标垃圾图像中的目标垃圾异物；
9.对目标垃圾异物进行标注，用以建立目标垃圾异物数据集；
10.利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设
标准时，确认预设模型为异物识别模型；
11.获取待检测的垃圾图像，并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。
12.在一个可能的实现方式中，对目标垃圾异物进行标注，用以建立目标垃圾异物数据集之前，方法还包括：
13.通过随机裁剪、垂直翻转、水平翻转和随机旋转一定角度的方式对目标垃圾异物进行数据增强。
14.在一个可能的实现方式中，对目标垃圾异物进行标注，用以建立目标垃圾异物数据集，包括：
15.利用标注工具，标注出目标垃圾异物的位置坐标信息、尺寸信息以及所属类别信息，用以建立目标垃圾异物数据集。
16.在一个可能的实现方式中，预设模型以ssd网络为基础网络，以多分支深度卷积神经网络替换ssd中的vgg16网络，并去除深度卷积神经网络的全局池化层以及全连接层，保留全部的卷积层。
17.在一个可能的实现方式中，预设模型还添加通道注意力机制。
18.在一个可能的实现方式中，预设模型的损失函数为focalloss。
19.在一个可能的实现方式中，利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型，包括：
20.将目标垃圾异物数据集输入到预设模型中进行迭代优化训练，获得训练结果；
21.当训练结果低于预设平均精确阈值时，修改预设模型参数，直至训练结果等于或大于预设平均精确阈值时，结束迭代，确认预设模型为异物识别模型。
22.第二方面，本发明提供了一种垃圾异物识别装置，该装置包括：
23.第一图像采集模块，用于获取目标垃圾图像；
24.第一图像识别模块，用于识别目标垃圾图像中的目标垃圾异物；
25.标注模块，用于对目标垃圾异物进行标注，用以建立目标垃圾异物数据集；
26.训练模块，利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型；
27.第二图像采集模块，用于获取待检测的垃圾图像；
28.第二图像识别模块，用于并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。
29.第三方面，提供了一种电子设备，该电子设备承载资源调度系统，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
30.存储器，用于存放计算机程序；
31.处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的垃圾异物识别方法。
32.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的垃圾异物识别方法的。
33.本发明实施例提供的上述技术方案与现有技术相比具有如下优点：
34.本发明实施例提供的一种垃圾异物识别方法，获取目标垃圾图像，并识别目标垃圾图像中的目标垃圾异物；对目标垃圾异物进行标注，用以建立目标垃圾异物数据集；利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型；获取待检测的垃圾图像，并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。通过该方式，针对复杂环境下遮挡目标，可以更好提取目标特征，进一步提高目标识别的准确率和识别速度，解决了机械分选精度低的问题，同时在恶劣作业环境下，智能识别代替人工识别，实现了餐厨垃圾分选阶段的无人化或者少人化，解决了招工难、工人工作环境差的问题。
附图说明
35.图1为本发明实施例提供的一种垃圾异物识别方法流程示意图；
36.图2为本发明实施例提供的垃圾异物识别方法现场布局示意图；
37.图3为本发明实施例提供的预设模型示意图；
38.图4为预设模型训练方法流程示意图；
39.图5为本发明实施例提供的垃圾异物识别装置结构示意图；
40.图6为本发明实施例提供的另一种垃圾异物识别装置结构示意；
41.图7为本发明实施例提供一种电子设备结构示意图。
具体实施方式
42.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
44.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
45.背景技术中提到了公开号为cn112660671b的专利就公开一种餐厨垃圾的异物质图像识别系统及管理系统，通过对垃圾图像进行局部抠图处理，以得到异物图像，将异物图像与预先存储的异物对比图像做匹配，并根据匹配结果生成对应的异物识别结果信息。通过上述方式，虽然可以对垃圾进行分类，但是需要图像边界清晰、遮挡少和特征明显才能进行特征提取与匹配，由于餐厨垃圾呈现复杂的油-水-固物料特性及不均一性，所需要识别的目标被油污、剩菜剩饭等东西遮挡覆盖，抠图难以捕捉高级语义特征和复杂内容，导致遮挡目标的识别率不高，而深度学习主要是通过数据驱动进行特征提取，根据大量样本的学
习能够得到深层的、数据集特定的特征表示，所提取的抽象特征鲁棒性更强，泛化能力更好，并且可以是端到端的。所以本发明实施例将基于深度学习的目标检测技术应用于餐厨垃圾异物质识别场景，提供了一种垃圾异物识别方法、装置、电子设备及存储介质，具体的，将智能化技术应用到餐厨垃圾分选阶段，检测和识别餐厨垃圾中的异物质并给出位置信息，提高目标识别的准确率和识别速度，实现餐厨垃圾异物质识别无人或少人化。下面以某环保公司餐厨垃圾异物质识别应用为例，对垃圾异物质识别方法装置、电子设备及存储介质进行阐述。在餐厨垃圾中，异物质主要有不锈钢刀具、勺子叉子、塑料瓶、塑料袋、啤酒瓶盖等。本实施例中，以塑料瓶为目标进行识别，其他异物质的识别方法相同。
46.下面详细介绍垃圾异物识别方法，具体参见图1所示，图1为本发明实施例提供的一种垃圾异物识别方法流程示意图。如图1所示，垃圾异物识别方法步骤具体包括：
47.步骤110，获取目标垃圾图像，并识别目标垃圾图像中的目标垃圾异物。
48.为方便理解，本发明提供了垃圾异物识别方法现场布局示意图，具体如图2所示，在某环保公司餐厨垃圾处理厂，将餐厨垃圾分拣传送带设置为识别区域与分拣区域，在识别区域设置多个工业相机，将其固定在传送带正上方，通过工业相机拍摄获取在传送带上低速匀速运动的餐厨垃圾图像，根据传送带的速度和拍摄的视野大小，设置工业相机的拍摄频率，比如设置为25fps。对获取的不同角度的图像进行清洗，选取包含塑料瓶的图像，比如总共获取2000张图像，其中包含被遮挡的塑料瓶图像数量和没有包含被遮挡的塑料瓶图像数量比例为9:1。
49.需要说明的是，图2中设置的传送带速度为0.14m/s，传送带的宽度为700mm，长为5300mm，其仅仅是为了对本发明实施例的举例说明，并不是限定，可根据实际需求，对各参数进行设置。
50.在步骤120之前，为增强模型的稳定性和提升模型的泛化能力，使模型对各种形状的餐厨垃圾图像均能有效的提取图像特征，通过随机裁剪、垂直翻转、水平翻转和随机旋转一定角度等方法进行数据增强，最终建立含有6000张图片的餐厨垃圾图像库。
51.步骤120，对目标垃圾异物进行标注，用以建立目标垃圾异物数据集。
52.在一个示例中，利用标注工具，标注出目标垃圾异物的位置坐标信息、尺寸信息以及所属类别信息，用以建立目标垃圾异物数据集。
53.比如，利用标注工具rolabelimg，对餐厨垃圾图像库的每一个图像中的塑料瓶进行标注，标注信息存储为xml格式，分别标注出塑料瓶的位置坐标信息、塑料瓶尺寸信息以及所属类别信息，并将标注好的餐厨垃圾图像按照比例6:2:2划分为训练集、测试集和验证集，最后建立voc格式的塑料瓶数据集。
54.步骤130，利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型。
55.在进行训练前，需要构建训练模型，本发明中的预设模型以ssd网络为基础网络，以多分支深度卷积神经网络替换ssd中的vgg16网络，并去除深度卷积神经网络的全局池化层以及全连接层，保留全部的卷积层，即本发明中的预设模型为改进的ssd网络模型。
56.具体的，选定ssd为基础网络，整个网络主要由vgg主干网络、深度卷积层extra layers、边框特征提取网络multi-box layers和损失函数multiboxloss等组成。为了减少参数量以及追求更快的识别速度，将vgg主干网络替换成一种多分支结构深度卷积神经网
络，并且去除深度卷积神经网络的全局池化层以及全连接层，整个网络保留全部的卷积层，其作为主干网络时输出的特征图大小为38*38、19*19、10*10，加上深度卷积层extra layers输出的特征图大小为5*5、3*3、1*1，最后总共提取6个特征图作为特征提取。为方便对本发明理解，对特征图进行解释：原始图像经过卷积层转换后的数据称为特征图，特征图包含了原始图像的信息，用特征图来定位和检测原始图像的物体。
57.为了能筛选出需要保留的信息以及更多地聚焦于塑料瓶目标，添加了通道注意力机制。将提取到的6个特征图分别输入到通道注意力机制中，经过平均池化、卷积、relu激活函数、卷积和sigmoid函数获得新的特征图，最后送到改进的ssd网络模型中进行检测。
58.进一步的，为了解决正负样本不平衡问题，引入损失函数focalloss，替换掉原本的损失函数multiboxloss，最终构建改进型ssd网络模型，如图3所示。
59.下面介绍预设模型的训练过程，具体参见图4所示，图4为预设模型训练方法流程示意图，如图4所示，预设模型的训练过程包括：
60.步骤210，将目标垃圾异物数据集输入到预设模型中进行迭代优化训练，获得训练结果。
61.步骤220，当训练结果低于预设平均精度阈值时，修改预设模型参数，直至训练结果等于或大于预设平均精度阈值时，结束迭代，确认预设模型为异物识别模型。
62.为进一步的理解，下面就训练过程进行详细的说明：
63.在gpu服务器上搭建训练模型所使用的pytorch环境，完成后将训练集输入至改进型ssd网络模型进行训练，模型通过卷积神经网络进行特征提取，接着利用最终的回归层和分类层来定位和识别图像中的塑料瓶；通过在训练集上的学习过程，改进型ssd网络模型对餐厨垃圾中被遮挡的塑料瓶和未被遮挡的塑料瓶具备识别能力。
64.将验证集输入改进型ssd网络模型进行验证，根据验证效果，对网络模型的各种超参数进行微调来进行优化，最终得到效果最优的改进型ssd网络模型，最后用测试集检验最终模型的泛化效果。
65.步骤140，获取待检测的垃圾图像，并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。
66.将待检测餐厨垃圾图像输入到训练好的改进型ssd网络模型中，模型通过提取到6个特征图获取关键特征信息并判断是否含有塑料瓶，若不含有，则提示无塑料瓶，若含有塑料瓶，则输出塑料瓶的位置和类别信息。
67.具体的，塑料瓶在图片中所处位置，用一个矩形框标注出来，其标注位置信息的矩形框称为真实框。通过获取的6个特征图，在特征图的每个位置预先定义不同大小的矩形框，这些矩形框包含了不同的宽高比，用来匹配真实物体的矩形框。最后通过非极大值抑制方法输出每个位置的最佳预测矩形框，也就是位置信息。
68.本发明实施例提供的一种垃圾异物识别方法，获取目标垃圾图像，并识别目标垃圾图像中的目标垃圾异物；对目标垃圾异物进行标注，用以建立目标垃圾异物数据集；利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型；获取待检测的垃圾图像，并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。通过该方式，针对复杂环境下遮挡目标，可以更好提取目标特征，进一步提高目标识别的准确率和识别速度，解决了机械分选精度低的问题，同时在恶劣作业
环境下，智能识别代替人工识别，实现了餐厨垃圾分选阶段的无人化或者少人化，解决了招工难、工人工作环境差的问题。
69.以上，为本发明所提供的垃圾异物识别方法的实施例，下文中则介绍说明本发明所提供的垃圾异物识别的其他实施例，具体参见如下。
70.图5为本发明实施例提供的垃圾异物识别装置结构示意图，该装置包括：第一图像采集模块1、第一图像识别模块2、标注模块3、训练模块4、第二图像采集模块5和第二图像识别模块6。
71.第一图像采集模块1，用于获取目标垃圾图像；
72.第一图像识别模块2，用于识别目标垃圾图像中的目标垃圾异物；
73.标注模块3，用于对目标垃圾异物进行标注，用以建立目标垃圾异物数据集；
74.训练模块4，利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型；
75.第二图像采集模块5，用于获取待检测的垃圾图像；
76.第二图像识别模块6，用于并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。
77.在一个可能的实现方式中，如图6所示，该装置还包括数据增强模块7，用于在对目标垃圾异物进行标注，用以建立目标垃圾异物数据集之前，通过随机裁剪、垂直翻转、水平翻转和随机旋转一定角度的方式对目标垃圾异物进行数据增强。
78.在一个可能的实现方式中，标注模块3，具体用于利用标注工具，标注出目标垃圾异物的位置坐标信息、尺寸信息以及所属类别信息，用以建立目标垃圾异物数据集。
79.在一个可能的实现方式中，预设模型以ssd网络为基础网络，以多分支深度卷积神经网络替换ssd中的vgg16网络，并去除深度卷积神经网络的全局池化层以及全连接层，保留全部的卷积层。
80.在一个可能的实现方式中，预设模型还添加通道注意力机制。
81.在一个可能的实现方式中，预设模型的损失函数为focalloss。
82.在一个可能的实现方式中，训练模块4，具体用于将目标垃圾异物数据集输入到预设模型中进行迭代优化训练，获得训练结果；当训练结果低于预设平均精确阈值时，修改预设模型参数，直至训练结果等于或大于预设平均精确阈值时，结束迭代，确认预设模型为异物识别模型。
83.本发明实施例提供的垃圾异物识别装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。
84.本发明实施例提供的一种垃圾异物识别装置，获取目标垃圾图像，并识别目标垃圾图像中的目标垃圾异物；对目标垃圾异物进行标注，用以建立目标垃圾异物数据集；利用目标垃圾异物数据集，对预设模型进行迭代优化训练，当预设模型达到预设标准时，确认预设模型为异物识别模型；获取待检测的垃圾图像，并将待检测的垃圾图像输入到异物识别模型中，输出识别结果。通过该方式，针对复杂环境下遮挡目标，可以更好提取目标特征，进一步提高目标识别的准确率和识别速度，解决了机械分选精度低的问题，同时在恶劣作业环境下，智能识别代替人工识别，实现了餐厨垃圾分选阶段的无人化或者少人化，解决了招工难、工人工作环境差的问题。
85.如图7所示，本发明实施例提供了一种电子设备，电子设备承载有如上任一实施例中所提及的资源调度系统，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。
86.存储器113，用于存放计算机程序；
87.在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的垃圾异物识别方法。
88.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的垃圾异物识别方法的步骤。
89.专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
90.结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
91.以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。