环卫一体化的智慧环卫管理系统的制作方法

1.本技术涉及智能环卫技术领域，且更为具体的涉及一种环卫一体化的智慧环卫管理系统。
2.

背景技术：

3.为了更好的对垃圾进行处理，大部分地区均颁布了垃圾分类相关条令，并大力宣传垃圾分类投放、垃圾分类知识等信息。但由于人们还不能很好的熟悉和习惯垃圾分类，因此垃圾的分类投放仍处于初级阶段。
4.部分小区、景点和市区，为了促进垃圾分类和培养人们的分类意识，增加了人工分类服务。由环卫工人在指定时间负责某个位置的垃圾桶，协助人们分类投放垃圾，以提高人们的分类意识和增加人们的分类知识，达到了较好的垃圾分类效果。但是，在环卫工人走后，人们依然会无意识地乱投乱放，导致垃圾车按种类回收垃圾桶内的垃圾时，夹杂了较多的其他类型的垃圾，影响了后期对垃圾的分类处理。
5.经研究，发现人们在无意识地乱投乱放时，很大的问题在于人们不知道所需投放的垃圾的类型，导致其不知道该如何投放。
6.因此，期待一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。


技术实现要素：

7.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种环卫一体化的智慧环卫管理系统，其认识到垃圾类型识别问题本质上是一个基于图像的分类问题，也就是，采集待投放垃圾的图像，并基于所述待投放垃圾的图像特征来确定其所属的垃圾类别，包括：可回收垃圾、不可回收垃圾、厨余垃圾等，因此，本技术依托于智能垃圾桶构建一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。
8.根据本技术的一个方面，提供了一种环卫一体化的智慧环卫管理系统，其包括：待投放垃圾检测单元，用于获取待投放垃圾的检测图像；图像增强单元，用于将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像；颜色空间转换单元，用于将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；多通道聚合单元，用于将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；图像特征提取单元，用于将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图；
垃圾类型识别单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签；以及管理结果生成单元，用于基于所述分类结果，生成垃圾投放提示信息。
9.在上述环卫一体化的智慧环卫管理系统中，所述图像增强单元，进一步用于将所述所述检测图像输入训练完成的所述基于对抗生成网络的图像增强器的生成器以得到所述像素增强检测图像。
10.在上述环卫一体化的智慧环卫管理系统中，所述图像特征提取单元，包括：浅层特征提取子单元，用于将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的浅层以得到浅层特征图；深层特征提取子单元，用于将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的深层以得到深层特征图；以及，融合子单元，用于使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述分类特征图。
11.在上述环卫一体化的智慧环卫管理系统中，所述融合子单元，进一步用于使用所述深浅特征融合模块将所述浅层特征图和所述深层特征图进行级联以得到所述分类特征图。
12.在上述环卫一体化的智慧环卫管理系统中，所述卷积神经网络模型的浅层为4-6层，所述卷积神经网络模型的深层与所述卷积神经网络模型的浅层之间的比值大于等于5。
13.在上述环卫一体化的智慧环卫管理系统中，所述垃圾类型识别单元，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：其中表示将所述分类矩阵图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
14.在上述环卫一体化的智慧环卫管理系统中，还包括用于对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练模块。
15.在上述环卫一体化的智慧环卫管理系统中，所述训练模块，包括：训练数据采集单元，用于获取训练检测图像；训练图像增强单元，用于将所述训练检测图像通过所述基于对抗生成网络的图像增强器以得到训练像素增强检测图像；训练颜色空间转换单元，用于将所述训练像素增强检测图像从所述rgb颜色空间转化为所述ycbcr颜色空间并抽取各个通道的训练lbp纹理特征直方图；训练多通道聚合单元，用于将所述各个通道的训练lbp纹理特征直方图沿通道维度进行聚合以得到多通道训练lbp纹理特征直方图；训练图像特征提取单元，用于将所述多通道训练lbp纹理特征直方图通过所述使用深浅特征融合模块的卷积神经网络模型以得到训练分类特征图；分类损失单元，用于将所述训练分类特征图通过分类器以得到分类损失函数值；以及，训练单元，用于以所述分类损失函数值并通过梯度下降的反向传播来对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练分类特征图展开得到的训练分类特征向量进行迭代。
16.在上述环卫一体化的智慧环卫管理系统中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，以如下公式对由所述训练分类特征图展开得到
的训练分类特征向量进行迭代；其中，所述公式为：其中表示所述训练分类特征图展开得到的所述训练分类特征向量，和分别表示所述分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加法，表示按位置减法，表示矩阵相乘，表示向量的指数运算和矩阵的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。
17.根据本技术的另一方面，还提供了一种环卫一体化的智慧环卫管理方法，其包括：获取待投放垃圾的检测图像；将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像；将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图；将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签；以及基于所述分类结果，生成垃圾投放提示信息。
18.在上述环卫一体化的智慧环卫管理方法中，所述将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像，包括：将所述所述检测图像输入训练完成的所述基于对抗生成网络的图像增强器的生成器以得到所述像素增强检测图像。
19.在上述环卫一体化的智慧环卫管理方法中，所述将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图，包括：将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的浅层以得到浅层特征图；将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的深层以得到深层特征图；以及，使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述分类特征图。
20.在上述环卫一体化的智慧环卫管理方法中，所述使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述分类特征图，包括：使用所述深浅特征融合模块将所述浅层特征图和所述深层特征图进行级联以得到所述分类特征图。
21.在上述环卫一体化的智慧环卫管理方法中，所述卷积神经网络模型的浅层为4-6层，所述卷积神经网络模型的深层与所述卷积神经网络模型的浅层之间的比值大于等于5。
22.在上述环卫一体化的智慧环卫管理方法中，所述将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：
其中表示将所述分类矩阵图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
23.在上述环卫一体化的智慧环卫管理方法中，还包括用于对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练阶段。
24.在上述环卫一体化的智慧环卫管理方法中，所述训练阶段，包括：获取训练检测图像；将所述训练检测图像通过所述基于对抗生成网络的图像增强器以得到训练像素增强检测图像；将所述训练像素增强检测图像从所述rgb颜色空间转化为所述ycbcr颜色空间并抽取各个通道的训练lbp纹理特征直方图；将所述各个通道的训练lbp纹理特征直方图沿通道维度进行聚合以得到多通道训练lbp纹理特征直方图；将所述多通道训练lbp纹理特征直方图通过所述使用深浅特征融合模块的卷积神经网络模型以得到训练分类特征图；将所述训练分类特征图通过分类器以得到分类损失函数值；以及，以所述分类损失函数值并通过梯度下降的反向传播来对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练分类特征图展开得到的训练分类特征向量进行迭代。
25.在上述环卫一体化的智慧环卫管理方法中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，以如下公式对由所述训练分类特征图展开得到的训练分类特征向量进行迭代；其中，所述公式为：其中表示所述训练分类特征图展开得到的所述训练分类特征向量，和分别表示所述分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加法，表示按位置减法，表示矩阵相乘，表示向量的指数运算和矩阵的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。
26.根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的环卫一体化的智慧环卫管理方法。
27.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的环卫一体化的智慧环卫管理方法。
28.与现有技术相比，本技术提供的环卫一体化的智慧环卫管理系统，其认识到垃圾类型识别问题本质上是一个基于图像的分类问题，也就是，采集待投放垃圾的图像，并基于所述待投放垃圾的图像特征来确定其所属的垃圾类别，包括：可回收垃圾、不可回收垃圾、厨余垃圾等，因此，本技术依托于智能垃圾桶构建一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。
29.附图说明
30.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
31.图1图示了根据本技术实施例的环卫一体化的智慧环卫管理系统的应用场景图。
32.图2图示了根据本技术实施例的环卫一体化的智慧环卫管理系统的框图。
33.图3图示了根据本技术实施例的环卫一体化的智慧环卫管理系统的系统架构图。
34.图4图示了根据本技术实施例的环卫一体化的智慧环卫管理系统中图像特征提取单元的框图。
35.图5图示了根据本技术实施例的环卫一体化的智慧环卫管理系统中训练模块的框图。
36.图6图示了根据本技术实施例的环卫一体化的智慧环卫管理方法的流程图。
37.图7图示了根据本技术实施例的环卫一体化的智慧环卫管理方法中训练阶段的流程图。
38.图8图示了根据本技术实施例的电子设备的框图。
39.具体实施方式
40.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
41.申请概述如上所述，经研究，发现人们在无意识地乱投乱放时，很大的问题在于人们不知道所需投放的垃圾的类型，导致其不知道该如何投放。因此，期待一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。
42.垃圾类型识别问题本质上是一个基于图像的分类问题，也就是，采集待投放垃圾的图像，并基于所述待投放垃圾的图像特征来确定其所属的垃圾类别，包括：可回收垃圾、不可回收垃圾、厨余垃圾等。但是，考虑到人们在投放垃圾时，通常是在早上或者晚上，在这个时间段环境光照并不是很充足，导致所采集的图像在源域端的质量不高。并且，在人们的日常生活中会产生各式各样的垃圾，垃圾类内间距大，类间间距也不大，这使得垃圾分类识别问题变得异常问题。
43.针对上述技术问题，在本技术的技术方案中，在通过摄像头采集待投放垃圾的检测图像后，首先将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像。也就是，基于对抗生成思想来对所述检测图像进行图像增强以提高其在源域端的图像表征能力。所述对抗生成网络包括生成器和鉴别器，其中，所述生成器用于对输入图像进行分辨率增强以生成高像素图像，所述鉴别器用于比较生成高像素图像和真实高像素图像
之间的鉴别器损失函数值，并以所述鉴别器损失函数值作为损失函数值来对所述生成器的神经网络参数进行更新。
44.应可以理解，在进行垃圾分类时，更关注垃圾的表面纹理，而如果直接采用像素增强检测图像的灰度图像来进行纹理特征提取会导致分类的准确率不高。因此，在本技术的技术方案中，将所述像素增强检测图像从rgb颜色空间转化为 ycbcr 颜色空间并抽取各个通道的lbp纹理特征直方图，并所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图，也就是，将所有纹理特征图在数据源域端进行聚合以得到丰富的纹理特征直方图作为网络端的输入。
45.接着，将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图。也就是，在本技术的技术方案中，以在图像特征提取领域具有优异性能表现的深度卷积神经网络模型作为特征提取器来提取所述多通道lbp纹理特征直方图的局部图像高维隐含特征，即，局部纹理特征的深层隐含特征。并且，考虑到所述卷积神经网络模型在进行特征提取时，随着其编码深度的深入，作为浅层的纹理特征会被模糊甚至消失，而导致最终分类判断精度的下降，因此，在本技术的技术方案中，所述卷积神经网络模型进一步配置有深浅特征融合模块，以保留作为浅层的纹理特征和作为深层的垃圾本质特征，通过这样的方式，来提高垃圾分类判断的精准度。
46.在得到所述分类特征图后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签。也就是，以分类器对所述分类特征图的高维数据流形进行类边界划分和确定以得到用于表示所述待投放垃圾的垃圾分类标签。这样，基于所述分类结果，可生成垃圾投放提示信息，以辅助人们进行垃圾分类投放，通过这样的方式，来提高环卫管理效果。
47.特别地，在本技术的技术方案中，由于所述分类特征图聚合了使用深浅特征融合模块的卷积神经网络模型提取到的深层特征和浅层特征，且作为源图像的多通道lbp纹理特征直方图也聚合了各个通道的lbp纹理特征直方图的图像特征，这就使得所述分类特征图通过分类器进行分类时，分类器的权重矩阵相对于所述分类特征图的聚合特征的适配负担会较重，这影响了分类器的训练速度和分类特征矩阵的分类结果的准确性。
48.因此，本技术的申请人考虑使用分类器迭代的场景相关优化来进行分类器的训练，具体为：练，具体为：是所述分类特征图展开后得到的分类特征向量，和是分类器在每次迭代更新前后的权重矩阵，表示向量的零范数。
49.这里，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对所述分类特征向量的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对所述分类特征向量进行相关性描述，以从所述分类特征向量的角度提升分类器的权重矩阵的参数与所述分类特征向量之间的适配性，从而提升分类器的训练速度和分类特征向量的分类结果的准确性。
50.基于此，本技术提出了一种环卫一体化的智慧环卫管理系统，其包括：待投放垃圾检测单元，用于获取待投放垃圾的检测图像；图像增强单元，用于将所述检测图像通过基于
对抗生成网络的图像增强器以得到像素增强检测图像；颜色空间转换单元，用于将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；多通道聚合单元，用于将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；图像特征提取单元，用于将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图；垃圾类型识别单元，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签；以及，管理结果生成单元，用于基于所述分类结果，生成垃圾投放提示信息。
51.图1图示了根据本技术实施例的环卫一体化的智慧环卫管理系统的应用场景图。如图1所示，应可以理解，所述环卫一体化的智能环卫管理系统依托于可以进行垃圾类型智能识别分类的智能垃圾桶（例如，如图1中所示意的b）实现，因此，在该应用场景中，通过部署于智能垃圾桶的摄像头（例如，如图1中所示意的c）获取获取待投放垃圾（例如，如图1中所示意的t）的检测图像。进而，将所述检测图像输入至部署有环卫一体化的智慧环卫管理算法的服务器（例如，如图1中所示意的s）中，其中，所述服务器能够以所述环卫一体化的智慧环卫管理算法对输入的所述检测图像进行处理以得到用于表示待投放垃圾的垃圾分类标签的分类结果，并基于所述分类结果，生成垃圾投放提示信息，以辅助人们进行垃圾分类投放。
52.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
53.示例性系统图2图示了根据本技术实施例的环卫一体化的智慧环卫管理系统的框图。如图2所示，根据本技术实施例的环卫一体化的智慧环卫管理系统100，包括：待投放垃圾检测单元110，用于获取待投放垃圾的检测图像；图像增强单元120，用于将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像；颜色空间转换单元130，用于将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；多通道聚合单元140，用于将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；图像特征提取单元150，用于将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图；垃圾类型识别单元160，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签；以及，管理结果生成单元170，用于基于所述分类结果，生成垃圾投放提示信息。
54.图3图示了根据本技术实施例的环卫一体化的智慧环卫管理系统的系统架构图。如图3所示，在该系统架构中，首先获取待投放垃圾的检测图像。接着，将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像。然后，将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图，并将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图。进而，将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图。接着，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签。然后，基于所述分类结果，生成垃圾投放提示信息。
55.在上述环卫一体化的智慧环卫管理系统100中，所述待投放垃圾检测单元110，用
于获取待投放垃圾的检测图像。如上所述，经研究，发现人们在无意识地乱投乱放时，很大的问题在于人们不知道所需投放的垃圾的类型，导致其不知道该如何投放。因此，期待一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。
56.垃圾类型识别问题本质上是一个基于图像的分类问题，也就是，采集待投放垃圾的图像，并基于所述待投放垃圾的图像特征来确定其所属的垃圾类别，包括：可回收垃圾、不可回收垃圾、厨余垃圾等。但是，考虑到人们在投放垃圾时，通常是在早上或者晚上，在这个时间段环境光照并不是很充足，导致所采集的图像在源域端的质量不高。并且，在人们的日常生活中会产生各式各样的垃圾，垃圾类内间距大，类间间距也不大，这使得垃圾分类识别问题变得异常问题。因此，针对上述技术问题，在本技术的技术方案中，首先，获取待投放垃圾的监测图像，其中，所述待投放垃圾的监测图像由部署于智能垃圾桶的摄像头获取。
57.在上述环卫一体化的智慧环卫管理系统100中，所述图像增强单元120，用于将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像。也就是，基于对抗生成思想来对所述检测图像进行图像增强以提高其在源域端的图像表征能力。所述对抗生成网络包括生成器和鉴别器，其中，所述生成器用于对输入图像进行分辨率增强以生成高像素图像，所述鉴别器用于比较生成高像素图像和真实高像素图像之间的鉴别器损失函数值，并以所述鉴别器损失函数值作为损失函数值来对所述生成器的神经网络参数进行更新。
58.在一个示例中，在上述环卫一体化的智慧环卫管理系统100中，所述图像增强单元120，进一步用于将所述所述检测图像输入训练完成的所述基于对抗生成网络的图像增强器的生成器以得到所述像素增强检测图像。
59.在上述环卫一体化的智慧环卫管理系统100中，所述颜色空间转换单元130，用于将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图。应可以理解，在进行垃圾分类时，更关注垃圾的表面纹理，而如果直接采用像素增强检测图像的灰度图像来进行纹理特征提取会导致分类的准确率不高。因此，在本技术的技术方案中，将所述像素增强检测图像从rgb颜色空间转化为 ycbcr 颜色空间并抽取各个通道的lbp纹理特征直方图。
60.在上述环卫一体化的智慧环卫管理系统100中，所述多通道聚合单元140，用于将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图。也就是，将所有纹理特征图在数据源域端进行聚合以得到丰富的纹理特征直方图作为网络端的输入。
61.在上述环卫一体化的智慧环卫管理系统100中，所述图像特征提取单元150，用于将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图。也就是，在本技术的技术方案中，以在图像特征提取领域具有优异性能表现的深度卷积神经网络模型作为特征提取器来提取所述多通道lbp纹理特征直方图的局部图像高维隐含特征，即，局部纹理特征的深层隐含特征。
62.图4图示了根据本技术实施例的环卫一体化的智慧环卫管理系统中图像特征提取单元的框图。如图4所示，在上述环卫一体化的智慧环卫管理系统100中，所述图像特征提取单元150，包括：浅层特征提取子单元151，用于将所述多通道lbp纹理特征直方图通过所述
卷积神经网络模型的浅层以得到浅层特征图；深层特征提取子单元152，用于将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的深层以得到深层特征图；以及，融合子单元153，用于使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述分类特征图。
63.考虑到所述卷积神经网络模型在进行特征提取时，随着其编码深度的深入，作为浅层的纹理特征会被模糊甚至消失，而导致最终分类判断精度的下降，因此，在本技术的技术方案中，所述卷积神经网络模型进一步配置有深浅特征融合模块，以保留作为浅层的纹理特征和作为深层的垃圾本质特征，通过这样的方式，来提高垃圾分类判断的精准度。
64.在一个示例中，在上述环卫一体化的智慧环卫管理系统100中，所述融合子单元153，进一步用于使用所述深浅特征融合模块将所述浅层特征图和所述深层特征图进行级联以得到所述分类特征图。
65.在一个示例中，在上述环卫一体化的智慧环卫管理系统100中，所述卷积神经网络模型的浅层为4-6层，所述卷积神经网络模型的深层与所述卷积神经网络模型的浅层之间的比值大于等于5。
66.在上述环卫一体化的智慧环卫管理系统100中，所述垃圾类型识别单元160，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签。也就是，以分类器对所述分类特征图的高维数据流形进行类边界划分和确定以得到用于表示所述待投放垃圾的垃圾分类标签。
67.在一个示例中，在上述环卫一体化的智慧环卫管理系统100中，所述垃圾类型识别单元160，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：其中表示将所述分类矩阵图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
68.在上述环卫一体化的智慧环卫管理系统100中，所述管理结果生成单元170，用于基于所述分类结果，生成垃圾投放提示信息。这样，基于垃圾投放提示信息，辅助人们进行垃圾分类投放，通过这样的方式，来提高环卫管理效果。
69.在一个示例中，在上述环卫一体化的智慧环卫管理系统100中，还包括用于对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练模块200。
70.图5图示了根据本技术实施例的环卫一体化的智慧环卫管理系统中训练模块的框图。如图5所示，在上述环卫一体化的智慧环卫管理系统100中，所述训练模块200，包括：训练数据采集单元210，用于获取训练检测图像；训练图像增强单元220，用于将所述训练检测图像通过所述基于对抗生成网络的图像增强器以得到训练像素增强检测图像；训练颜色空间转换单元230，用于将所述训练像素增强检测图像从所述rgb颜色空间转化为所述ycbcr颜色空间并抽取各个通道的训练lbp纹理特征直方图；训练多通道聚合单元240，用于将所述各个通道的训练lbp纹理特征直方图沿通道维度进行聚合以得到多通道训练lbp纹理特征直方图；训练图像特征提取单元250，用于将所述多通道训练lbp纹理特征直方图通过所述使用深浅特征融合模块的卷积神经网络模型以得到训练分类特征图；分类损失单元260，
用于将所述训练分类特征图通过分类器以得到分类损失函数值；以及，训练单元270，用于以所述分类损失函数值并通过梯度下降的反向传播来对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练分类特征图展开得到的训练分类特征向量进行迭代。
71.特别地，在本技术的技术方案中，由于所述分类特征图聚合了使用深浅特征融合模块的卷积神经网络模型提取到的深层特征和浅层特征，且作为源图像的多通道lbp纹理特征直方图也聚合了各个通道的lbp纹理特征直方图的图像特征，这就使得所述分类特征图通过分类器进行分类时，分类器的权重矩阵相对于所述分类特征图的聚合特征的适配负担会较重，这影响了分类器的训练速度和分类特征矩阵的分类结果的准确性。因此，本技术的申请人考虑使用分类器迭代的场景相关优化来进行分类器的训练。
72.在一个示例中，在上述环卫一体化的智慧环卫管理系统100中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，以如下公式对由所述训练分类特征图展开得到的训练分类特征向量进行迭代；其中，所述公式为：其中表示所述训练分类特征图展开得到的所述训练分类特征向量，和分别表示所述分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加法，表示按位置减法，表示矩阵相乘，表示向量的指数运算和矩阵的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。
73.这里，以分类器在迭代时权重矩阵的参数更新前后的场景点相关性的度量作为校正因数，来对所述分类特征向量的类概率表示进行优化，以通过分类器的分类场景的分布相似性做出支持来对所述分类特征向量进行相关性描述，以从所述分类特征向量的角度提升分类器的权重矩阵的参数与所述分类特征向量之间的适配性，从而提升分类器的训练速度和分类特征向量的分类结果的准确性。
74.综上，根据本技术实施例的所述环卫一体化的智慧环卫管理系统100被阐明，其认识到垃圾类型识别问题本质上是一个基于图像的分类问题，也就是，采集待投放垃圾的图像，并基于所述待投放垃圾的图像特征来确定其所属的垃圾类别，包括：可回收垃圾、不可回收垃圾、厨余垃圾等，因此，本技术依托于智能垃圾桶构建一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。
75.示例性方法图6图示了根据本技术实施例的环卫一体化的智慧环卫管理方法的流程图。如图6所示，根据本技术实施例的所述环卫一体化的智慧环卫管理方法，包括步骤：s110，获取待投放垃圾的检测图像；s120，将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像；s130，将所述像素增强检测图像从rgb颜色空间转化为ycbcr颜色空间并抽取各个通道的lbp纹理特征直方图；s140，将所述各个通道的lbp纹理特征直方图沿通道维度进行聚合以得到多通道lbp纹理特征直方图；s150，将所述多通道lbp纹理特征直方
图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图；s160，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签；以及，s170，基于所述分类结果，生成垃圾投放提示信息。
76.具体地，在本技术实施例中，所述将所述检测图像通过基于对抗生成网络的图像增强器以得到像素增强检测图像，包括：将所述所述检测图像输入训练完成的所述基于对抗生成网络的图像增强器的生成器以得到所述像素增强检测图像。
77.具体地，在本技术实施例中，所述将所述多通道lbp纹理特征直方图通过使用深浅特征融合模块的卷积神经网络模型以得到分类特征图，包括：将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的浅层以得到浅层特征图；将所述多通道lbp纹理特征直方图通过所述卷积神经网络模型的深层以得到深层特征图；以及，使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述分类特征图。
78.具体地，在本技术实施例中，所述使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到所述分类特征图，包括：使用所述深浅特征融合模块将所述浅层特征图和所述深层特征图进行级联以得到所述分类特征图。
79.具体地，在本技术实施例中，所述卷积神经网络模型的浅层为4-6层，所述卷积神经网络模型的深层与所述卷积神经网络模型的浅层之间的比值大于等于5。
80.具体地，在本技术实施例中，所述将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待投放垃圾的垃圾分类标签，包括：使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：其中表示将所述分类矩阵图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
81.具体地，在本技术实施例中，还包括用于对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练阶段。
82.图7图示了根据本技术实施例的环卫一体化的智慧环卫管理方法中训练阶段的流程图。如图7所示，所述训练阶段，包括：s210，获取训练检测图像；s220，将所述训练检测图像通过所述基于对抗生成网络的图像增强器以得到训练像素增强检测图像；s230，将所述训练像素增强检测图像从所述rgb颜色空间转化为所述ycbcr颜色空间并抽取各个通道的训练lbp纹理特征直方图；s240，将所述各个通道的训练lbp纹理特征直方图沿通道维度进行聚合以得到多通道训练lbp纹理特征直方图；s250，将所述多通道训练lbp纹理特征直方图通过所述使用深浅特征融合模块的卷积神经网络模型以得到训练分类特征图；s260，将所述训练分类特征图通过分类器以得到分类损失函数值；以及，s270，以所述分类损失函数值并通过梯度下降的反向传播来对所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练，其中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵对由所述训练分类特征图展开得到的训练分类特征向量进行迭代。
83.具体地，在本技术实施例中，在所述训练的每一轮迭代中，基于所述分类器在每次迭代更新前后的权重矩阵，以如下公式对由所述训练分类特征图展开得到的训练分类特征
向量进行迭代；其中，所述公式为：其中表示所述训练分类特征图展开得到的所述训练分类特征向量，和分别表示所述分类器在每次迭代更新前后的权重矩阵，表示向量的零范数，表示按位置加法，表示按位置减法，表示矩阵相乘，表示向量的指数运算和矩阵的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值。
84.综上，根据本技术实施例的所述环卫一体化的智慧环卫管理方法被阐明，其认识到垃圾类型识别问题本质上是一个基于图像的分类问题，也就是，采集待投放垃圾的图像，并基于所述待投放垃圾的图像特征来确定其所属的垃圾类别，包括：可回收垃圾、不可回收垃圾、厨余垃圾等，因此，本技术依托于智能垃圾桶构建一种环卫一体化的智慧环卫管理系统，其能够对待投放的垃圾进行智能识别和分类以辅助人们进行垃圾分类。
85.示例性电子设备下面，参考图8来描述根据本技术实施例的电子设备。图8图示了根据本技术实施例的电子设备的框图。
86.如图8所示，电子设备10包括一个或多个处理器11和存储器12。
87.处理器11可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
88.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的环卫一体化的智慧环卫管理方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如待投放垃圾检测图像等各种内容。
89.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
90.该输入装置13可以包括例如键盘、鼠标等等。
91.该输出装置14可以向外部输出各种信息，包括提示信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
92.当然，为了简化，图8中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
93.示例性计算机程序产品和计算机可读存储介质除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的环卫一体化的智慧环卫管理方法中的功能中的步骤。
94.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
95.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的环卫一体化的智慧环卫管理方法中的功能中的步骤。
96.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。