垃圾智能分类方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及图像识别技术领域，尤其涉及一种垃圾智能分类方法、装置、设备及存储介质。


背景技术：

2.当今社会人们越来越重视保护环境，在居民端推广了垃圾分类来解决垃圾分拣中的问题。然而在垃圾智能分拣中对于涂了同样颜色的纸、布匹以及木料，采用可见光图片识别无法正常区分出来，这样就不能正确的进行分拣了。在垃圾中转站，仍然需要大量的人力来重新进行分拣，排除分类错误的垃圾。
3.因此，如何采用人工智能的方法分拣垃圾，减少人力，提高垃圾分类效率是本领域技术人员亟待解决的技术问题。


技术实现要素：

4.本发明实施例提供一种垃圾智能分类方法、装置、电子设备及存储介质，将待分类垃圾的红外光谱图像和可见光图像拼接成一张待识别图像进行智能分类，极大的提高了垃圾分类的准确率。
5.第一方面，本发明实施例提供了一种垃圾智能分类方法，包括：
6.获取待分类垃圾的可见光图像以及红外光谱图像；
7.将所述可见光图像以及红外光谱图像拼接为一张待识别图像；
8.采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
9.第二方面，本发明实施例还提供了一种垃圾智能分类装置，包括：
10.图像获取模块，用于获取待分类垃圾的可见光图像以及红外光谱图像；
11.图像处理模块，用于将所述可见光图像以及红外光谱图像拼接为一张待识别图像；
12.图像分类模块，用于采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
13.第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序；
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的垃圾智能分类方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的垃圾智能分类方法。
18.本发明实施例提供了一种垃圾智能分类方法、装置、电子设备和存储介质，通过获取待分类垃圾的可见光图像以及红外光谱图像；将所述可见光图像以及红外光谱图像拼接
为一张待识别图像；采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。采用本发明实施例的技术方案，将待分类垃圾的可见光图像以及红外光谱图像拼接为一张待识别图像，对所述待识别图像进行分类识别，对于颜色相同但材质不同的垃圾能够有效区分，极大的提高了垃圾分类的准确率。
附图说明
19.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
20.图1a是本发明实施例一提供的一种垃圾智能分类方法的流程图；
21.图1b是本发明实施例提供的一种由可见光图像以及红外光谱图像拼接成的待识别图像的示意图；
22.图1c是本发明实施例提供的一种垃圾分类识别模型训练和识别流程示意图；
23.图2a为本发明实施例二提供的一种垃圾智能分类方法的流程图；
24.图2b是本发明实施例提供的一种两种不同采集的光谱示意图；
25.图3是本发明实施例三提供的一种垃圾智能分类装置的结构示意图；
26.图4是本技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
27.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
28.在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
29.实施例一
30.图1a是本发明实施例一提供的一种垃圾智能分类方法的流程图，本实施例可适用于对垃圾进行智能分类的情况，本实施例的方法可以由垃圾智能分类装置来执行，该装置可以采用硬件和/或软件的方式来实现。该装置可以配置于垃圾智能分类的服务器中。该方法具体包括如下步骤：
31.s110、获取待分类垃圾的可见光图像以及红外光谱图像。
32.其中，可见光图像可以是指人眼能够识别的图像。
33.红外光谱图像可以是指利用红外光谱对物质分子进行分析和鉴定的图像。例如，采用红外光谱仪对待分类垃圾进行拍照，获取待分类垃圾的红外光谱图像。对于两种不同材质的物体所对应的光谱图有很大的区分度，采用红外光谱图像能够将颜色相同但材质不同的至少两种垃圾进行区分，能够有效提高垃圾分类效率。
34.其中，所述获取待分类垃圾的可见光图像以及红外光谱图像，包括：
35.采用图像采集设备获取或者从终端设备的相册中选取待分类垃圾的可见光图像；其中，所述图像采集设备包括摄像机、手机以及平板电脑；
36.将所述待分类垃圾的可见光图像采用漫反射傅里叶变换技术进行处理，确定所述待分类垃圾的红外光谱图像。
37.可选的，通过多种渠道获取待分类垃圾的可见光图像，包括但不限于使用手机或平板电脑等移动智能终端设备在垃圾场以及垃圾桶内实时拍摄、网络下载以及公开征集等，保证了图片来源的丰富性。
38.s120、将所述可见光图像以及红外光谱图像拼接为一张待识别图像。
39.可选的，所述将所述可见光图像以及红外光谱图像拼接为一张待识别图像，包括：
40.将获取的待分类垃圾的可见光图像以及红外光谱图像采用图像拼接技术拼接为一张待识别图像；其中，所述拼接包括将所述可见光图像以及红外光谱图像上下拼接以及左右拼接。
41.其中，待识别图像可以是指将待分类垃圾的可见光图像以及红外光谱图像拼接成的一张图像。图1b是本发明实施例提供的一种由可见光图像以及红外光谱图像拼接成的待识别图像的示意图，参见图1b，将所述可见光图像以及红外光谱图像上下拼接成一张待识别图像。所述拼接方法包括但不限于上下拼接以及左右拼接，在本发明实施例中不做具体限制。
42.s130、采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
43.在本发明实施例的一种可选方案中，可采用卷积神经网络(convolutional neural networks，cnn)对所述待识别图像进行训练。获取各种不同种类垃圾的可见光图像和红外光谱图像，并把垃圾的可见光图像和红外光谱图像拼接成为一张待识别图像，然后对所述待识别图像进行人工标注分类。搭建cnn图片识别模型，对拼接后的图片进行训练。完成训练后，得到垃圾分类识别模型。
44.图1c是本发明实施例提供的一种垃圾分类识别模型训练和识别流程示意图，参见图1c，将获取可见光图像以及红外光谱图像进行拼接，采用卷积神经网络进行训练生成垃圾分类识别模型，并采用所述垃圾分类识别模型进行分类识别，预测所述待分类垃圾所属分类，对所述待分类进行分类。其中，将所述待识别图像输入到预先训练的垃圾分类识别模型中，确定所述待识别图像分类结果；并依据所述待识别图像分类结果，对所述待分类垃圾进行分类，能够将颜色相同但材质不同的垃圾进行分类，有效提高垃圾分类的准确率。
45.本发明实施例提供了一种垃圾智能分类方法，通过获取待分类垃圾的可见光图像以及红外光谱图像；将所述可见光图像以及红外光谱图像拼接为一张待识别图像；采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。采用本发明实施例的技术方案，将待分类垃圾的可见光图像以及红外光谱图像拼接为一张待识别图像，对所述待识别图像进行分类识别，对于颜色相同但材质不同的垃圾能够有效区分，极大的提高了垃圾分类的准确率。
46.实施例二
47.图2a为本发明实施例二提供的一种垃圾智能分类方法的流程图。本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多
个实施例中各个可选方案结合。如图2a所示，本发明实施例中提供的垃圾智能分类方法，可包括以下步骤：
48.s210、采用图像采集设备获取或者从终端设备的相册中选取待分类垃圾的可见光图像。
49.s220、将所述待分类垃圾的可见光图像采用漫反射傅里叶变换技术进行处理，确定所述待分类垃圾的红外光谱图像。
50.其中，红外吸收光谱是由分子振动和转动跃迁所引起的,组成化学键或官能团的原子处于不断振动或转动的状态，其振动频率与红外光的振动频率相当。分子运动有平动、转动、振动和电子运动四种，其中转动、振动和电子运动为量子运动。分子从较低的能级e1吸收一个能量为hv的光子，可以跃迁到较高的能级e2，整个运动过程满足能量守恒定律e2-e1＝hv。能级之间相差越小，分子所吸收的光的频率越低，波长越长。所以，用红外光照射分子时，分子中的化学键或官能团可发生振动吸收，不同的化学键或官能团吸收频率不同，在红外光谱上将处于不同位置，从而可获得分子中含有何种化学键或官能团的信息。
51.红外光谱法实质上是一种根据分子内部原子间的相对振动和分子转动等信息来确定物质分子结构和鉴别化合物的分析方法。红外光谱法特征性高，就像人的指纹一样，每一种化合物都有自己的特征红外光谱，所以把红外光谱分析形象的称为物质分子的“指纹”分析；红外光谱法应用范围广，从气体、液体到固体，从无机化合物到有机化合物，从高分子到低分子都可用红外光谱法进行分析。红外光谱法采用的样本数量少，分析速度快，不破坏样品。图2b是本发明实施例提供的一种两种不同采集的光谱示意图，图2b中左侧为环氧树脂的红外光谱图像，图2b中右侧为环氧-丙烯酸树脂的红外光谱图像，参见图2b，可见两种不同材质的光谱图具有很大的区分度；采用红外光谱图像能够将颜色相同但材质不同的至少两种垃圾进行区分，能够有效提高垃圾分类效率。
52.在本发明实施例的一种可选方案中，本发明实施例采用漫反射傅里叶变换技术来制作红外光谱图像。漫反射傅里叶变换，即当光照射到疏松的固体样品表面，一部分光发生镜面反射；另一部分光在样品表面发生漫反射，或在样品微粒间辗转反射并衰减，或射入样品内部再折回散射，入射光经过漫反射和散射后与样品发生了能量交换，光强发生吸收衰减，记录衰减信号，即得到漫反射红外光谱。漫反射傅里叶变换红外光谱技术不需要制样、不改变样品的形状、不污染样品、不要求样品有足够的透明度或表面光洁度、也不破坏样品以及不对样品的外观和性能造成损害，可以进行无损测定。本发明实施例采用红外光谱图像对待分类垃圾图像进行处理，能够提高垃圾分类效率。
53.s230、将所述可见光图像以及红外光谱图像拼接为一张待识别图像。
54.其中，将所述可见光图像以及红外光谱图像拼接为一张待识别图像，对所述待识别图像进行训练，能够有效解决只采用可见光图像对于涂了同样颜色的纸、布匹以及木料无法区分出来的问题。将所述可见光图像以及红外光谱图像拼接为一张待识别图像，增加光谱分析的方法来进行材质的识别，对所述待识别图像进行分类识别，提高了垃圾分类的准确率。
55.s240、采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
56.可选的，所述垃圾分类识别模型的生成过程包括：
57.将所述待识别图像进行人工标注，划分得到训练数据集和验证数据集；
58.基于卷积神经网络对所述训练数据集图像进行融合、分析和计算，生成待识别图像的特征表达；
59.通过卷积神经网络对所述待识别图像的特征表达进行分析计算，生成基于卷积神经网络的初始垃圾分类识别模型；
60.使用训练数据集对所述初始垃圾分类识别模型进行深度学习训练形成垃圾分类识别模型，并使用验证数据集对生成的垃圾分类识别模型进行测试调试。
61.其中，将所述待识别图像进行人工标注，并采用卷积神经网络对所述待识别图像进行训练生成垃圾分类识别模型，采用所述垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
62.可选的，所述采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果，包括：
63.将所述待识别图像输入到预先训练的垃圾分类识别模型中，确定所述待识别图像分类结果；
64.依据所述待识别图像分类结果，对所述待分类垃圾进行分类。
65.其中，依据所述待识别图像分类结果，对所述待分类垃圾进行分类，能够将颜色相同但材质不同的垃圾进行分类，有效提高垃圾分类的准确率。
66.本发明实施例提供了一种垃圾智能分类方法，通过采用图像采集设备获取或者从终端设备的相册中选取待分类垃圾的可见光图像；将所述待分类垃圾的可见光图像采用漫反射傅里叶变换技术进行处理，确定所述待分类垃圾的红外光谱图像；将所述可见光图像以及红外光谱图像拼接为一张待识别图像；采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。采用本发明实施例的技术方案，采用漫反射傅里叶变换技术生成红外光谱图像，能够有效解决只采用可见光图像对于涂了同样颜色的纸、布匹以及木料无法区分出来的问题；将待分类垃圾的可见光图像以及红外光谱图像拼接为一张待识别图像，对所述待识别图像进行分类识别区分，极大的提高了垃圾分类的准确率。
67.实施例三
68.图3是本发明实施例三提供的一种垃圾智能分类装置的结构示意图，该装置包括：图像获取模块310、图像处理模块320和图像分类模块330。其中：
69.图像获取模块310，用于获取待分类垃圾的可见光图像以及红外光谱图像；
70.图像处理模块320，用于将所述可见光图像以及红外光谱图像拼接为一张待识别图像；
71.图像分类模块330，用于采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
72.在上述实施例的基础上，可选的，所述图像获取模块包括：
73.采用图像采集设备获取或者从终端设备的相册中选取待分类垃圾的可见光图像；其中，所述图像采集设备包括摄像机、手机以及平板电脑；
74.将所述待分类垃圾的可见光图像采用漫反射傅里叶变换技术进行处理，确定所述待分类垃圾的红外光谱图像。
75.在上述实施例的基础上，可选的，所述图像处理模块包括：
76.将获取的待分类垃圾的可见光图像以及红外光谱图像采用图像拼接技术拼接为一张待识别图像；其中，所述拼接包括将所述可见光图像以及红外光谱图像上下拼接以及左右拼接。
77.在上述实施例的基础上，可选的，所述图像分类模块包括：
78.将所述待识别图像进行人工标注，划分得到训练数据集和验证数据集；
79.基于卷积神经网络对所述训练数据集图像进行融合、分析和计算，生成待识别图像的特征表达；
80.通过卷积神经网络对所述待识别图像的特征表达进行分析计算，生成基于卷积神经网络的初始垃圾分类识别模型；
81.使用训练数据集对所述初始垃圾分类识别模型进行深度学习训练形成垃圾分类识别模型，并使用验证数据集对生成的垃圾分类识别模型进行测试调试。
82.在上述实施例的基础上，可选的，所述图像分类模块包括：
83.将所述待识别图像输入到预先训练的垃圾分类识别模型中，确定所述待识别图像分类结果；
84.依据所述待识别图像分类结果，对所述待分类垃圾进行分类。
85.本发明实施例中所提供的垃圾智能分类装置可执行上述本发明任意实施例中所提供的垃圾智能分类方法，具备执行该垃圾智能分类方法相应的功能和有益效果，详细过程参见前述实施例中垃圾智能分类方法的相关操作。
86.实施例四
87.图4是本技术实施例四提供的一种电子设备的结构示意图。本技术实施例提供了一种电子设备，该电子设备中可集成本技术实施例中提供的垃圾智能分类的互动装置。如图4所示，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器420执行，使得所述一个或多个处理器420实现本技术实施例中所提供的垃圾智能分类方法，该方法包括：
88.获取待分类垃圾的可见光图像以及红外光谱图像；
89.将所述可见光图像以及红外光谱图像拼接为一张待识别图像；
90.采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
91.当然，本领域技术人员可以理解，处理器420还实现本技术任意实施例所提供的垃圾智能分类方法的技术方案。
92.图4显示的电子设备400仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
93.如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。
94.存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本技术实施例中的垃圾智能分类方法对应的程序指令。
95.存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作
系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
96.输入装置430可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏、扬声器等电子设备。
97.本技术实施例提供的电子设备，可以达到有效解决只采用可见光图像对于涂了同样颜色的纸、布匹以及木料无法区分出来的难题，并且较大程度上提高了垃圾分类的准确率的技术效果。
98.实施例五
99.本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种垃圾智能分类方法，该方法包括：
100.获取待分类垃圾的可见光图像以及红外光谱图像；
101.将所述可见光图像以及红外光谱图像拼接为一张待识别图像；
102.采用垃圾分类识别模型对所述待识别图像进行训练，确定所述待识别图像分类结果。
103.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
104.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
105.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radiofrequency，rf)等等，或者上述的任意合适的组合。
106.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在
涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
107.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
108.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。