基于多传感器融合和深度学习的垃圾分类识别方法及装置与流程

本发明涉及图像检测、机器视觉、测量技术领域，特别涉及一种基于多传感器融合和深度学习的垃圾分类识别方法及装置。

背景技术：

目前，从世界和我国范围来看，随着人口的不断增长，垃圾总量和人均垃圾制造量也在不断增加，因此垃圾的分类处理成为了摆在各方面前的难题，而在这难题中比较突出的就是城市垃圾的分类处理，特别是人口密集区中的生活垃圾，是城市垃圾的高产之地。

为了解决这个垃圾分类问题，各界研究出各种垃圾分类方法，其中较为突出的是以图像分类为目标的图像识别的方法和仅依靠相关传感器采集的物理参数实现垃圾分类的方法。这两种方法都有其优势所在，但他们的缺陷也很明显，前者的识别速度快但错误率较高，而后者虽然分类的准确度较高，但是有时因为工作环境等因素的影响会导致识别到的垃圾种类较少，且识别的速度比较慢。

为此，研究一种既高效又准确的垃圾分类识别方法及装置具有重要意义。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提供一种基于多传感器融合和深度学习的垃圾分类识别方法和装置，该方法和装置能够高速且准确地将用户投放的生活垃圾分类，做到尽可能成功分类常见的生活垃圾，并同时将垃圾种类等信息反馈回来，进而提高垃圾的回收率。

为实现以上目的，本发明采取如下技术方案：

基于多传感器融合和深度学习的垃圾分类识别方法，包括步骤：

s1：获取学习样本数据，样本数据包括已知分类垃圾的图像和物理参量，所述物理参量包括介电常数、磁导率、光电参数和重量；

s2：采用深度学习神经网络方法训练分类模型，分类模型的输入为上述样本数据，输出为预测的垃圾种类；

s3：拍摄待分类垃圾的图像，采集待分类发垃圾的物理参量，然后将信息输入到步骤s2中的分类模型，得到预测的垃圾种类。

作为优先考虑的技术方案，待分类垃圾的垃圾袋外层上若存在条形码，则先通过图像读取条形码信息，条形码信息中包括了垃圾的类别信息，将条形码信息与条形码数据库中的信息进行匹配，如果匹配成功，则自动完成分类，否则采集物理参量，连同图像一起输入到所述分类模型进行判别。

作为优先考虑的技术方案，图像在用于训练分类模型或者输入分类模型前，进行如下处理：

预处理步骤，包括图像的初始化、去均值、归一化、pca和白化；

图像增强步骤，包括对比度拉升、gamma校正和直方图均衡化。

作为优先考虑的技术方案，对于采集的样本数据或者待分类垃圾的物理参量，在用于训练分类模型或者输入分类模型前，进行如下处理：

滤波步骤，包括硬件滤波和软件滤波方法，其中，硬件滤波是在用于采集物理参量的传感器和用于进行信息处理的信息处理器之间接入一个rc滤波器；而软件滤波是对样本数据或者物理参量采用限幅滤波法或均值滤波法。

作为优先考虑的技术方案，为了将图像的rgb值与物理参量能够融合，对采集的物理参量执行填充步骤，具体步骤为：将摄像头所识别的区域进行平面数学建模，以摄像头的位置作为参考对象，用于采集介电常数、磁导率、光电参数的介电常数传感器、电涡流传感器、光电传感器组成阵列形排布的传感器单元体，均安装在摄像头所拍摄的范围内；

摄像头所识别的像素范围是m*m，为使传感器尽可能均匀分布在像素范围内，每n*n像素范围布置一个传感器单元体，则需要[m/n]*[m/n]个传感器单元体，即n*n范围内都是当前传感器单元体的测量值；

用于采集重量的重力传感器只需测量垃圾总体的质量，即像素m*m范围内分布一个重力传感器，即像素m*m内都是一个重力传感器的测量值；

摄像头所形成图像的rgb值即三维信息，与4种传感器处理后的四维的电参数共同构成一个m*m*7的矩阵，共同融合为七维信息，作为神经网络的输入参数。

作为优先考虑的技术方案，步骤s2中采用深度学习神经网络方法训练分类模型，采用的是ssd算法(singleshotmultiboxdetector)，步骤是：

将学习样本数据分为训练集和测试集；

tensorflow框架下构建ssd模型结构，将训练集输入到模型中进行训练；

对训练完成后的模型再用测试集进行测试。

作为优先考虑的技术方案，所述垃圾种类包括金属、塑料、纸巾与玻璃。

一种用于实现上述垃圾分类识别方法的装置，包括信息处理器、执行控制器、摄像头、传感器组件和垃圾投放箱，摄像头设置在垃圾投放箱的顶部，传感器组件设置在垃圾投放箱中垃圾放置位置的底部，包括介电常数传感器、电涡流传感器、重力传感器和光电传感器，所有传感器分别与执行控制器连接，所述传感器组件、执行控制器和摄像头分别与信息处理器相连。本发明综合图像以及物理参数来对垃圾进行分类识别，具有准确和高效的优点。

作为优先考虑的技术方案，一个传感器单元体内包括一个介电常数传感器、电涡流传感器、光电传感器，传感器单元体均匀分布在摄像头所拍摄的范围内，且成阵列分布。

作为优先考虑的技术方案，所述介电常数传感器采用dz5001介电常数测定仪。采用该传感器用来测量垃圾的介电常数。

作为优先考虑的技术方案，所述电涡流传感器采用miran米朗ml33电涡流位移传感器。该传感器通过涡流测量垃圾的磁导率。

作为优先考虑的技术方案，所述重力传感器是一种采用弹性敏感元件制成悬臂式位移器，与采用弹性敏感元件制成的储能弹簧来驱动电触点，完成从重力变化到电信号的转换。采用该传感器用来测量垃圾的重量，再根据摄像头可计算垃圾的密度。

作为优先考虑的技术方案，所述光电传感器采用红外对射管。采用该传感器可根据光电信号测定垃圾是否为透明。

作为优先考虑的技术方案，所述执行控制器采用stm微控制器或avr单片机等。

作为优先考虑的技术方案，所述信息处理器与用于显示垃圾的类别的显示装置连接。从而可对外显示识别的结果。

作为优先考虑的技术方案，所述装置中包括供电系统，供电系统与传感器组件中的各个传感器连接。供电系统为整个传感器提供能量，保证整个装置的正常运行。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用图像识别与传感器测量垃圾物理参量二者相结合的方法，既克服了图像识别错误率较高的缺点，又解决了单纯依靠物理参量分类速度不足的问题。在垃圾分类中，图像识别错误率较高的问题主要体现在识别垃圾时主要识别垃圾的轮廓与颜色，与信息处理器的信息库中信息比对来判断垃圾种类，而实际上，不同种类垃圾是有很大可能轮廓与颜色等数据是接近的，从而导致错误的发生。而本发明在图像识别的基础上再加上测量的物理参量作为判断的依据，大大提高了识别的准确性。

2、本发明在对计算机的神经网络训练时以及整个装置在工作时，神经网络的输入参数不同于一般的训练方法仅仅采用图像rgb值组成的三维数据，而是加入垃圾的介电常数、磁导率、光电参数和对应的重量，将输入信息从三维扩充为七维数据，其优点在于，数据的维度增加，描述垃圾数据的特征维度也增加，其输出结果的可信度远远高于单纯以三维数据训练输出的结果。

3、本发明可以配合相应的垃圾桶帮助垃圾投放者(如小区居民)将绝大多数生活垃圾进行分类，包括可回收垃圾、不可回收垃圾、污染类垃圾和其他，而可回收垃圾又可细分为金属、塑料、纸类、玻璃等，实现智能分类。

附图说明

图1为本发明方法的流程图。

图2为本发明神经网络结构示意图。

图3为本发明采用的ssd算法的示意图。

图4为本发明装置的结构示意图。

图5为本发明中传感器阵列图。

图中：1、计算机主机；2、摄像头；3、垃圾投放箱；4、垃圾；5、传感器阵列；6、重力传感器；7、传感器单元体；8、介电常数传感器；9、光电传感器；10、电涡流传感器。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图4、5所示，本实施例一种基于多传感器融合和深度学习的垃圾分类识别装置，结构包括计算机主机1、显示屏、摄像头2、垃圾投放箱3以及传感器组件和执行控制器。执行控制器设置在垃圾投放箱3的上盖上，摄像头2设置在上盖的下方，用于采集垃圾投放箱中垃圾放置位置处的图像信息，包括条形码和其他图像相关信息。

传感器组件包括重力传感器6、介电常数传感器8、光电传感器9、电涡流传感器10，介电常数传感器8、光电传感器9、电涡流传感器10组成传感器阵列5，其结构布局如图5所示。每种传感器均成阵列分布在垃圾投放箱中垃圾4放置位置的底部。介电常数传感器8测量垃圾的介电常数，电涡流传感器10在满足其使用条件的前提下通过涡流测量其磁导率，重力传感器6测量垃圾的重量，结合上述摄像头读取的图像数据来计算垃圾密度，而光电传感器9根据光电信号测定垃圾是否为透明。所有传感器分别与执行控制器连接，传感器、执行控制器和摄像头3分别与计算机主机相连。

为了便于后续将图像的rgb值与物理参量进行融合，在设置装置时，将摄像头所识别的区域进行平面数学建模，以摄像头的位置作为参考对象，传感器所安装的位置在摄像头所拍摄的范围内。假设摄像头所识别的像素范围是500*500，为使传感器尽可能均匀分布在像素范围内，每70*70像素范围布置一个传感器单元体7，则需要[500/70]*[500/70]即7*7个传感器单元体，即70*70范围内都是当前传感器单元体的测量值。而重力传感器只需垃圾总体的质量，因此不需要阵列化，即像素500*500范围内分布一个重力传感器，即像素500*500内都是一个重力传感器的测量值。摄像头所形成图像的rgb值即三维信息，与传感器阵列处理后的四维的电参数可融合为七维信息，作为神经网络的输入参数。

本实施例中，垃圾分类识别装置还包括辅助工作外设，所述辅助工作外设包括供电系统和信号输出系统，所述供电系统为整个传感器提供能量，所述信号输出系统把信息处理器的处理结果传输并显示在显示屏上，所述处理结果包括垃圾的类别和预测的准确率。

在本实施例中，所述信息处理器为计算机主机1。所述执行控制器采用stm微控制器或avr单片机。所述各传感器和摄像头将垃圾大致分类为金属、纸类、塑料、玻璃。

参见图1-3，基于上述装置，本实施例提供一种基于多传感器融合和深度学习的垃圾分类识别方法，包括步骤：

s1、用户将垃圾置于垃圾投放箱中，摄像头开始对垃圾进行拍摄数据采样；

s2、摄像头采集数据包括垃圾外层条形码和垃圾整体的实时图像，信息处理器处理上述信息时，先扫描条形码获得垃圾的相应信息，将读取到的信息去匹配条形码数据库，如果成功则执行分类操作，否则，说明条形码破损或读取信息无效，执行下一步操作。

s3、介电常数传感器、电涡流传感器、光电传感器和重力传感器读取垃圾各个物理参量，与摄像头采集的实时数据整合作为分类模型的输入参数，通过训练好的分类模型去预测结果，之后执行相应的分类操作。

s4、上述步骤后，垃圾分类的类别包括金属、塑料、纸巾与玻璃。

在采用深度学习神经网络方法训练分类模型时，利用学习样本数据进行训练，训练步骤是：

(1)采集学习样本数据，样本数据包括已知分类垃圾的图像和物理参量，所述物理参量包括介电常数、磁导率、光电参数和重量。

(2)对图像先进行预处理，预处理包括图像的初始化、去均值、归一化、pca和白化，之后是图像增强，包括对比度拉升、gamma校正和直方图均衡化，最后读取图像中各像素点的rgb值，作为输入参数的其中一系列数据。

(3)对采集的物理参量，先进行滤波处理，包括硬件rc滤波和软件均值和限幅滤波，之后滤波后的电参数根据各个传感器单元体的数值，得到与图像相同大小的矩阵，这样图像的rgb值即三维信息，与处理后的四维的电参数融合为七维信息，作为神经网络的输入参数。

(4)信息处理器在训练时采用ssd算法，与传统的ssd算法不同的是，输入的数据除了传统的图像rgb值以外，加入垃圾的介电常数、磁导率、光电参数和对应的重量，将输入信息从三维扩充为七维数据，样本数据所描述的特征增多，大幅度地提高了垃圾分类的准确性。输入信息中，rgb值对应图像三维矩阵，分别为而各传感器测得各物理参量，包括垃圾的介电常数、磁导率、光电参数和对应的重量，分别对应矩阵e、p、c、m，其中矩阵e、p、c、m经过填充算法得到与矩阵r、g、b相同维度的矩阵，合并所有矩阵后作为神经网络输入层信息输入，经过如图2、3所示一系列卷积和池化运算，即经过ssd训练模型结构后，最终得到垃圾的类别的信息。

本实施例中，摄像头、电介质常数测量传感器、磁导率测量传感器等物理传感器，得到垃圾本体的图像与物理参量，以此作为测量垃圾本体的数据依据，经过一系列数据处理、算法分析，从而得出垃圾的类别。例如，对于瓶子类垃圾进行分类时，摄像头很容易识别出物体为瓶子，很容易将垃圾划分为可回收垃圾，但很难快速而又准确地识别出垃圾的材料，如是否为金属，很难做到垃圾分类的精确化，而在分类时融合多传感器就能保证以较高的精度与速度完成对垃圾的准确分类。而单独依靠传感器识别垃圾种类的话，虽然能正确识别垃圾材料，但无法避免一些特殊情况，比如有两种塑料瓶子，水瓶和装农药的瓶子，前者可回收，后者不可回收，单纯依靠传感器就都归为可回收类垃圾，而本发明扫描的条形码信息和图像信息就可以将二者区分开来。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。