一种基于深度学习的垃圾种类识别系统的制作方法

本发明涉及计算机辅助垃圾种类自动识别技术，尤其涉及一种基于深度学习方法的垃圾种类识别系统。

背景技术：

随着我国经济的飞速发展，人民生活水平的提高，生活垃圾的产生量也急剧增加。根据中国城市环境卫生协会的统计数据显示，全国城市生活垃圾年产量超过1.5亿吨，并且以每年8％～10％的速度递增，目前全国城市生活垃圾累积堆存量已达70亿吨，占地约80多万亩。全国688座城市，除县城外，已有2/3的大中城市陷入垃圾的包围之中，且有1/4的城市已没有合适场所堆放垃圾，我国已成为世界上垃圾包围城市最严重的国家之一。国外城市垃圾资源化已进入综合利用阶段.其资源化利用率已在60％以上，而我国尚不到5％。造成这样的结果，其中一个根本的原因就是我国垃圾的分类收集工作做的很不到位。

现阶段人们对环保的重要意义已有较深的认识，也不缺乏参与环境保护的愿望和热情。但随着科技的进步，垃圾成分趋于复杂，可回收的垃圾种类也趋于复杂。甚至环保从业人员都搞不清楚哪些是可回收垃圾、哪些属于不可回收垃圾。根据发达国家的经验，实现垃圾完全分类回收的先决条件是全体居民有全面的分类知识。教育宣传的过程往往需要十几年，而我国实施垃圾分类已经刻不容缓。

垃圾种类繁多，材质、颜色和外形各异，而且在不同地域和不同场景下的类别划分差异也很大。比如有按干/湿划分类别的，有按可燃/不可燃划分类别的，再比如棉签在医院场景下属于有害垃圾，在生活场景下属于其它垃圾。因此传统人工特征工程技术手段很难有效识别和按需定制分类。

人工智能技术的发展使得自动识别垃圾种类成为可能。从2016年起，基于深度学习的计算机视觉在图像分类、物体检测、物体识别等任务上的表现都已经远远超越人类。深度学习是计算密集型任务，随着近年微处理器计算能力的提升，一些轻量级的深度学习模型已经可以部署在移动式/嵌入式设备上进行实时推理。而硬件成本的持续下降，使得自动垃圾种类识别有了广阔的市场应用前景。

技术实现要素：

针对传统技术手段无法实现自动识别垃圾种类的现状，本发明的目的是提供一种基于深度学习的垃圾种类识别系统，该系统能实时采集垃圾图像，推断垃圾种类并输出识别结果。

为实现上述目的，本发明的技术方案为：所述垃圾种类识别系统包含垃圾分类数据集、垃圾分类器、垃圾分类器训练模块和实时垃圾种类识别模块，垃圾分类器训练模块利用垃圾分类数据集训练垃圾分类器，实时垃圾种类识别模块从自已的摄像头采集图像信息，然后调用垃圾分类器识别图像中的垃圾种类，输出识别结果和控制信号。

进一步，所述垃圾分类数据集由各类垃圾的照片构成，其结构应根据实际垃圾分类要求进行组织。

进一步，所述垃圾分类器为卷积神经网络，输入为图像信息，输出为每种垃圾类别的概率。

进一步，所述垃圾分类器训练模块包括x86架构的电脑、深度学习框架和垃圾分类器训练程序，具体功能通过垃圾分类器训练程序实现。作为优选，所述x86架构的电脑还包含图形处理单元(gpu)以加速训练过程。

进一步，所述实时垃圾种类识别模块包括卡片式单板电脑及其电源、摄像头模块、深度学习框架和实时垃圾种类识别程序，所述实时垃圾种类识别模块的具体功能通过实时垃圾种类识别程序实现。作为优选，所述实时垃圾种类识别模块还包含计算机视觉库以简化图像的处理。

进一步，所述垃圾分类器训练模块的功能为：垃圾分类器训练程序借助深度学习框架提供的应用程序接口，垃圾分类器训练程序将垃圾分类数据集训练按比例随机分割成训练集和测试集，垃圾分类器训练程序用训练集训练垃圾分类器，在达到预设的训练目标后，垃圾分类器训练程序用测试集来测试垃圾分类器达到的分类精度，最后输出垃圾分类器权重文件和垃圾类别标签文件。

进一步，所述实时垃圾种类识别模块的功能为：实时垃圾种类识别程序实时监测摄像头画面变化，当画面捕捉条件被触发，则捕获该画面的图像信息，然后识别程序调用垃圾分类器进行推断，推理结果为图像中物品对应于每种垃圾类别的概率；实时垃圾种类识别程序按预先制定的规则确定垃圾类别；实时垃圾种类识别程序将识别出的垃圾类别信息输出到终端显示，并通过gpio/arduino输出为控制信号，用于控制电机的转停，或者指示灯的亮灭，最后实时垃圾种类识别程序将所捕获的画面保存，用以补充数据集。

本发明具有如下优点：

本发明提出的一种基于深度学习的垃圾种类识别系统，垃圾种类识别自动化使得垃圾分类不再依赖于人的垃圾分类知识，从而可以大大加快我国实施垃圾分类的进程；卡片式单板电脑只有信用卡大小，方便与其它系统集成；深度学习是一种自动特征工程，因此可方便的按应用场景的需求快速定制垃圾分类类别；伴随着分类系统的规模化使用，会获得越来越多的训练数据，本系统识别垃圾的准确性和鲁棒性也会随之线性增加。

附图说明

图1为本发明的一种基于深度学习的垃圾种类识别系统的整体框架原理示意图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

本发明实施例中提出的一种基于深度学习的垃圾种类识别系统包括垃圾分类数据集、垃圾分类器、垃圾分类器训练模块和实时垃圾种类识别模块。

本发明实施例的垃圾分类数据集按照北京市城市管理委员会官方网站发布的《首都市民生活垃圾分类指导手册》划分垃圾种类，总共3大类52小类。在此之外，还设置“无垃圾”作为第四大类，分为五小类。从互联网收集照片约7万9千张，人工拍摄照片约8千张，共计约8万7千张作为垃圾分类数据集，其结构如下表，其中kw代表厨余垃圾，ow代表其它垃圾，rw代表可回收垃圾，nw代表无垃圾。

作为优选，本发明实施例的垃圾分类器为轻量化卷积神经网络mobilenetv1。

作为优选，本发明实施例的垃圾分类器训练模块包括一台配有nvidiagtx1080ti显卡的台式电脑(操作系统为ubuntu16.04)、深度学习框架tensorflowr1.4和垃圾分类器训练程序。

作为优选，本发明实施例的实时垃圾种类识别模块包括一块卡片式单板电脑raspberrypi3modelb(中文名称为树莓派3b，以下简称树莓派)，操作系统为raspbianstretch，csi接口五百万像素树莓派兼容摄像头扩展模块，深度学习框架tensorflowr1.1，计算机视觉库opencvr3.3和实时垃圾种类识别程序。

本发明实施例的垃圾分类器训练模块的功能为：垃圾分类器训练程序先将垃圾分类数据集里的照片处理成垃圾分类器mobilenet要求的数据格式，并生成垃圾类别标签，然后将90％的数据划分为训练集，将10％的数据划分为测试集，训练集再分出10％的数据作为验证集。训练程序利用深度学习框架tensorflow提供的应用程序接口重构垃圾分类器的最后一层，使垃圾分类器的输出和垃圾分类数据集的分类一致。垃圾分类器的训练方法为最小化交叉熵，训练次数设为4000次，学习率设为0.01，每完成100次训练验证一次垃圾分类器的精度，完成4000次训练后，用测试集测试垃圾分类器的最终分类精度。本发明实施例垃圾分类器的最终测试分类精度为89％。最后，训练程序输出垃圾分类器的计算流图及其权重文件mobilenet_output_graph.pb和垃圾类别标签文件output_label.txt。

本发明实施例的实时垃圾种类识别模块的功能为：识别程序在树莓派的内存中驻留运行。识别程序利用计算机视觉库opencv提供的应用程序接口做图像处理，利用背景差分法实时监测树莓派摄像头画面的变化。当捕获画面的条件被触发，识别程序捕获当前画面的图像信息。识别程序调用深度学习框架tensorflow和训练好的垃圾分类器mobilenet对捕获到的图像信息进行推理。本发明实施例推理一次用时约为0.42秒。推理结果为图像中物品对应于每种垃圾类别的概率。识别程序选取所述概率中概率值最高的垃圾类别作为识别出的垃圾类别；识别程序将识别出的垃圾类别信息输出到终端显示。如果识别出的垃圾类别是厨余垃圾，则在gpio04端口输出控制信号，如果识别出的垃圾类别是可回收垃圾，则在gpio23端口输出控制信号，如果识别出的垃圾类别是其它垃圾，则在gpio26端口输出控制信号，端口号为bcm编号，最后识别程序将所捕获的画面保存为jpg文件，命名方式为识别出的垃圾类别并加上时间戳。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。