一种基于机器视觉的智能垃圾分类系统及方法与流程

本发明涉及一种基于机器视觉的智能垃圾分类系统及方法。
背景技术：
：随着经济社会发展，我国生活垃圾产生量迅速增长，由此造成的环境问题日益突出，已经成为新型城镇化发展的制约因素。垃圾分类是生态文明建设的重要环节和关键领域。我国正强制推动建立生活垃圾分类管理制度，各省市纷纷响应，长沙市也将在今年10月正式实施垃圾分类。2019年前，我国8个城市已开展垃圾分类收集试点，但普及效果不太理想。造成垃圾分类无法有效推行的原因包括：(1)居民垃圾分类意识的缺乏；(2)垃圾投放之后的收集、运输、处理等环节无法配套衔接等。智能分类垃圾桶旨在实现垃圾分类的自动化和智能化，有效促进垃圾分类的普及。但国内外目前已有的少数系统方案实用性不强、功能较单一，普遍存在的问题包括：(1)识别准确率不高导致分类错误；(2)识别速度过慢；(3)受温度、光照等环境影响较明显，性能不稳定；(4)缺少详细数据分析，与回收环节难以高效对接。其中，识别准确率较低与识别速度过慢是该类垃圾桶难以实用的关键痛点。因此，有必要设计一种基于机器视觉的智能垃圾分类系统及方法。技术实现要素：本发明所要解决的技术问题是提供一种基于机器视觉的智能垃圾分类系统及方法，该基于机器视觉的智能垃圾分类系统及方法能实现垃圾的自动检测并分类投放。发明的技术解决方案如下：一种基于机器视觉的智能垃圾分类系统，包括垃圾箱，垃圾箱处设有图像识别垃圾分类模块、暂存箱和多个分拣箱；图像识别垃圾分类模块包括mcu、触发器、摄像头和分投装置；触发器、摄像头和分投装置均与mcu相连；触发器为热释电红外传感器，用于感应人体靠近垃圾桶；摄像头用于获取位于暂存箱内垃圾的图像；mcu用于对所述图像进行图像处理，并识别垃圾的种类；分投装置用于根据mcu发出的分类指令将垃圾由暂存箱送入对应的分拣箱中。mcu中具有基于mobilenet与机器视觉的垃圾分类模块，能基于获取的图像对垃圾进行识别和分类。分投装置包括传送带(2)、带轮(3)以及用于驱动传送带运动的传送带驱动机构；带轮为2个，传送带设置在2个带轮上，暂存箱固定在传送带上，暂存箱底部设有活动板以及控制活动板开闭的活动板驱动机构；分拣箱位于传送带的下方；分投装置还包括用于检测各分拣箱位置的位置检测机构；配合位置检测机构，当活动板打开时，暂存箱内的垃圾掉落到某一个分拣箱中；传送带中间具有孔隙，以便从暂存箱中出来的垃圾能经过该孔隙进入分拣箱中。暂存箱和分拣箱内设有异味传感器和异味除臭装置。异味除臭装置具体采用臭氧发生器，用于产生臭氧去除异味。还包括溢满提醒模块；溢满提醒模块包括设置在分拣箱内的用于检测垃圾高度的超声波传感器。当检测到垃圾高度大于设定值，则启动报警。5.根据权利要求1所述的基于机器视觉的智能垃圾分类系统，其特征在于，还包括服务器；垃圾箱内的mcu通过通信模块与服务器通信连接，操作员能通过pc机或手机app访问服务器获取垃圾信息。6.一种基于机器视觉的智能垃圾分类方法，其特征在于，采用权利要求1-5任一项所述的智能垃圾分类系统；包括以下步骤：步骤1：基于触发器检测垃圾投入者接近垃圾桶；步骤2：启动图像拍摄；垃圾被投入暂存箱内后，启动图像拍摄，获取垃圾图像；对垃圾图像进行必要的预处理，包括灰度化处理，图像分割处理等，为现有技术。步骤3：基于垃圾图像进行垃圾识别；基于caffe深度学习框架及神经网络mobilenet模型，对垃圾进行识别；步骤4：基于垃圾识别结果对垃圾进行分类；基于垃圾识别结果，将识别出来的垃圾由暂存箱转入对应的分拣箱内。opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉库，可以运行在linux、windows、android和macos操作系统上。它轻量级而且高效一由一系列c函数和少量c++类构成，同时提供了python、ruby、matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。本发明针对目前城市生活垃圾的分类需求以及所面临的问题，在进行了大量调研分析的基础上，提出了以下解决方案：(1)在微信小程序上及时发布更新关于垃圾分类的咨讯；当智能分类垃圾桶完成对目标垃圾的识别分类后通过语音播报、告知用户该垃圾的种类，能向市民科普垃圾分类，帮助降低记忆和分类难度。(2)利用大数据平台完成对用户垃圾种类与数量的统计，在网页管理端生成可视化报表。通过大数据分析可以提醒工作人员进行清理工作，并为清洁的车辆规划最佳的回收路线，为环卫结构节省运营成本。(3)利用智能分类垃圾装置实现干湿垃圾的精准识别分离，大概率避免混合投放的情况发生，集成运用互联网、大数据、物联网等相关技术，可以合理规划垃圾场的焚烧周期，减少由于焚烧对大气带来的污染。(4)为本发明安装传送装置，在完成目标垃圾的识别分类后由主控系统驱动传送装置，将垃圾投入到相应垃圾桶内。(5)采用轻量级神经网络mobilenet模型，使识别准确率保证在95％以上，且将识别分类的时间控制在7秒以内，从而解决准确率低、识别速度慢、受环境影响明显等问题。有益效果：本发明的基于机器视觉的智能垃圾分类系统及方法，运用mobilenet深度学习与机器视觉技术，采用raspberrypi、stm32为主控制器，设计实现了传送装置，实现垃圾的全自动投放，无需人力投入。测试结果显示，本发明的关键性能比市面上的分类垃圾桶有极大提升，成功实现了：(1)适应不同温度和光照环境，准确判断；(2)识别精度提高至95％以上；(3)具有出色的处理能力，可在7秒以内高速完成最多128个点的检测，识别速度快。系统的微信小程序功能丰富，包括：(1)未识别垃圾图片上传后台自主训练模型；(2)一键查询垃圾类别；(3)垃圾溢满提醒；(4)智能消息推送；(5)智能机器人在线聊天功能。web管理端利用大数据技术搭建智能化监管平台，可实现基于数据决策、管理、服务的环境精准监管，实现垃圾车路径规划、垃圾场焚烧周期规划等功能，并为政府、企业和居民之间建立垃圾分类沟通渠道，构建家庭-社区垃圾分类回收网络，有助于实现垃圾分类长效管理机制。本发明的主要特色与创新如下：(1)机器视觉智能垃圾分类针对市面上已有“垃圾分类神器”的识别准确率低、识别速度慢等问题，本产品开发了一款基于人工智能与大数据的机器视觉智能分类系统。利用mobielnet与计算机视觉，使识别准确率高达95％以上，继而将识别返回值返还至树莓派主控系统。(2)智能化自动投放装置目前现有的智能垃圾桶仅能提醒用户垃圾类别，仍需用户手动分类。本团队研发了一种智能化全自主投放装置，通过stm32与树莓派串口通信，控制舵机正反旋转。树莓派利用机器视觉识别系统返回的结果值，带动电机与传送带，使垃圾投入对应垃圾种类的垃圾桶。(3)异味除臭大多数垃圾桶无法隔绝异味，天气炎热导致食物容易腐败发酵，使之招引飞虫，还有可能散发有毒气体。为解决这一实际问题，本团队研发的智能分类垃圾桶配备异味除臭装置，通过异味传感器检测异味、有害气体时，启动杀菌除臭模块，隔绝垃圾异味，美化家庭环境卫生。(4)溢满检测家用垃圾桶已经溢满但用户忘记倾倒垃圾这种情况时常发生。针对这一普遍现象，本发明设计了垃圾溢满提醒功能，通过超声波传感器检测垃圾高度，并在溢满时通过微信小程序智能提醒用户，避免垃圾囤积危害。(5)实时可视化监测考虑到居民垃圾分类意识薄弱、社区管理难以真正推行的难题，本系统基于物联网技术，有效感知传输相关信息，进一步在web端依托大数据分析技术，统计居民投放垃圾种类数量等，实现垃圾分类可视化监测，逐步培养用户垃圾分类意识，构建家庭-社区管理网络。进一步实现：a.垃圾运输车时间路径规划；b.垃圾焚烧厂垃圾焚烧周期管理，致力于建立精细化、运行高效的垃圾回收体系。附图说明图1为功能框图；图2为系统拓扑图；图3为触发器结构图；图4为实现方案流程图；图5为传送装置结构图；图6为其他功能模块图；图7为传送机构示意图(主视图)；图8为传送机构示意图(俯视图)。标号说明：1-暂存箱，2-传送带，3-带轮，4-分拣箱，11-活动板。具体实施方式以下将结合附图和具体实施例对本发明做进一步详细说明：实施例1：系统总规划系统可分为五部分：(1)图像识别垃圾分类；(2)垃圾自主投放装置；(3)云服务器；(4)数据库；(5)微信小程序；(6)网页端管理后台垃圾图像识别分类功能实现垃圾图像识别与分类是本系统中的核心部分，采用opencv对图像进行处理，提取目标垃圾位置以及特征，供后续深度学习使用。采用mobilenet神经网络算法对垃圾图像进行分类。功能组成介绍图像识别垃圾分类的设备包括：(1)触发器。触发器热释电红外传感器的主要功能是获取人体靠近信息，向树莓派发送拍照请求，从而触发整个系统的运转(2)垃圾图像识别。运用树莓派、摄像头、opencv，配合完成图像定位识别功能。(3)垃圾分类。mobilenet模型负责垃圾分类。如垃圾识别分类失败则通过微信小程序上传垃圾图片至数据库。触发器触发器由热释电红外传感器，树莓派组成，用来感知人体靠近信号。当人体距离智能分类垃圾桶达到感应距离阈值时，热释电红外传感器将检测到人体红外温度变化时，传递触发信号给树莓派，继而树莓派开启摄像头模块，以准备图形识别装置的开启。热释电红外传感器：当人在靠近垃圾桶时，传感器后续电路经检测处理后就能触发开关动作，此时传感器将发送信号给树莓派。树莓派：本系统使用的开发板型号是树莓派3b，1.2ghz，64位处理器芯片，支能耗低、运行稳定，能完全满足本系统的图像处理需求与速度需求。摄像头模块：本系统选用的输入设备是无需额外驱动的ov5647摄像头，它通过csi接口与树莓派开发板连接。该模块支持500w像素的图像采集，通过此模块配合代码可以完成目标垃圾的定位。垃圾图像识别(1)目标垃圾定位采用opencv实现背景差分算法，先通过cvtcolor函数将采集到的三通道rgb图像转换成单通道的灰度图像。为了减少垃圾桶内背景光照带来的误差，可以通过threshold函数对已有灰度图像进行二值化处理。再将含有待识别目标的二值化图像与二值化背景图像进行相减，实现背景差分。(2)目标垃圾特征提取待检测目标垃圾应在图像中清晰可辨。为了确保检测的准确度，通过morphologyex函数调用morph_close闭运算的接口，将背景差分结果中大面积的白色区域连通，去除小面积的白色噪点，增强图像特征。最后，通过minarearect函数从闭运算的结果图像中获取最小包围矩形框，根据矩形框坐标，在原图中设置感兴趣区域，将待检测目标截出，供后续深度学习使用。(3)背景差分算法利用背景差分算法实现目标垃圾的检测主要分为背景建模、背景更新、目标垃圾检测、后期处理等四个环节。其中，背景建模的方法采用了单高斯分布模型：将图像中每一个像素点的灰度值看成是一个随机过程x，x为灰度值，并假设该点的某一像素灰度值出现的概率服从高斯分布，可表示为：δt为x的标准差，μt为x的期望，δt2为x的方差；背景差分的运算过程：首先利用数学建模的方法建立一幅传送带上方容器的背景图像帧b，记当前图像帧为fn，背景帧和当前帧对应像素点的灰度值分别记为b(x，y)和fn(x，y)，按照式dn(x，y)＝|fn(x，y)-b(x，y)|将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像dn：设定阈值t按照式逐个对像素点进行二值化处理，得到二值化图像rn′。其中，灰度值为255的点即为前景(运动的目标垃圾)点，灰度值为0的点即为背景点；对图像rn′进行连通性分析，最终可得到含有完整的目标的垃圾图像rn；该方法不仅能够在识别过程中精准定位待识别目标，而且可以实现在短时间内从大量的图片信息中自动截取样本图片，简化了深度学习获取样本的过程。caffe卷积神经网络框架caffe具有python相关接口，为本发明中目标垃圾图像的分类和图像分割提供了深度学习的架构。轻量级神经网络模型mobilenetmobilenet在垃圾图像识别、分类的任务中，可保持较高的准确率。mobilenet模型对传统的全卷积方式进行了优化，将全卷积操作分解depthwise卷积以及深度可分离卷积，减少了需要学习的参数量。在此基础上，mobilenet模型又设置了两个超参数，宽度因子和分辨率因子，以控制模型的大小和输入图像的分辨率，使得模型在规模和目标垃圾的速度上更可控。当宽度因子一定时，分辨率因子减小，或者分辨率因子一定，宽度因子减小，网络的参数和加乘数都会相对减少；宽度因子α的引入可以得到更小和计算损耗更少的模型。α的作用为控制垃圾图像输入和输出的通道数目，输入通道由m变为αm，输出通道的数目由n变为αn，α取0.5。分辨率因子ρ可以将计算量和参数降低ρ2倍，可以让使用者方便地调节模型，实例中，ρ取值0.25，设置输入分辨率为224，192，160和128。传统的卷积方式经过3×3卷积后，再经过bn层和relu激活函数；而mobilenet算法中所用到的的深度可分离卷积方式：3×3的传统卷积方式被替换为depthwise卷积和1×1的pointwise卷积，然后与传统卷积一样分别经过bn和relu激活函数。mobilenet模型包括以下几层：(1)卷积层：卷积层由多个局部滤波器组成，主要用于从输入的目标垃圾特征图中提取不同的局部特征。(2)批量归一化层：批量归一化层使得整个模型更加稳定，并且加快了深度卷积网络训练和收敛的速度。(3)缩放层：缩放层对归一化后的神经元n进行比例缩放和位移，由于该发明采用深度学习框架caffe进行mobilenet模型的训练和参数的获取，在该框架中将实际的批量归一化计算分为式其中，mean，variance，scalefactor和ε均为学习得到的参数，mean为与特征图同维度的均值向量、variance为与垃圾特征图同维度的方差向量，scalefactor为维缩放因子，ε为一个很小的常数，通常取0.0001；(4)非线性激活函数层：为了使轻量级神经网络模型mobilenet具有非线性的学习及表达能力，在其中加入了非线性激活函数层。在基于mobilenet的算法中采用了非线性整流函数(relu)作为非线性激活函数，它的计算公式如式所示具体实现方案安装caffe深度学习框架和mobilenet模型后，将目标垃圾的样本图片进行训练，训练出对应的神经网络。以有害垃圾打火机为例，改变打火机方向、位置、形态多次采集构成数据集，并将样本数据集上传至mysql数据库。获取香蕉皮、易拉罐和电池的样本数据集的方法与打火机通过改变形态获取样本数据集的方法相同。用于训练的样本数据集大小如下表所示。表1：样本数据集大小名称图片量/张打火机460香蕉皮378易拉罐355电池407使用mobilenet模型训练测试结果如表2所示表2训练测试结果名称测试集/张精准度fl-score打火机15097.52％0.98香蕉皮15096.23％0.96易拉罐15098.19％0.98电池15097.31％0.97通过测试发现，市面上的普通智能垃圾桶不能保证识别的准确率与识别速率，甚至时常会受到光线环境的影响。由于准确率不高和识别速率过低，导致了垃圾错分，垃圾分类效率低下等问题。本系统运用mobilenet模型，很好的解决以上问题。经查阅文献资料，我们的发明与普通垃圾桶的数据对比如表3-5所示。表3普通智能垃圾桶与本团队发明识别分类速率对比数据名称普通垃圾桶识别分类速率智能垃圾桶识别分类速率打火机20.3s5.1s香蕉皮18.1s4.5s易拉罐16.1s5.4s电池16.3s4.3s表4普通智能垃圾桶与本团队发明识别准确率对比数据名称普通垃圾桶识别准确率智能垃圾桶识别准确率打火机74.33％97.52％香蕉皮87.69％96.23％易拉罐89.97％98.19％电池80.31％97.31％表5普通智能垃圾桶与本团队发明受光线影响对比数据光线明暗程度普通垃圾桶识别准确率智能垃圾桶识别准确率明亮83.71％98.65％较昏暗72.94％97.14％黑暗54.36％84.77％可以看出，利用机器视觉与moblienet模型进行分类无论从识别速度、识别准确率，还是受适应环境的能力，均显著高于市面上的普通智能分类垃圾桶。实验测试表明，本系统能够胜任参与测试的打火机、香蕉皮、易拉罐、电池4类物品的分类问题，识别精准度大于95％，在垃圾分类方面具有较高的实际应用价值。垃圾传送装置功能实现为了解放用户双手，贴合用户生活需求，打造全自动投放模式，本产品研发了垃圾自动投放装置。传送装置结构如图5，7和8所示。当垃圾识别分类程序运行结束后，给主控系统返回相应的值，再利用树莓派与stm32串口通信，将所生成的值传递给stm32。stm32向电机发出指令，电机带动盛有目标垃圾的容器运动。容器到达固定位置后，stm32继续向舵机发出指令打开容器底部下方的挡板将垃圾投入相应种类的垃圾桶。具体传送装置所用模块如表6所示。表6传送装置模块表其他功能除对目标垃圾识别分类，自动投放外，本发明还配备了gps等卫星定位模块提供用户位置信息，用于生成可视化报表、异味除臭、溢满检测、语音播报等功能。表7其他功能实现方案云服务器(1)百度云服务器操作系统：centsos7.4硬件平台：单核2ghz主频cpu，2gb内存支撑环境和版本：python2.7，mysql5.7(2)服务后台系统的服务后台使用python和sql编程，利用socket通信方式与硬件建立长连接实现数据传输。数据库基于mysql开发了投放系统所用数据库。对于本系统来说，需要存放在服务器的数据库中的信息包括：管理人员的登陆账号、密码；用户信息；垃圾桶投放垃圾种类和数量等。所以创建一个含有三张数据表的数据库即可满足需求。微信小程序采用云开发模式，自带数据库，对于客户端来说，数据库中的信息包括：管理人员和普通用户的账号密码；网络新闻信息链接；垃圾种类；分类名称；创建四张数据表即可。小程序调用云函数，即可实现客户端与mysql数据库的通信连接。微信小程序出于用户使用便捷性的考虑，本产品采用微信小程序来构建客户端，无需安装，即用即取，可以在微信内被便捷地获取和传播，同时具有出色的使用体验。通过手机app或微信小程序能实现以下功能：(1)三重实时查询方式用户可通过文字搜索、图像识别、配备方言的语音识别三种途径来查询垃圾种类，极大满足生活所需。(2)分类信息智能推荐功能小程序会根据用户每日查询垃圾种类及数量、社会的趋势和走向，智能推送各类垃圾分类消息，提升居民的垃圾分类意愿和投放意识。(3)未识别结果上传功能用户可将垃圾桶未识别出结果的垃圾，在小程序上进行查询，未查询到即可将垃圾图片上传至数据库，经由系统自主训练模型，以达到下次正确识别的目的。(4)智能机器人在线聊天功能为达到贴心陪伴，娱乐消遣的目的，小程序客户端还配备了智能闲聊接口，可根据用户的用词准确判断场景，发出回应。基于图像识别的智能垃圾管理功能(1)垃圾分类自动投放功能本产品可将用户投入的垃圾进行智能自动识别分类，目前可按干垃圾、湿垃圾、可回收物、有害垃圾这四类标准，分别投入对应的垃圾桶，无需用户手动分类，即时满足需求，解决分类烦恼。(2)gps等定位功能确定用户位置，为网络爬虫获取家庭住址信息提供数据。根据gps所提供的信息分析城市各区域不同种类垃圾的产出量，为管理端数据可视化收集信息。(3)异味除臭功能受环境影响，垃圾可能会在桶内发酵生出异味。当智能分类垃圾桶内的传感器检测到异味且达到异味传感器所设阈值时则向主控制器发出信号，由主控制器供电开启臭氧发生模块消除异味，当气味水平恢复到阈值以下则断电关闭臭氧发生器。(4)溢满提醒功能当垃圾到达规定高度是则认为是溢满，此时由智能分类垃圾桶的主控制器向小程序发出一个溢满提示信号用以提醒用户。(5)语音播报及按键检测功能当智能分类垃圾桶成功识别垃圾后则通过声卡播报垃圾类别，在节省人力的情况下，也借此提高市民垃圾分类意识。如识别未成功，则利用语音播报提醒用户垃圾无法识别，此时用户可以通过微信小程序的多重查询方式确定垃圾类别，若可以确定则通过按键来控制目标垃圾的自动投放，若不能则通过微信小程序拍照上传。网页版后台管理功能垃圾分类数据可视化：本发明将用户日常生活中的垃圾分类投放数据进行采集分析，建立用户垃圾分类数据库，统计用户投放垃圾的种类及数量，按照可视化图标形式显示，提升管理的便捷性。(1)垃圾车行驶时间及路线规划管理端采用大数据、网络爬虫技术及gps定位功能，将用户名、产品编号等作为关键字，在互联网爬取用户垃圾分类数据，将收集到的垃圾分类数据归类。结合云计算估计小区垃圾溢满程度，按时间通知垃圾车回收垃圾。采用gps卫星定位技术，分析垃圾车行驶最优路线，做到及时回收小区垃圾，避免垃圾堆积，方便用户生活。(2)垃圾场垃圾焚烧周期规划。当前第1页12