本发明涉及一种垃圾分类服务系统，特别涉及一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统。
背景技术：
近年来，随着我国经济水平的高速发展，人们的物质消费水平不断提升，相对应的垃圾产生量也在迅速增长，由垃圾产生的问题日益突出，人们的反映越来越强烈，推行垃圾分类势在必行，推行垃圾分类有助于实现生活垃圾的减量化、无害化和资源化，具有重大的社会效益和经济效益，意义重大。
目前，省、市、区、社区的各级管理部门均在大力推进垃圾分类工作。但在实际工作过程中，还存在如下需求痛点：垃圾分类宣教工作还侧重于组织大型宣教活动，缺乏基于数据和信息化手段的精准化、及时化的宣教方法；一点一人的垃圾分类督导模式下人力成本高昂，“机器换人”的刚性市场需求迫切，市场空间巨大；居民侧垃圾量和投放次数无法采集，针对居民侧的收费政策缺乏收费依据；每个投放点服务300～500户居民，按照目前的工作流程，督导员无法及时记录居民的违规记录，为后续的行政执法提供依据；每个投放点服务300～500户居民，按照目前的工作流程，督导员无法检查所有居民的垃圾分类质量，也无法留下记录，居民垃圾分类评价收据采集受阻。
技术实现要素：
本发明提供了
本发明的工作原理：一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统，安装在垃圾分类投放屋；包括总控单元、图像采集组件、音响、供电单元、网络单元；所述图像采集组件包括人脸采集摄像头、垃圾桶内图像采集摄像头、全景图像采集摄像头。
一种基于视觉ai技术的垃圾分类监管方法，包括以下步骤：
a、图像采集组件采集垃圾投放居民人脸图像和垃圾投放图像；
b、通过mtcnn人脸检测与arcface人脸识别算法识别出居民人脸信息；
c、检索投放居民以往投放违规行为，播放针对性的垃圾分类宣教内容；
d、运用基于极限学习机的垃圾袋类型识别算法识别出步骤a采集到的图像中出现的所有垃圾袋；
e、通过人-袋空间距离计算方法将每个垃圾袋与投放居民匹配；
f、基于视觉ai识别各个垃圾桶内投放的垃圾是否合规，生成每个投放居民的投放记录并记录本次投放行为；
g、评价垃圾分类质量并记录到对应的居民垃圾投放记录中。
进一步的是：所述步骤e中的人-袋空间距离计算方法包括以下步骤：
e1、人脸识别摄像头采集一张现场图像；
e2、根据人脸识别摄像头采集的图像，运用mtcnn人脸检测与arcface人脸识别算法识别出图像场景下出现的所有居民人脸，识别出人脸图像候选区域为roi_facei，{i＝1，2，...，m}；
e3、根据人脸识别摄像头采集的图像，运用基于极限学习机的垃圾袋类型识别算法识别出图像场景下出现的所有垃圾袋，识别出的垃圾袋图像候选区域为roi_bagj，{j＝1，2，...，n}；
e4、计算出每个垃圾袋图像候选区域到roi_bagj的中心点到所有人脸候选区域的roi_facei的欧氏空间距离δji，取min{δji}，{i＝1，2，...，m}的人脸候选区域roi_facei所对应的人脸作为该袋垃圾roi_bagj的匹配居民，实现垃圾袋与居民身份的匹配；
e5、对于每一个垃圾袋，分别计算出它到各个垃圾桶的欧氏空间距离δj蓝，δj黄，δj绿；
e6、垃圾图像采集摄像头采集垃圾投放的图像，利用图像处理中的入侵物体检测技术，检测到任一垃圾桶被投入垃圾时，控制单元找到同一时间戳的人脸识别摄像头采集的图像，根据步骤e5中计算的每个垃圾袋到垃圾桶的距离，找到距离该垃圾桶最近的垃圾袋，进而基于步骤e4中匹配算法匹配到对应的居民身份，完成垃圾投放行为与投放居民身份匹配，即找到每个垃圾袋的投放居民。
进一步的是：所述评价垃圾分类质量通过基于垃圾混装异常加权扣分计算方法实现，包括以下步骤：
g1、定义各类垃圾混装异常、各类垃圾混装异常的加权扣分值wi、以及垃圾分类质量评价等级；
g2、运用视觉ai识别算法识别出各类垃圾混装异常，并分别记录各类垃圾混装异常的次数ci；
g3、计算垃圾分类质量评分
进一步的是：所述垃圾混装异常包括厨余垃圾中混进其他垃圾、厨余垃圾中混入可回收垃圾、其他垃圾中混入厨余垃圾、其他垃圾中混入可回收垃圾、可回收垃圾中混入厨余垃圾，可回收垃圾中混入其他垃圾。
本发明的有益效果为：本系统通过多个摄像头分别采集人脸信息和垃圾图像信息，总控单元运用ai算法识别人脸信息和垃圾信息，记录每个人的投放行为，并播放针对性的宣教内容，有利于垃圾分类工作的推进，减少人力成本；在多人投放垃圾的场景下，通过人-袋空间距离计算的方法进行匹配，准确找出每个垃圾袋的投放居民，对居民每次的投放行为评价并记录，自动记录数据，方便督导员检查居民垃圾分类投放质量，为后续的行政执法提供依据。
具体实施方式
为了加深对本发明的理解，下面将结合附图和实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
一种基于视觉ai技术的垃圾分类宣教与投放智能监管系统，安装在垃圾分类投放屋；包括总控单元、图像采集组件、音响、供电单元、网络单元；所述图像采集组件包括人脸采集摄像头、垃圾桶内图像采集摄像头、全景图像采集摄像头。
与上述系统配套的一种基于视觉ai技术的垃圾分类监管方法，包括以下步骤：
a、图像采集组件采集垃圾投放居民人脸图像和垃圾投放图像；
b、通过mtcnn人脸检测与arcface人脸识别算法识别出居民人脸信息；
c、检索投放居民以往投放违规行为，播放针对性的垃圾分类宣教内容；
d、运用基于极限学习机的垃圾袋类型识别算法识别出步骤a采集到的图像中出现的所有垃圾袋；
e、通过人-袋空间距离计算方法将每个垃圾袋与投放居民匹配；
f、基于视觉ai识别各个垃圾桶内投放的垃圾是否合规，生成每个投放居民的投放记录并记录本次投放行为；
g、评价垃圾分类质量并记录到对应的居民垃圾投放记录中。
所述步骤e中的人-袋空间距离计算方法包括以下步骤：
e1、人脸识别摄像头采集一张现场图像；
e2、根据人脸识别摄像头采集的图像，运用mtcnn人脸检测与arcface人脸识别算法识别出图像场景下出现的所有居民人脸，识别出人脸图像候选区域为roi_facei，{i＝1，2，...，m}；
e3、根据人脸识别摄像头采集的图像，运用基于极限学习机的垃圾袋类型识别算法识别出图像场景下出现的所有垃圾袋，识别出的垃圾袋图像候选区域为roi_bagj，{j＝1，2，...，n}；
e4、计算出每个垃圾袋图像候选区域到roi_bagj的中心点到所有人脸候选区域的roi_facei的欧氏空间距离δji，取min{δji}，{i＝1，2，...，m}的人脸候选区域roi_facei所对应的人脸作为该袋垃圾roi_bagj的匹配居民，实现垃圾袋与居民身份的匹配；
e5、对于每一个垃圾袋，分别计算出它到各个垃圾桶的欧氏空间距离δj蓝，δj黄，δj绿；
e6、垃圾图像采集摄像头采集垃圾投放的图像，利用图像处理中的入侵物体检测技术，检测到任一垃圾桶被投入垃圾时，控制单元找到同一时间戳的人脸识别摄像头采集的图像，根据步骤e5中计算的每个垃圾袋到垃圾桶的距离，找到距离该垃圾桶最近的垃圾袋，进而基于步骤e4中匹配算法匹配到对应的居民身份，完成垃圾投放行为与投放居民身份匹配，即找到每个垃圾袋的投放居民。
所述评价垃圾分类质量通过基于垃圾混装异常加权扣分计算方法实现，包括以下步骤：
g1、定义各类垃圾混装异常、各类垃圾混装异常的加权扣分值wi、以及垃圾分类质量评价等级；
g2、运用视觉ai识别算法识别出各类垃圾混装异常，并分别记录各类垃圾混装异常的次数ci；
g3、计算垃圾分类质量评分
为了实践中的易操作性，将垃圾分类质量得分按照梯度映射的方法得到垃圾分类质量的优良中差等级：s≥90为优秀，90＞s≥70为良好，70＞s≥50为一般，50大于s为较差。
在上述基础上，所述垃圾混装异常包括厨余垃圾中混进其他垃圾、厨余垃圾中混入可回收垃圾、其他垃圾中混入厨余垃圾、其他垃圾中混入可回收垃圾、可回收垃圾中混入厨余垃圾，可回收垃圾中混入其他垃圾等情况。
步骤b中所述的mtcnn由三个神经网络组成，分别是p-net、r-net、o-net。在使用这些网络之前，首先要将原始图片缩放到不同尺度，形成一个“图像金字塔”。接着会对每个尺度的图片通过神经网络计算一遍。这样做的原因在于：原始图片中的人脸存在不同的尺度，如有的人脸比较大，有的人脸比较小。对于比较小的人脸，可以在放大后的图片上检测；对于比较大的人脸，可以在缩小后的图片上检测。这样，就可以在统一的尺度下检测人脸。
p-net的输入是一个宽和高皆为12像素，同时是3通道的rgb图像，该网络要判断这个12×12的图像中是否含有人脸，并且给出人脸框和关键点的位置。
输出由三部分组成：
a)判断该图像是否是人脸，输出向量的形状为1×1×2，图像是否是人脸的概率。
b)给出框的精确位置，一般称之为框回归。p-net输入的12×12的图像块可能并不是完美的人脸框的位置，如有的时候人脸并不正好为方形，有的时候12×12的图像块可能偏左或偏右，因此需要输出当前框位置相对于完美的人脸框位置的偏移。对于图像中的框，可以用四个数来表示它的位置：框左上角的横坐标、框左上角的纵坐标、框的宽度、框的高度。因此，框回归输出的值是：框左上角的横坐标的相对偏移、框左上角的纵坐标的相对偏移、框的宽度的误差、框的高度的误差。输出向量的形状就是图中的1×1×4。
c)给出人脸的5个关键点的位置。5个关键点分别为：左眼的位置、右眼的位置、鼻子的位置、左嘴角的位置、右嘴角的位置。每个关键点又需要横坐标和纵坐标两维来表示，因此输出一共是10维(即1×1×10)。
对每个p-net输出可能为人脸的区域都放缩到24×24的大小，再输入到r-net中，进行进一步判定。
进一步把所有得到的区域缩放成48×48的大小，输入到最后的o-net中。
从p-net到r-net，最后再到o-net，网络输入的图片越来越大，卷积层的通道数越来越多，内部的层数也越来越多，因此它们识别人脸的准确率应该是越来越高的。同时，p-net的运行速度是最快的，r-net的速度其次，o-net的运行速度最慢。之所以要使用三个网络，是因为如果一开始直接对图中的每个区域使用o-net，速度会非常慢。实际上p-net先做了一遍过滤，将过滤后的结果再交给r-net进行过滤，最后将过滤后的结果交给效果最好但速度较慢的o-net进行判别。这样在每一步都提前减少了需要判别的数量，有效降低了处理时间。
arcface是在sphereface基础上改进了对特征向量归一化和加性角度间隔，提高了类间可分性、加强了类内紧度和类间差异。
在本系统中，我们使用极限学习机作为垃圾袋分类、垃圾类型分类识别学习器。极限学习机(extremelearningmachine,elm)是一种新的机器学习算法。elm是一种新型的求解单隐含层神经网络的算法，对于单隐含层神经网络，elm可以随机初始化输入权重和偏置并得到相应的输出权重。elm最大的特点是对于传统的神经网络，尤其是单隐含层前馈神经网络(slfns)，在保证学习精度的前提下比传统的学习算法速度更快。
在实际使用中，本系统可实现精准宣教、投放计次、垃圾投放违规识别和垃圾分类质量评价等功能。
居民张三昨天错误的把厨余垃圾投放到了其他垃圾桶内，当张三再次投放垃圾时，图像采集组件采集到的人脸，总控单元识别出人脸，确定张三身份，并检索出张三以往投放违规行为，生成针对性的垃圾分类宣教内容，“张三先生，您好！欢迎您来垃圾分类智能小屋投放垃圾！请您注意，厨余垃圾应该投入绿色垃圾箱中！”，实现精准宣教。
居民前来投放垃圾时，图像采集组件采集到的居民人脸信息和垃圾桶有物体投入信息，总控单元运用ai视觉技术识别人脸和垃圾投放类型，记录每个居民的投放记录。
本系统可识别的垃圾投放违规行为有：垃圾类型与投入垃圾桶类型不一致、垃圾袋未投放入桶、厨余垃圾袋未破袋(按照垃圾分类要求，厨余垃圾必须破袋后倒入厨余垃圾桶内)。
针对垃圾投放违规行为，总控单元根据捕捉到的图像，运用机器学习的分类模型，识别出垃圾桶内混入的违规投放的垃圾，根据发现的垃圾投放违规的类型和次数，采用加权扣分累积的方法计算出“分类质量得分”，进而得到垃圾分类质量的优良中差等级，实现对垃圾分类的质量评价，方便对垃圾分类制度的调整。
上述实施例不应以任何方式限制本发明，凡采用等同替换或等效转换的方式获得的技术方案均落在本发明的保护范围内。