一种智能垃圾箱的AI图像识别及评分系统的制作方法

本发明涉及垃圾分类，具体是指一种智能垃圾箱的ai图像识别及评分系统。

背景技术：

目前国家在垃圾分类投放正在大面积推广实施和立法过程中，除了前期对居民进行分类知识培训教育，在投放过程中还需要工作人员进行监督检查，费时费力，且无法获得分类正确率的统计数据，不能针对个别经常违反分类规定人员进行针对性教育。

因此，设计出一种智能垃圾箱的ai图像识别及评分系统势在必行。

技术实现要素：

本发明要解决的技术问题是现有垃圾投放过程中需投入大量人力物力，即使增加了成本投入、提高人员工作负荷，垃圾投放效率仍然低且效果不佳。

为解决上述技术问题，本发明提供的技术方案为：一种智能垃圾箱的ai图像识别及评分系统，包括安卓控制系统，安卓控制系统2安装在智能垃圾箱上，一侧通过投口门电机连接有投口门，另一侧通过usb数据线连接有摄像头，投口门电机安装在外设连接控制板上并通过电缆连接，外设连接控制板一侧设有单片机控制主板，单片机控制主板通过单双工485通信方式连接外设连接控制板；

摄像头下部设有补光灯圈，补光灯圈通过电缆连接外设连接控制板；

本系统还包括管理后台，管理后台设有ai识别服务器，ai识别服务器通过internet/http方式与安卓控制系统连接；

安卓控制系统通过全双工232通信方式与单片机控制主板相连接。

本发明与现有技术相比的优点在于：本发明充分利用ai智能技术，代替人工进行垃圾种类识别监督，同时能够在管理端形成所有用户垃圾投放准确率的数据统计报告，为针对性的教育指导工作提供帮助，也为垃圾分类法律法规建立提供证据补充，更好的推进我国垃圾分类投放事业的建设。

作为改进，ai识别服务器内置有用户评分系统。

作为改进，安卓控制系统通过居民卡、二维码或人脸识别三种方式之一获取到用户身份信息，用户选择要投放的垃圾类别，卓控制系统发送开门指令到单片机控制主板。

作为改进，单片机控制主板根据已选择的垃圾类别发送开门指令到相应投口门的外设连接控制板，外设连接控制板驱动投口门电机打开投口门并延时保持开门状态，用户将垃圾投入垃圾箱中，外设连接控制板驱动投口门电机关闭投口门，并打开补光灯圈，通知安卓控制系统可以开始拍照，安卓控制系统收到信息驱动摄像头开始获取本次投入的垃圾照片，并上传照片至ai识别服务器，上传成功后通知单片机控制主板关闭补光灯圈。

作为改进，ai识别服务器收到上传的垃圾照片后进行图像识别，在照片上标记出错误分类的垃圾位置、种类名称并发送到安卓控制系统，同时将识别结果转入用户评分系统进行垃圾分类投放打分及存储记录，以供管理人员巡检；

安卓控制系统收到识别结果在前置的屏幕上展示照片给用户观看。

附图说明

图1是一种智能垃圾箱的ai图像识别及评分系统的硬件连接示意图。

图2是一种智能垃圾箱的ai图像识别及评分系统的算法流程示意图。

图3是实施例中设备外部结构示意图。

图4是实施例中设备内部结构示意图。

图5是摄像头采集到的图像信息示例图。

图6是绘图结果示例图。

图7是用户评分结果后台显示界面。

如图所示：1、ai识别服务器，2、安卓控制系统，3、单片机控制主板，4、摄像头，5、补光灯圈，6、投口门电机，7、外设连接控制板，8、投口门。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

本发明在具体实施时，一种智能垃圾箱的ai图像识别及评分系统，包括安卓控制系统2，所述安卓控制系统2安装在智能垃圾箱上，一侧通过投口门电机6连接有投口门8，另一侧通过usb数据线连接有摄像头4，所述投口门电机6安装在外设连接控制板7上并通过电缆连接，所述外设连接控制板7一侧设有单片机控制主板3，所述单片机控制主板3通过单双工485通信方式连接所述外设连接控制板7；

所述摄像头4下部设有补光灯圈5，所述补光灯圈5通过电缆连接所述外设连接控制板7；

本系统还包括管理后台，管理后台设有ai识别服务器1，所述ai识别服务器1通过internet/http方式与所述安卓控制系统2连接；

所述安卓控制系统2通过全双工232通信方式与所述单片机控制主板3相连接。

所述ai识别服务器1内置有用户评分系统。

所述安卓控制系统2通过居民卡、二维码或人脸识别三种方式之一获取到用户身份信息，用户选择要投放的垃圾类别，卓控制系统2发送开门指令到单片机控制主板3。

所述单片机控制主板3根据已选择的垃圾类别发送开门指令到相应投口门8的外设连接控制板7，外设连接控制板7驱动投口门电机6打开投口门8并延时保持开门状态，用户将垃圾投入垃圾箱中，外设连接控制板7驱动投口门电机6关闭投口门8，并打开补光灯圈5，通知安卓控制系统2可以开始拍照，安卓控制系统2收到信息驱动摄像头4开始获取本次投入的垃圾照片，并上传照片至ai识别服务器1，上传成功后通知单片机控制主板3关闭补光灯圈5。

所述ai识别服务器1收到上传的垃圾照片后进行图像识别，在照片上标记出错误分类的垃圾位置、种类名称并发送到安卓控制系统2，同时将识别结果转入用户评分系统进行垃圾分类投放打分及存储记录，以供管理人员巡检；

所述安卓控制系统2收到识别结果在前置的屏幕上展示照片给用户观看。

本发明的工作原理：本发明在智能垃圾箱上安装有安卓控制系统2、单片机控制主板3，两者通过rs232通信连接，安卓控制系统2通过usb连接有摄像头4，垃圾箱的投口门8依靠投口门电机6实现自动开启和关闭，投口门电机6和补光灯圈5连接在一块外设连接控制板7上，此控制板与单片机控制主板3通过485通信方式连接；本系统在管理后台设置一台ai识别服务器1(内置用户评分系统)，安卓控制系统2通过internet/http方式与ai识别服务器1连接。

工作流程：安卓控制系统2通过居民卡、二维码或人脸识别方式获取到用户身份信息，用户选择要投放的垃圾类别，安卓控制系统2发送开门指令到单片机控制主板3，单片机控制主板3根据已选择的垃圾类别发送开门指令到相应投口门8的外设连接控制板7，外设连接控制板7驱动投口门电机6打开投口门8并延时保持开门状态，用户将垃圾投入垃圾箱中，外设连接控制板7驱动投口门电机6关闭投口门8，并打开补光灯圈5，通知安卓控制系统2可以开始拍照，安卓控制系统2收到信息驱动摄像头4开始获取本次投入的垃圾照片，并上传照片至ai识别服务器1，上传成功后通知单片机控制主板3关闭补光灯圈5。ai识别服务器1收到照片后进行图像识别，在照片上标记出错误分类的垃圾位置、种类名称并发送到安卓控制系统2，同时将识别结果转入用户评分系统进行垃圾分类投放打分及存储记录，以供管理人员巡检。安卓控制系统2收到识别结果在屏幕上展示照片给用户观看。

一、单片机控制主板程序代码：

1：接收到安卓控制系统发送的指令，执行并处理

2：控制投口门电机操作

3：打开补光灯圈并通知安卓开始拍照

二、安卓控制系统程序代码：

启动图像采集服务

示例代码：

将采集图片发送给ai识别服务

示例代码:

ai服务进行图像识别并返回识别结果

ai识别服务主要采用ssd算法，ssd会包含一个主干网络，vgg16为ssd目标检测的主干网络，这里的主干网络主要作用到了第五层卷积，也就是第五个尺度上的第三个卷积层的输出结果。这里的输出结果也作为了下几个卷积层的输入，这里采用多尺度的featuremap预测，也就是在进行预测的时候，会针对接下来的六个不同的尺寸来分别进行预测，这六个尺度分别包括上图的六个连线，也包含了6个featuremap尺寸。19*19到10*10通过下采样得到。最后通过nms对检测结果进行分类和筛选。

示例代码：

#下面时进行数据包引入

图像识别结果：

名词解释：

confidence：相似度

label：垃圾类型

x1、y1:表示对象所在最左上点位置

x2、y2:表示对象最右下点位置

4图像采集服务标注图片并展示

示例代码:

5、用户评分系统

stringre＝identity(delivery)；//进行图像识别

jsonobjectjsonobject＝jsonobject.parseobject(re)；//将图像识别结果转为json对象

jsonarrayresults＝jsonobject.getjsonarray("results")；//将图像识别结果转为json对象转为json数组

arraylist<string>list＝newarraylist<string>()；

for(iteratoriterator＝results.iterator()；iterator.hasnext()；){//循环识别结果

pointlabelpointlabel＝newpointlabel()；

jsonobjectpoint＝(jsonobject)iterator.next()；

stringlabel＝point.getstring("label")；//获取识别结果

doubleconfidence＝point.getdoublevalue("confidence")；//获取异常结果相似度

if(confidence>0.7){//如果相似度超过70％说明投递错误

delivery.setconfidence(confidence)；//将相似度保存到对象中

deliveryservice.savedelivery(delivery)；//保存到数据库

}

}

实施例：

本实施例给出了安卓控制系统(2)、单片机控制主板(3)、摄像头(4)、补光灯圈(5)、投口门电机(6)、外设连接控制板(7)和投口门(8)在智能垃圾箱中的安装位置和连接方式，如图3、图4所示。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”，“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。