厨余垃圾检测方法、装置、设备及存储介质与流程

文档序号:31063399发布日期:2022-08-09 20:01阅读:95来源:国知局
厨余垃圾检测方法、装置、设备及存储介质与流程

1.本发明涉及计算机领域,尤其涉及一种厨余垃圾检测方法、装置、设备及存储介质。


背景技术:

2.厨余垃圾是指居民日常生活及食品加工等活动中产生的垃圾,部分人员随意丢弃厨余垃圾,造成厨余垃圾未能投入垃圾桶落在地面的情况,厨余垃圾不易清理且伴随异味,影响小区生活环境。
3.常见的解决方案是物业将小区进行划分,每个区域配置保洁员巡检,保洁员见到丢弃在地面的厨余垃圾时进行清理,以此来规避厨余垃圾影响环境的问题。但保洁人员不能实时发现乱扔在地面的厨余垃圾,清理行为存在滞后性,只能依靠保洁人员高频率的巡查,不仅打扫效率低,还提高了管理成本。


技术实现要素:

4.本发明的主要目的在于提供一种厨余垃圾检测方法,解决不能实时发现被丢弃在地面上的厨余垃圾的问题,提高打扫效率,降低管理成本。
5.本发明第一方面提供了一种厨余垃圾检测方法,包括:获取垃圾投放区域的摄像头视频,对所述摄像头视频进行解码,得到连续视频帧;调用预置的厨余检测模型对所述连续视频帧进行检测,筛选出目标视频帧,所述目标视频帧中包含目标对象,所述目标对象为厨余垃圾;调用预置的垃圾桶检测模型对所述目标视频帧进行检测,判断所述目标对象是否在垃圾桶外;若所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,得到行人检测结果;根据所述目标对象和所述行人检测结果生成警示信息,并将所述警示信息发送至管理终端。
6.可选的,在本发明第一方面的第一种实现方式中,所述调用预置的厨余检测模型对所述连续视频帧进行检测,筛选出目标视频帧,所述目标视频帧中包含目标对象,所述目标对象为厨余垃圾,包括:调用预置的厨余检测模型对所述连续视频帧进行逐一检测,生成每个视频帧对应的厨余垃圾检测结果;若目标厨余垃圾检测结果对应的视频帧包含所述目标对象,则将所述目标厨余垃圾检测结果对应的视频帧确定为目标视频帧。
7.可选的,在本发明第一方面的第二种实现方式中,所述调用预置的垃圾桶检测模型对所述目标视频帧进行检测,判断所述目标对象是否在垃圾桶外,包括:调用预置的垃圾桶检测模型对所述目标视频帧进行检测,得到所述目标对象所在区域和垃圾桶检测区域,所述垃圾桶检测区域为垃圾桶桶口的正上方区域;若所述垃圾桶检测区域覆盖所述目标对象所在区域,则确定所述目标对象不在垃圾桶外;若所述垃圾桶检测区域未覆盖所述目标对象所在区域,则确定所述目标对象在垃圾桶外。
8.可选的,在本发明第一方面的第三种实现方式中,所述若所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,得到行人检测结果,包括:若
所述目标检测结果为所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,判断所述目标视频帧是否包含行人;若所述目标视频帧包含行人,则将预设值确定为行人检测结果;若所述目标视频帧不包含行人,则将空值确定为行人检测结果。
9.可选的,在本发明第一方面的第四种实现方式中,在若所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,得到行人检测结果之后,在根据所述目标对象和所述行人检测结果生成警示信息,并将所述警示信息发送至管理终端之前,还包括:查询厨余垃圾检测数据库,判断所述厨余垃圾检测数据库中是否已存在所述目标对象,所述厨余垃圾检测数据库用于存储检测到的厨余垃圾信息;若所述厨余垃圾检测数据库中不存在所述目标对象,则将所述目标对象存储至所述厨余垃圾检测数据库。
10.可选的,在本发明第一方面的第五种实现方式中,所述根据所述目标对象和所述行人检测结果生成警示信息,并将所述警示信息发送至管理终端,包括:当所述行人检测结果不为空时,生成语音警示信息,所述语音警示信息用于提醒行人清理所述目标对象;判断行人是否清理所述目标对象,若未清理,则根据所述目标对象生成打扫警示信息,并将所述打扫警示信息发送至管理终端;当所述行人检测结果为空时,根据所述目标对象生成打扫警示信息,并将所述警示信息发送至管理终端。
11.可选的,在本发明第一方面的第六种实现方式中,在所述调用预置的厨余检测模型对所述连续视频帧进行检测之前,还包括:获取原始图片集,所述原始图片集为预先采集的包含厨余垃圾、垃圾桶或行人的图片集合;对所述原始图片集进行分类,得到分类图片集,所述分类图片集包括厨余垃圾图片集、垃圾桶图片集和行人图片集;将所述厨余垃圾图片集输入初始厨余检测模型进行训练,得到预置的厨余检测模型;将所述垃圾桶图片集输入初始垃圾桶检测模型进行训练,得到预置的垃圾桶检测模型;将所述行人图片集输入初始行人检测模型进行训练,得到预置的行人检测模型。
12.本发明第二方面提供了一种厨余垃圾检测装置,包括:获取解码模块,用于获取垃圾投放区域的摄像头视频,对所述摄像头视频进行解码,得到连续视频帧;第一检测模块,用于调用预置的厨余检测模型对所述连续视频帧进行检测,筛选出目标视频帧,所述目标视频帧中包含目标对象,所述目标对象为厨余垃圾;第二检测模块,用于调用预置的垃圾桶检测模型对所述目标视频帧进行检测,判断所述目标对象是否在垃圾桶外;第三检测模块,用于若所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,得到行人检测结果;生成发送模块,用于根据所述目标对象和所述行人检测结果生成警示信息,并将所述警示信息发送至管理终端。
13.可选的,在本发明第二方面的第一种实现方式中,所述第一检测模块具体用于:调用预置的厨余检测模型对所述连续视频帧进行逐一检测,生成每个视频帧对应的厨余垃圾检测结果;若目标厨余垃圾检测结果对应的视频帧包含所述目标对象,则将所述目标厨余垃圾检测结果对应的视频帧确定为目标视频帧。
14.可选的,在本发明第二方面的第二种实现方式中,所述第二检测模块具体用于:调用预置的垃圾桶检测模型对所述目标视频帧进行检测,得到所述目标对象所在区域和垃圾桶检测区域,所述垃圾桶检测区域为垃圾桶桶口的正上方区域;若所述垃圾桶检测区域覆盖所述目标对象所在区域,则确定所述目标对象不在垃圾桶外;若所述垃圾桶检测区域未覆盖所述目标对象所在区域,则确定所述目标对象在垃圾桶外。
15.可选的,在本发明第二方面的第三种实现方式中,所述第三检测模块具体用于:若所述目标检测结果为所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,判断所述目标视频帧是否包含行人;若所述目标视频帧包含行人,则将预设值确定为行人检测结果;若所述目标视频帧不包含行人,则将空值确定为行人检测结果。
16.可选的,在本发明第二方面的第四种实现方式中,在所述第三检测模块之后,在所述生成发送模块之前,还包括查询存储模块,所述查询存储模块具体用于:查询厨余垃圾检测数据库,判断所述厨余垃圾检测数据库中是否已存在所述目标对象,所述厨余垃圾检测数据库用于存储检测到的厨余垃圾信息;若所述厨余垃圾检测数据库中不存在所述目标对象,则将所述目标对象存储至所述厨余垃圾检测数据库。
17.可选的,在本发明第二方面的第五种实现方式中,所述生成发送模块具体用于:当所述行人检测结果不为空时,生成语音警示信息,所述语音警示信息用于提醒行人清理所述目标对象;判断行人是否清理所述目标对象,若未清理,则根据所述目标对象生成打扫警示信息,并将所述打扫警示信息发送至管理终端;当所述行人检测结果为空时,根据所述目标对象生成打扫警示信息,并将所述警示信息发送至管理终端。
18.可选的,在本发明第二方面的第六种实现方式中,在所述第一检测模块之前,还包括模型训练模块,所述模型训练模块具体用于:获取原始图片集,所述原始图片集为预先采集的包含厨余垃圾、垃圾桶或行人的图片集合;对所述原始图片集进行分类,得到分类图片集,所述分类图片集包括厨余垃圾图片集、垃圾桶图片集和行人图片集;将所述厨余垃圾图片集输入初始厨余检测模型进行训练,得到预置的厨余检测模型;将所述垃圾桶图片集输入初始垃圾桶检测模型进行训练,得到预置的垃圾桶检测模型;将所述行人图片集输入初始行人检测模型进行训练,得到预置的行人检测模型。
19.本发明第三方面提供了一种厨余垃圾检测设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述厨余垃圾检测设备执行上述的厨余垃圾检测方法。
20.本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的厨余垃圾检测方法。
21.本发明提供的技术方案中,获取垃圾投放区域的摄像头视频,对所述摄像头视频进行解码,得到连续视频帧;调用预置的厨余检测模型对所述连续视频帧进行检测,筛选出目标视频帧,所述目标视频帧中包含目标对象,所述目标对象为厨余垃圾;调用预置的垃圾桶检测模型对所述目标视频帧进行检测,判断所述目标对象是否在垃圾桶外;若所述目标对象在垃圾桶外,则调用预置的行人检测模型对所述目标视频帧进行检测,得到行人检测结果;根据所述目标对象和所述行人检测结果生成警示信息,并将所述警示信息发送至管理终端。本发明实施例中,通过实时监控投放垃圾区域的方式,识别散落在垃圾桶外的厨余垃圾,警示垃圾丢弃人或管理人员进行清理,提高打扫效率,降低管理成本。
附图说明
22.图1为本发明实施例中厨余垃圾检测方法的一个实施例示意图;
23.图2为本发明实施例中厨余垃圾检测方法的另一个实施例示意图;
24.图3为本发明实施例中厨余垃圾检测装置的一个实施例示意图;
25.图4为本发明实施例中厨余垃圾检测装置的另一个实施例示意图;
26.图5为本发明实施例中厨余垃圾检测设备的一个实施例示意图。
具体实施方式
27.本发明实施例提供了一种厨余垃圾检测方法、装置、设备及存储介质,实时监控投放区域散落在地面的厨余垃圾,警示垃圾丢弃人或管理人员进行清理,提高打扫效率,降低管理成本。
28.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.为便于理解,下面对本发明实施例的具体流程进行描述,可以理解的是,本发明的执行主体可以为厨余垃圾检测装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
30.请参阅图1,本发明实施例中厨余垃圾检测方法的一个实施例包括:
31.101、获取垃圾投放区域的摄像头视频,对摄像头视频进行解码,得到连续视频帧;
32.其中,服务器基于实时流传输协议(real time streaming protocol,rtsp)周期性地接收被压缩的源视频数据包,rtsp是传输控制协议(transmission control protocol,tcp)/互联网协议(internet protocol,ip)体系中的一个应用层协议,该协议定义了一对多应用程序通过ip网络传送多媒体数据的方式,rtsp在体系结构上位于实时传输协议(real-time transport protocol,rtp)和实时传输控制协议(real-time control protocol,rtcp)之上,它使用tcp或用户数据报协议(user datagram protocol,udp)完成数据传输。源视频数据为垃圾投放区域的摄像头采集到的实时监控数据,摄像头采集到的实时监控数据被打包成数据包依次传送至服务器,服务器调用预置的解码器将源视频数据包进行解码,生成所需格式的监控数据,得到连续视频帧。
33.102、调用预置的厨余检测模型对连续视频帧进行检测,筛选出目标视频帧,目标视频帧中包含目标对象,目标对象为厨余垃圾;
34.其中,基于深度学习框架搭建初始厨余监测模型,常见的深度学习框架有卷积神经网络、深度置信网络和递归神经网络,在本实施例中以卷积神经网络为例来进行参考说明。初始厨余监测模型包括卷积层、池化层和全连接层。用户可以自行添加层来设计初始厨余监测模型也可以调用成熟的网络模型,例如vgg-16,作为初始厨余监测模型。选择优化器和损失函数、输入厨余垃圾训练图片对初始厨余监测模型进行训练,生成预置的厨余检测模型。
35.服务器调用预置的厨余检测模型来识别视频帧上是否存在目标对象,目标对象即是厨余垃圾,在后面的叙述中二者等同,若视频帧上不存在目标对象,则继续检测下一个视频帧,若视频帧上存在目标对象,则将该视频帧确定为目标视频帧。
36.例如,服务器调用预置的厨余检测模型对视频帧1进行检测,得到厨余垃圾检测结果a,厨余垃圾检测结果a显示视频帧1中不包含目标对象,则服务器继续调用预置的厨余检测模型对视频帧2进行检测,得到厨余垃圾检测结果b,厨余垃圾检测结果b显示视频帧2中包含目标对象,则将视频帧2确定为目标视频帧。
37.103、调用预置的垃圾桶检测模型对目标视频帧进行检测,判断目标对象是否在垃圾桶外;
38.其中,初始垃圾桶检测模型也是基于深度学习框架进行搭建,在此我们同样选择卷积神经网络来搭建初始垃圾桶检测模型,初始垃圾桶检测模型包括卷积层、池化层和全连接层。用户可以自行添加层来设计初始垃圾桶检测模型也可以调用成熟的网络模型,例如vgg-16,作为初始垃圾桶检测模型。选择优化器和损失函数、输入垃圾桶训练图片对初始垃圾桶检测模型进行训练,生成预置的垃圾桶检测模型。
39.服务器调用预置的垃圾桶检测模型来识别目标视频帧中的目标对象是否在垃圾桶外。若目标视频帧中的目标对象不在垃圾桶外,则继续检测下一个目标视频帧,目标视频帧中的目标对象在垃圾桶外,则将目标视频帧输入预置的行人检测模型进行检测。
40.104、若目标对象在垃圾桶外,则调用预置的行人检测模型对目标视频帧进行检测,得到行人检测结果;
41.其中,依旧以卷积神经网络为基础搭建初始行人检测模型。初始行人检测模型包括卷积层、池化层和全连接层。用户可以自行添加层来设计初始行人检测模型也可以调用成熟的网络模型,例如vgg-16,作为初始行人检测模型。选择优化器和损失函数、输入行人训练图片对初始行人检测模型进行训练,生成预置的行人检测模型。
42.当目标视频帧中的目标对象在垃圾桶外时,服务器调用预置的行人检测模型对目标视频帧进行检测,预置的行人检测模型检测在目标对象附近的行人。
43.105、根据目标对象和行人检测结果生成警示信息,并将警示信息发送至管理终端。
44.当预置的行人检测模型检测到行人时,服务器发出声音警示,提醒行人处理随意丢弃的目标对象,若目标对象丢弃在地面的时间超过设定值,则确定行人没有处理该目标对象,服务器向管理终端发送警示信息,提醒管理人员安排保洁进行清理;
45.当预置的行人检测模型未检测到行人时,服务器向管理终端发送警示信息,提醒管理人员安排保洁进行清理。
46.本发明实施例中,实时监控是否有厨余垃圾被丢弃在地面上,对丢弃人员或保洁人员发出清理厨余垃圾的警示信息,能够提高打扫效率,降低管理成本。
47.请参阅图2,本发明实施例中厨余垃圾检测方法的另一个实施例包括:
48.201、获取训练图片集;
49.人工采集包含厨余垃圾、垃圾桶或行人的图片,将采集到的图片进行分类,分为厨余垃圾图片集、垃圾桶图片集和行人图片集三类,这三类图片集共同构成训练图片集,服务器获取训练图片集。
50.202、将训练图片集输入初始模型中进行训练,得到预置的厨余检测模型、预置的垃圾桶检测模型和预置的行人检测模型;
51.其中,基于卷积神经网络来搭建初始模型,初始模型包括卷积层、池化层和全连接
层,用户可以自行添加层来设计初始模型也可以调用成熟的网络模型,例如vgg-16、resnet18,作为初始模型,得到初始厨余检测模型、初始垃圾桶检测模型和初始行人检测模型。
52.为每个初始模型选择优化器和损失函数,服务器将厨余垃圾图片集输入初始厨余检测模型进行训练得到预置的厨余检测模型,将垃圾桶图片集输入初始垃圾桶检测模型进行训练得到预置的垃圾桶检测模型,将行人图片集输入初始行人检测模型进行训练得到预置的行人检测模型。
53.203、获取垃圾投放区域的摄像头视频,对摄像头视频进行解码,得到连续视频帧;
54.其中,服务器基于实时流传输协议rtsp周期性地接收被压缩的源视频数据包,rtsp是传输控制协议tcp/互联网协议ip体系中的一个应用层协议,该协议定义了一对多应用程序通过ip网络传送多媒体数据的方式,rtsp在体系结构上位于实时传输协议rtp和实时传输控制协议rtcp之上,它使用tcp或用户数据报协议udp完成数据传输。源视频数据为垃圾投放区域的摄像头采集到的实时监控数据,摄像头采集到的实时监控数据被打包成数据包依次传送至服务器,服务器调用预置的解码器将源视频数据包进行解码,生成所需格式的监控数据,得到连续视频帧。
55.204、调用预置的厨余检测模型对连续视频帧进行检测,筛选出目标视频帧,目标视频帧中包含目标对象,目标对象为厨余垃圾;
56.其中,服务器调用预置的厨余检测模型对连续视频帧进行逐一检测,生成每个视频帧对应的厨余垃圾检测结果,若目标厨余垃圾检测结果对应的视频帧包含目标对象,则将目标厨余垃圾检测结果对应的视频帧确定为目标视频帧,若目标厨余垃圾检测结果对应的视频帧不包含目标对象,则继续检测下一个视频帧,目标对象即是厨余垃圾,在后面的叙述中二者等同。
57.例如,服务器调用预置的厨余检测模型对视频帧1进行检测,得到厨余垃圾检测结果a,厨余垃圾检测结果a显示视频帧1中不包含目标对象,则服务器继续调用预置的厨余检测模型对视频帧2进行检测,得到厨余垃圾检测结果b,厨余垃圾检测结果b显示视频帧2中包含目标对象,则将视频帧2确定为目标视频帧。
58.205、调用预置的垃圾桶检测模型对目标视频帧进行检测,判断目标对象是否在垃圾桶外;
59.其中,服务器调用预置的垃圾桶检测模型对目标视频帧进行检测,得到目标对象所在区域和垃圾桶检测区域,垃圾桶检测区域为垃圾桶桶口的正上方区域,若垃圾桶检测区域覆盖目标对象所在区域,则确定目标对象不在垃圾桶外,若垃圾桶检测区域未覆盖目标对象所在区域,则确定目标对象在垃圾桶外。
60.例如,若厨余垃圾在垃圾桶桶口的正上方区域,则确定目标对象不在垃圾桶外;若厨余垃圾在垃圾桶桶口的侧上方或侧边或底部区域,则确定目标对象在垃圾桶外。
61.需要说明的是,当垃圾桶检测区域覆盖目标对象所在区域时,会存在两种情况,第一种情况:目标对象脱离人手后在垃圾桶上方运行一段距离后落在垃圾桶内,第二种情况:目标对象脱离人手后越过垃圾桶上方落在地面上。无论是哪种情况,只要目标视频帧中的目标对象被垃圾桶检测区域覆盖,都将目标视频帧中的目标对象确定为不在垃圾桶外,因为后续的视频帧能够显示目标对象最终的位置,不会产生误判。
62.206、若目标对象在垃圾桶外,则调用预置的行人检测模型对目标视频帧进行检测,得到行人检测结果;
63.其中,若目标检测结果为目标对象在垃圾桶外,则服务器调用预置的行人检测模型对目标视频帧进行检测,判断目标视频帧是否包含行人,若目标视频帧包含行人,则将预设值确定为行人检测结果,预设值可以是一个数值或字符串,若目标视频帧不包含行人,则将空值确定为行人检测结果。
64.此外,当在目标视频帧中检测到行人时,服务器获取目标视频帧在源视频中所处的时间信息,物业人员基于目标视频帧向前追溯,找到随意丢弃厨余垃圾的目标行人,存储目标行人的影像信息,若多次发现目标行人随意丢弃厨余垃圾,则匹配小区居民信息,找到目标行人,对其进行警告或处分。
65.207、查询厨余垃圾检测数据库,判断厨余垃圾检测数据库中是否已存在目标对象,厨余垃圾检测数据库用于存储检测到的厨余垃圾信息;
66.厨余垃圾检测数据库中存放过往识别出的厨余垃圾图片,服务器根据目标对象的特征判断厨余垃圾检测数据库中是否存在相同的厨余垃圾。
67.208、若厨余垃圾检测数据库中不存在目标对象,则将目标对象存储至厨余垃圾检测数据库;
68.若步骤207的判断结果为存在相同的厨余垃圾图片,则服务器继续判断下一个目标对象是否存在于厨余垃圾检测数据库中;
69.若步骤207的判断结果为不存在相同的厨余垃圾图片,则将目标对象的图片存储至厨余垃圾检测数据库。
70.209、根据目标对象和行人检测结果生成警示信息,并将警示信息发送至管理终端。
71.当行人检测结果不为空时,意味着检测到附近有行人,服务器生成语音警示信息,语音警示信息用于提醒行人清理目标对象,当厨余垃圾丢弃在地面的时间超过设定值时,确定厨余垃圾未被清理,服务器根据目标对象及目标对象所在地生成打扫警示信息,并将打扫警示信息发送至管理终端;
72.当行人检测结果为空时,意味着检测到附近没有行人,服务器根据目标对象及目标对象所在地生成打扫警示信息,并将打扫警示信息发送至管理终端。
73.本发明实施例中,实时监控是否有厨余垃圾被丢弃在地面上,对丢弃人员或保洁人员发出清理厨余垃圾的警示信息,同时建立厨余垃圾检测数据库避免重复警示,能够更有效地提高打扫效率,降低管理成本。
74.上面对本发明实施例中厨余垃圾检测方法进行了描述,下面对本发明实施例中厨余垃圾检测装置进行描述,请参阅图3,本发明实施例中厨余垃圾检测装置一个实施例包括:
75.获取解码模块301,用于获取垃圾投放区域的摄像头视频,对摄像头视频进行解码,得到连续视频帧;
76.第一检测模块302,用于调用预置的厨余检测模型对连续视频帧进行检测,筛选出目标视频帧,目标视频帧中包含目标对象,目标对象为厨余垃圾;
77.第二检测模块303,用于调用预置的垃圾桶检测模型对目标视频帧进行检测,判断
目标对象是否在垃圾桶外;
78.第三检测模块304,用于若目标对象在垃圾桶外,则调用预置的行人检测模型对目标视频帧进行检测,得到行人检测结果;
79.生成发送模块305,用于根据目标对象和行人检测结果生成警示信息,并将警示信息发送至管理终端。
80.本发明实施例中,实时监控厨余垃圾是否被随意丢弃在地面,对丢弃人员或保洁人员发出清理厨余垃圾的警示信息,能够提高打扫效率,降低管理成本。
81.请参阅图4,本发明实施例中厨余垃圾检测装置的另一个实施例包括:
82.获取解码模块301,用于获取垃圾投放区域的摄像头视频,对摄像头视频进行解码,得到连续视频帧;
83.第一检测模块302,用于调用预置的厨余检测模型对连续视频帧进行检测,筛选出目标视频帧,目标视频帧中包含目标对象,目标对象为厨余垃圾;
84.第二检测模块303,用于调用预置的垃圾桶检测模型对目标视频帧进行检测,判断目标对象是否在垃圾桶外;
85.第三检测模块304,用于若目标对象在垃圾桶外,则调用预置的行人检测模型对目标视频帧进行检测,得到行人检测结果;
86.生成发送模块305,用于根据目标对象和行人检测结果生成警示信息,并将警示信息发送至管理终端;
87.查询存储模块306,用于将目标对象存储至厨余垃圾检测数据库;
88.模型训练模块307,用于生成预置的厨余检测模型、预置的垃圾桶检测模型和预置的行人检测模型。
89.可选的,第一检测模块302还可以具体用于:
90.调用预置的厨余检测模型对连续视频帧进行逐一检测,生成每个视频帧对应的厨余垃圾检测结果;若目标厨余垃圾检测结果对应的视频帧包含目标对象,则将目标厨余垃圾检测结果对应的视频帧确定为目标视频帧。
91.可选的,第二检测模块303还可以具体用于:
92.调用预置的垃圾桶检测模型对目标视频帧进行检测,得到目标对象所在区域和垃圾桶检测区域,垃圾桶检测区域为垃圾桶桶口的正上方区域;若垃圾桶检测区域覆盖目标对象所在区域,则确定目标对象不在垃圾桶外;若垃圾桶检测区域未覆盖目标对象所在区域,则确定目标对象在垃圾桶外。
93.可选的,第三检测模块304还可以具体用于:
94.若目标检测结果为目标对象在垃圾桶外,则调用预置的行人检测模型对目标视频帧进行检测,判断目标视频帧是否包含行人;若目标视频帧包含行人,则将预设值确定为行人检测结果;若目标视频帧不包含行人,则将空值确定为行人检测结果。
95.可选的,生成发送模块305还可以具体用于:
96.当行人检测结果不为空时,生成语音警示信息,语音警示信息用于提醒行人清理目标对象;判断行人是否清理目标对象,若未清理,则根据目标对象生成打扫警示信息,并将打扫警示信息发送至管理终端;当行人检测结果为空时,根据目标对象生成打扫警示信息,并将警示信息发送至管理终端。
97.可选的,查询存储模块306还可以具体用于:
98.查询厨余垃圾检测数据库,判断厨余垃圾检测数据库中是否已存在目标对象,厨余垃圾检测数据库用于存储检测到的厨余垃圾信息;若厨余垃圾检测数据库中不存在目标对象,则将目标对象存储至厨余垃圾检测数据库。
99.查询厨余垃圾检测数据库,判断厨余垃圾检测数据库中是否已存在目标对象,厨余垃圾检测数据库用于存储检测到的厨余垃圾信息;若厨余垃圾检测数据库中不存在目标对象,则将目标对象存储至厨余垃圾检测数据库。
100.可选的,模型训练模块307还可以具体用于:
101.获取原始图片集,原始图片集为预先采集的包含厨余垃圾、垃圾桶或行人的图片集合;对原始图片集进行分类,得到分类图片集,分类图片集包括厨余垃圾图片集、垃圾桶图片集和行人图片集;将厨余垃圾图片集输入初始厨余检测模型进行训练,得到预置的厨余检测模型;将垃圾桶图片集输入初始垃圾桶检测模型进行训练,得到预置的垃圾桶检测模型;将行人图片集输入初始行人检测模型进行训练,得到预置的行人检测模型。
102.本发明实施例中,实时监控是否有厨余垃圾被丢弃在地面上,对丢弃人员或保洁人员发出清理厨余垃圾的警示信息,同时建立厨余垃圾检测数据库避免重复警示,能够更有效地提高打扫效率,降低管理成本。
103.上面图3和图4从模块化功能实体的角度对本发明实施例中的厨余垃圾检测装置进行详细描述,下面从硬件处理的角度对本发明实施例中厨余垃圾检测设备进行详细描述。
104.图5是本发明实施例提供的一种厨余垃圾检测设备的结构示意图,该厨余垃圾检测设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对厨余垃圾检测设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在厨余垃圾检测设备500上执行存储介质530中的一系列指令操作。
105.厨余垃圾检测设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如windows serve,mac os x,unix,linux,freebsd等等。本领域技术人员可以理解,图5示出的厨余垃圾检测设备结构并不构成对厨余垃圾检测设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
106.本发明还提供一种厨余垃圾检测设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述厨余垃圾检测方法的步骤。
107.本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述厨余垃圾检测方法的步骤。
108.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
109.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
110.以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1