一种厨余垃圾分类行为识别方法、装置、电子设备及介质与流程

本发明涉及垃圾分类，尤其是涉及一种厨余垃圾分类行为识别方法、装置、电子设备及介质。

背景技术：

1、随着经济的发展，城市化进程的加快，造成城市内生活垃圾越来越多，而生活垃圾的治理情况直接决定城市的市容市貌以及对自然环境的影响程度，因此，近些年国家推出了一系列的生活垃圾治理措施，例如倡导行人垃圾分类、建设分类垃圾箱以及针对不同类型的垃圾的处理措施等。

2、生活垃圾中厨余垃圾重量占比较大，并且由于厨余垃圾的含盐量高、有机质含量高以及热值低等特点，不适合与其他类型的垃圾一同处理，因此，行人对厨余垃圾分类丢弃情况将直接影响后续的垃圾回收以及处理效率。针对行人厨余垃圾分类丢弃的监督管理手段，目前还停留在现场对行人进行宣传和倡导，或者利用传统的图像检测设备拍摄现场视频并发送至位于监控中心的工作人员进行实时监督，又或者在垃圾箱位置部署大量的传感器等终端设备进行实时检测的层面。

3、但是，由于行人厨余垃圾的丢弃时间并不固定，通过现场宣导或者利用向传统的图像检测设备进行监督，想要保证行人厨余垃圾分类丢弃的准确率，需要花费大量的人力成本，另外，通过部署大量的传感器等终端设备进行检测，将花费大量的物力成本。

技术实现思路

1、为了在保证对行人厨余垃圾分类丢弃监督效率的同时，减小人力和物力成本，本发明提供一种厨余垃圾分类行为识别方法、装置、电子设备及介质。

2、第一方面，本发明提供一种厨余垃圾分类行为识别方法，采用如下的技术方案：

3、一种厨余垃圾分类行为识别方法，包括：

4、基于获取的视频流，确定多个待测视频帧，并对所述多个待测视频帧进行行人位置检测，得到多个行人位置信息；其中，所述多个待测视频帧与所述多个行人位置信息相对应；

5、基于所述多个行人位置信息以及所述多个待测视频帧，确定目标待测视频帧，并基于所述目标待测视频帧生成行人厨余垃圾丢弃信息；

6、基于所述行人厨余垃圾丢弃信息以及所述目标待测视频帧的后续时间的待测视频帧，确定第一行为检测结果，并基于所述第一行为检测结果生成厨余垃圾分类丢弃完成信息。

7、根据一些实施例，获取拍摄到的视频流，对视频流进行拆分处理，并从拆分处理后的视频流中得到多个待测视频帧；随后，对多个待测视频帧分别进行行人位置检测，确定出每个待测视频帧中的行人的位置情况，得到多个行人位置信息；之后基于多个行人位置信息以及多个待测视频帧，确定出符合检测行人厨余垃圾分类丢弃要求的目标待测视频帧，随后，在基于该目标待测视频帧，确定出行人厨余垃圾丢弃信息的情况下，表明该目标待测视频帧中的行人正在丢弃厨余垃圾；考虑到厨余垃圾一般通过垃圾袋等其他类型的垃圾物承装，而垃圾袋等其他类型的垃圾物并不属于厨余垃圾，所以为了进一步确定行人在丢弃厨余垃圾后，是否将垃圾袋保留并丢弃到其他类型的垃圾箱，则基于行人处于垃圾丢弃信息以及目标待测视频帧的后续时间的待测视频帧，确定出第一行为检测结果，在基于第一行为检测结果，确定出厨余垃圾分类丢弃完成信息的情况下，表明该行人在丢弃厨余垃圾的同时，也将厨余垃圾以外类型的垃圾丢弃到了其他类型的垃圾箱中；从而实现在保证对行人厨余垃圾分类丢弃监督效率的同时，减小人力和物力成本。

8、根据一些实施例，所述基于获取的视频流，确定多个待测视频帧，包括：

9、对所述视频流包含的多个视频帧分别进行行人检测，得到多个行人特征；

10、对所述视频流包含的多个视频帧分别进行区域划分，得到多个第一目标区域；其中，所述多个第一目标区域与所述多个行人特征一一对应；

11、在所述多个行人特征中存在行人特征与其对应的第一目标区域之间满足预设位置关系的情况下，将满足预设位置关系的行人特征对应的视频帧保留，并将保留的视频帧作为所述待测视频帧。

12、根据一些实施例，所述基于所述多个行人位置信息以及所述多个待测视频帧，确定目标视频帧，包括：

13、对所述多个待测视频帧分别进行区域划分，得到多个第二目标区域；

14、在所述多个行人位置信息中的任一行人位置信息位于与其对应的第二目标区域内的情况下，将所述任一行人位置信息对应的待测视频帧保留，并将保留的待测视频帧作为目标视频帧。

15、根据一些实施例，所述基于所述目标待测视频帧生成行人厨余垃圾丢弃信息，包括：

16、对所述目标视频帧进行关键点检测，得到第一行人关键点；

17、对所述目标视频帧进行区域划分，得到第三目标区域；

18、在所述第一行人关键点位于所述第三目标区域内的情况下，确定所述目标视频帧对应的第一行人区域；

19、对所述第一行人区域进行行人行为检测，得到第二行为检测结果，并在所述第二行为检测结果为检测到手部垃圾袋关键点的情况下，生成行人厨余垃圾丢弃信息。

20、根据一些实施例，所述基于所述第一行为检测结果，生成厨余垃圾分类丢弃完成信息，包括：

21、在所述第一行为检测结果为检测到手部垃圾袋关键点的情况下，生成厨余垃圾分类丢弃完成信息。

22、根据一些实施例，所述基于所述行人厨余垃圾丢弃信息以及所述目标待测视频帧的后续时间的待测视频帧，确定第一行为检测结果，包括：

23、基于所述行人厨余垃圾丢弃信息，对所述目标待测视频帧的后续时间的待测视频帧进行关键点检测，得到第二行人关键点；

24、对所述目标待测视频帧的后续时间的待测视频帧进行区域划分，得到第四目标区域；

25、在所述第二行人关键点位于所述第四目标区域内的情况下，确定所述目标待测视频帧的后续时间的待测视频帧对应的第二行人区域；

26、对所述第二行人区域进行行人行为检测，确定出第一行为检测结果。

27、根据一些实施例，所述得到第一行为检测结果之后，还包括：

28、在所述第一行为检测结果为未检测到手部垃圾袋关键点的情况下，确定报警信息并调取所述目标待测图像。

29、第二方面，本发明提供一种厨余垃圾分类行为识别装置，采用如下的技术方案：

30、一种厨余垃圾分类行为识别装置，包括：行人位置信息确定模块、第一信息生成模块以及第二信息生成模块，其中，

31、行人位置信息确定模块，用于基于获取的视频流，确定多个待测视频帧，并对所述多个待测视频帧进行行人位置检测，得到多个行人位置信息；其中，所述多个待测视频帧与所述多个行人位置信息相对应；

32、第一信息生成模块，用于基于所述多个行人位置信息以及所述多个待测视频帧，确定目标待测视频帧，并基于所述目标待测视频帧，生成行人厨余垃圾丢弃信息；

33、第二信息生成模块，用于基于所述行人厨余垃圾丢弃信息以及所述目标待测视频帧的后续时间的待测视频帧，确定第一行为检测结果，并基于所述第一行为检测结果生成厨余垃圾分类丢弃完成信息。

34、根据一些实施例，行人位置信息确定模块获取拍摄到的视频流，对视频流进行拆分处理，并从拆分处理后的视频流中得到多个待测视频帧；随后，行人位置信息确定模块对多个待测视频帧分别进行行人位置检测，确定出每个待测视频帧中的行人位于与其对应的待测视频帧中的位置情况，得到多个行人位置信息；之后第一信息生成模块基于多个行人位置信息以及多个待测视频帧，确定出符合检测行人厨余垃圾分类丢弃要求的目标待测视频帧，随后，在基于该目标待测视频帧，确定出行人厨余垃圾丢弃信息的情况下，表明该目标待测视频帧中的行人正在丢弃厨余垃圾；考虑到厨余垃圾一般通过垃圾袋等其他类型的垃圾物承装，而垃圾袋等其他类型的垃圾物并不属于厨余垃圾，所以为了进一步确定行人在丢弃厨余垃圾后，是否将垃圾袋保留并丢弃到其他类型的垃圾箱，第二信息生成模块基于行人处于垃圾丢弃信息以及目标待测视频帧的后续时间的待测视频帧，确定出第一行为检测结果，在第二信息生成模块基于第一行为检测结果，确定出厨余垃圾分类丢弃完成信息的情况下，表明该行人在丢弃厨余垃圾的同时，也将厨余垃圾以外类型的垃圾丢弃到了其他类型的垃圾箱中；从而实现在保证对行人厨余垃圾分类丢弃监督效率的同时，减小人力和物力成本。

35、根据一些实施例，所述行人位置信息确定模块，具体还用于：

36、对所述视频流包含的多个视频帧分别进行行人检测，得到多个行人特征；

37、对所述视频流包含的多个视频帧分别进行区域划分，得到多个第一目标区域；其中，所述多个第一目标区域与所述多个行人特征一一对应；

38、在所述多个行人特征中存在行人特征与其对应的第一目标区域之间满足预设位置关系的情况下，将满足预设位置关系的行人特征对应的视频帧保留，并将保留的视频帧作为所述待测视频帧。

39、根据一些实施例，所述第一信息生成模块，具体还用于：

40、对所述多个待测视频帧分别进行区域划分，得到多个第二目标区域；

41、在所述多个行人位置信息中的任一行人位置信息位于与其对应的第二目标区域内的情况下，将所述任一行人位置信息对应的待测视频帧保留，并将保留的待测视频帧作为目标视频帧。

42、根据一些实施例，所述第一信息生成模块，具体还用于：

43、对所述目标视频帧进行关键点检测，得到第一行人关键点；

44、对所述目标视频帧进行区域划分，得到第三目标区域；

45、在所述第一行人关键点位于所述第三目标区域内的情况下，确定所述目标视频帧对应的第一行人区域；

46、对所述第一行人区域进行行人行为检测，得到第二行为检测结果，并在所述第二行为检测结果为检测到手部垃圾袋关键点的情况下，生成行人厨余垃圾丢弃信息。

47、根据一些实施例，所述第二信息生成模块，具体还用于：

48、在所述第一行为检测结果为检测到手部垃圾袋关键点的情况下，生成厨余垃圾分类丢弃完成信息。

49、根据一些实施例，所述第二信息生成模块，具体还用于：

50、基于所述行人厨余垃圾丢弃信息，对所述目标待测视频帧的后续时间的待测视频帧进行关键点检测，得到第二行人关键点；

51、对所述目标待测视频帧的后续时间的待测视频帧进行区域划分，得到第四目标区域；

52、在所述第二行人关键点位于所述第四目标区域内的情况下，确定所述目标待测视频帧的后续时间的待测视频帧对应的第二行人区域；

53、对所述第二行人区域进行行人行为检测，确定出第一行为检测结果。

54、根据一些实施例，所述厨余垃圾分类行为识别装置，还包括：报警信息确定模块，其中，

55、报警信息确定模块，用于在所述第一行为检测结果为未检测到手部垃圾袋关键点的情况下，确定报警信息并调取所述目标待测图像。

56、第三方面，本发明提供一种电子设备，采用如下的技术方案：

57、一种电子设备，该电子设备包括：

58、处理器；

59、存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述厨余垃圾分类行为识别的方法。

60、第四方面，本发明提供一种计算机可读介质，采用如下的技术方案：

61、一种计算机可读介质，包括：存储有能够被处理器加载并执行上述厨余垃圾分类行为识别方法的计算机程序。

62、综上所述，本发明包括以下有益技术效果：

63、获取拍摄到的视频流，对视频流进行拆分处理，并从拆分处理后的视频流中得到多个待测视频帧；随后，对多个待测视频帧分别进行行人位置检测，确定出每个待测视频帧中的行人的位置情况，得到多个行人位置信息；之后基于多个行人位置信息以及多个待测视频帧，确定出符合检测行人厨余垃圾分类丢弃要求的目标待测视频帧，随后，在基于该目标待测视频帧，确定出行人厨余垃圾丢弃信息的情况下，表明该目标待测视频帧中的行人正在丢弃厨余垃圾；考虑到厨余垃圾一般通过垃圾袋等其他类型的垃圾物承装，而垃圾袋等其他类型的垃圾物并不属于厨余垃圾，所以为了进一步确定行人在丢弃厨余垃圾后，是否将垃圾袋保留并丢弃到其他类型的垃圾箱，则基于行人处于垃圾丢弃信息以及目标待测视频帧的后续时间的待测视频帧，确定出第一行为检测结果，在基于第一行为检测结果，确定出厨余垃圾分类丢弃完成信息的情况下，表明该行人在丢弃厨余垃圾的同时，也将厨余垃圾以外类型的垃圾丢弃到了其他类型的垃圾箱中；从而实现在保证对行人厨余垃圾分类丢弃监督效率的同时，减小人力和物力成本。