基于视频图像特征分析的垃圾投放行为检测方法与流程

本申请涉及垃圾投放图像识别，具体涉及基于视频图像特征分析的垃圾投放行为检测方法。

背景技术：

1、在生活垃圾智能分类场景中，利用神经网络和物联网技术相结合，可以构建出垃圾分类智能监管平台，通过对居民垃圾投放场景的视频监控采集分析，智能识别垃圾信息，并对识别出的异常行为进行预警通知（包括现场语音提醒和远程监管预警），同时收集图片、视频形成证据链、生成报警案件，监管员第一时间接收处置，实现监管闭环。而在识别居民异常投放行为的过程中，其往往是一个动态的过程，垃圾在投放过程中会与在视频帧图像上产生一定的形态变化，导致通过神经网络对垃圾投放行为检测的结果不准确，从而造成垃圾投放行为的误判，因此需要结合视频监控帧图像的连续变化特征，实现对于视频监控帧图像中目标垃圾区域的针对性增强，以提升垃圾投放行为检测的及时性与准确性。

2、本发明通过迭代自组织聚类算法对视频监控帧差图像的数据点进行聚类分析，由于目标垃圾区域发生了一定的形态变化，其帧差获取的图像中除了目标垃圾区域还存在误差区域，因此其数据点的聚类簇归并过程的最小距离的相似性区分度较小，即数据点的聚类簇的归属受到目标垃圾区域形态变化特征的影响较大。

技术实现思路

1、为了解决上述技术问题，本发明提供基于视频图像特征分析的垃圾投放行为检测方法，以解决现有的问题。

2、本发明的基于视频图像特征分析的垃圾投放行为检测方法采用如下技术方案：

3、本发明一个实施例提供了基于视频图像特征分析的垃圾投放行为检测方法，该方法包括以下步骤：

4、通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像；

5、获取帧差图像中的特征点集合；根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对；根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度；

6、采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇；对于当前帧差图像各像素点，根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度；根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇；通过判断聚类簇中特征点的数量对聚类簇进行更新；

7、根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，采用神经网络结合增强后的视频监控帧灰度图像对居民垃圾投放行为进行检测。

8、优选的，所述通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像，包括：

9、对监控视频的连续帧图像进行去噪、灰度化得到各视频监控帧灰度图像；

10、将后一帧与当前帧的视频监控帧灰度图像计算对应像素点的差值绝对值得到各视频监控帧差灰度图像，将视频监控帧差灰度图像记为帧差图像。

11、优选的，所述获取帧差图像中的特征点集合，包括：

12、采用sift算法获取帧差图像中的特征点，将所有特征点组成特征点集合。

13、优选的，所述根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对，包括：

14、将相邻帧差图像中的特征点集合采用余弦相似度匹配算法，获取相邻帧差图像对应各特征点的特征点匹配对。

15、优选的，所述根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度，包括：

16、计算当前帧差图像与前一帧差图像之间所有特征点匹配对的欧式距离和值、当前帧差图像与后一帧差图像之间所有特征点匹配对的欧式距离和值，计算两个欧式距离和值的差值绝对值作为第一差值绝对值；

17、计算两个欧式距离和值分别与当前帧差图像中特征点数量的比值，获取当前特征点与前、后相邻帧差图像中对应的特征点匹配对之间的欧式距离均值，将所述欧式距离均值与两个比值的和值的差值绝对值作为第二差值绝对值；

18、将第一、第二差值绝对值的乘积的相反数作为以自然常数为底数的指数函数的指数，将指数函数的计算结果作为当前特征点的范围影响程度。

19、优选的，所述采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇，包括：

20、所述聚类算法为迭代自组织聚类算法；

21、在聚类过程中的归并阶段，对于任意一个像素点都会存在各个待归并聚类簇。

22、优选的，所述根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度，包括：

23、对于像素点的各个待归并聚类簇，获取待归并聚类簇中各特征点与像素点的距离，计算待归并聚类簇中所有特征点的范围影响程度与所述距离的乘积的和值；

24、将所述和值的归一化值作为像素点在待归并聚类簇的关联程度。

25、优选的，所述根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇，包括：

26、获取像素点在所有待归并聚类簇中的最大关联程度，将像素点与最大关联程度所在的待归并聚类簇进行归并操作，得到各聚类簇。

27、优选的，所述通过判断聚类簇中特征点的数量对聚类簇进行更新，包括：

28、将不存在特征点的聚类簇作为误差区域聚类簇，将误差区域聚类簇从当前帧差图像中的去除，得到更新后的各聚类簇。

29、优选的，所述根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，包括：

30、将当前帧差图像中各聚类簇在当前视频监控帧灰度图像中的对应位置进行线性图像增强，非聚类簇区域的像素点保持不变，得到增强后的当前视频监控帧灰度图像。

31、本发明至少具有如下有益效果：

32、本发明通过分析各帧差图像经过算法求取的特征点的分布变化特征，获取特征点的影响范围，从而有效区分目标垃圾区域与误差背景区域，使得从垃圾在相邻帧之间的具体变化特点表征出来，实现对帧差图像中目标垃圾区域的精准识别；

33、同时，在像素点的聚类簇归并过程中，分析像素点与聚类簇中特征点的关联程度，实现对于迭代自组织聚类的聚类簇归并过程的调整，并根据精准聚类结果实现对于目标垃圾区域的精准识别，便于实现视频监控帧图像中目标垃圾区域的针对性增强，提升了垃圾投放行为检测的及时性与准确性。

技术特征：

1.基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述通过居民投放垃圾时视频监控设备记录的监控视频获取帧差图像，包括：

3.如权利要求2所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述获取帧差图像中的特征点集合，包括：

4.如权利要求3所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据相邻帧差图像中的特征点集合获取对应特征点的特征点匹配对，包括：

5.如权利要求4所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据当前帧差图像当前特征点及其前、后相邻帧差图像之间对应特征点匹配对的差异情况得到当前特征点的范围影响程度，包括：

6.如权利要求1所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述采用聚类算法对当前帧差图像进行聚类得到各像素点的各个待归并聚类簇，包括：

7.如权利要求6所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据像素点在各个待归并聚类簇中特征点的范围影响程度得到像素点在各个待归并聚类簇的关联程度，包括：

8.如权利要求7所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据像素点与各个待归并聚类簇的关联程度进行归并操作得到各聚类簇，包括：

9.如权利要求8所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述通过判断聚类簇中特征点的数量对聚类簇进行更新，包括：

10.如权利要求9所述的基于视频图像特征分析的垃圾投放行为检测方法，其特征在于，所述根据当前帧差图像中的各聚类簇对当前视频监控帧灰度图像进行增强，包括：

技术总结
本发明涉及垃圾投放图像识别技术领域，具体涉及基于视频图像特征分析的垃圾投放行为检测方法，该方法包括：通过视频监控设备获取帧差图像；获取帧差图像中的特征点集合及相邻帧差图像对应特征点匹配对；根据当前及相邻帧差图像对应特征点匹配对的差异情况得到当前特征点的范围影响程度；采用聚类算法对当前帧差图像聚类得到各像素点的待归并聚类簇；根据当前帧差图像各像素点在各个待归并聚类簇中特征点的范围影响程度进行归并操作得到各聚类簇；根据当前帧差图像中各聚类簇对当前视频监控帧灰度图像进行增强，采用神经网络结合增强后的视频监控帧灰度图像对居民垃圾投放行为进行检测。本发明提升了垃圾投放行为检测的及时性与准确性。

技术研发人员：何长虹,雷冬雪,杜文超,张蕾
受保护的技术使用者：杭州臻善信息技术有限公司
技术研发日：
技术公布日：2024/2/1