针对垃圾投放行为分析和违规行为多角度抓拍的监测系统的制作方法

本发明涉及人工智能物联网，特别涉及针对垃圾投放行为分析和违规行为多角度抓拍的监测系统。

背景技术：

1、城市社区垃圾每日产生量大，垃圾混投对圾圾处理造成极大困难，部分城市已经采用人工劝导的方式，引导人们对垃圾投放进行分类投放，人工劝导的方式存在成本高、效率低下等问题，对不符合分类投放要求的投放行为自动予以劝阻，投放人拒不改正的依法处理。为营造一个干净、整洁的城市环境贡献一份力量，先关于垃圾投放的智能化系统，已有相关专利；比如公开号为cn114715562a的中国专利公开了一种厨余垃圾违规投放行为的识别方法，包括以下步骤：从视频帧中检测行人；检测到行人手上有垃圾袋，并对行人进行跟踪直至到达厨余垃圾桶区域；对行人进行倾倒动作识别；检测到有效的倾倒动作识别后，继续对行人进行跟踪直至离开达厨余垃圾桶区域；再次判断行人手上是否有垃圾袋；若行人手上有垃圾袋，则判断行人本次的厨余垃圾投放行为合规，反之则判断行人本次的厨余垃圾投放行为违规。该专利通过检测到行人手上是否有垃圾袋，并对行人进行跟踪直至到达厨余垃圾桶区域以捕捉是投放厨余垃圾的对象，以自动识别出行人厨余垃圾投放的违规投放行为，提高社区居民环保意识以及资源利用率。

2、上述专利虽然可自动识别投放行为，但仍存在以下问题：

3、现有技术中，抓拍角度局部受限，不能准确定位人脸，且不能基于人脸识别出相关数据及该人物对应的行为数据，基于每个人的行为习惯进行异常行为的评估，造成识别结果精度低，误差大的情况，且无法根据人物的异常行为进行分类。

技术实现思路

1、本发明的目的在于提供针对垃圾投放行为分析和违规行为多角度抓拍的监测系统，通过对时间序列图像进行处理，分析目标动作、行为特征，基于模型训练和识别实现目标的行为识别和分析，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、针对垃圾投放行为分析和违规行为多角度抓拍的监测系统，包括：

4、数据采集单元，用于获取数据采集终端主动上传的垃圾投放点的视频数据，同时，获取所述视频数据所携带的子数据，包括垃圾投放点坐标数据和数据采集终端基础数据；

5、将所述垃圾投放点的视频数据及其子数据打包生成监控数据集，基于物联网将所述监控数据集传输至数据处理单元进行数据处理；

6、数据处理单元，用于对所述监控数据集进行储存，基于人脸识别技术识别所述视频数据中的人脸特征，对识别出的人脸输入至预存人脸数据库中进行信息采集和比对，确定人脸识别结果，其中，所述预存人脸数据库包括：人脸图像数据、人脸图像对应的人物信息、历史行为信息和评估数据；

7、数据分析单元，用于基于人脸识别结果获取目标对象的人物行为视频数据段，提取所述视频数据段中的行为特征，通过机器学习算法对所述行为特征进行建模和分析，确定目标对象的行为分析结果；

8、智能抓拍单元，用于基于历史行为信息和评估数据对所述目标对象的分析结果进行预测，判断所述分析结果中的异常行为，进行智能抓拍，同时，将智能抓拍图像输入至所述预存人脸数据库中进行储存，并基于人脸识别结果建立与对应人脸图像数据的关联关系。

9、进一步的，所述数据采集终端，包括自动旋转驱动底座和摄像头，自动旋转驱动底座内部嵌入设置有转动轴，转动轴一侧安装有自动复位模块，所述摄像头通过导线与算法盒子电连接，所述算法盒子包括智能终端分析模块和云端决策模块，摄像头设置有拍摄组件、位置调节组和角度调节组件。

10、进一步的，所述数据处理单元，包括：

11、数据存储模块，用于获取所述数据处理单元上传的监控数据集，提取所述监控数据集中的垃圾投放点坐标数据，识别与所述垃圾投放点坐标数据对应的数据向量空间，并将所述监控数据集中的视频数据储存至所述数据向量空间中；

12、视频预处理模块，用于在所述监控数据集的视频数据中提取人脸样本数据特征，基于所述人脸样本数据特征确定出存在人脸数据特征的目标监控数据段，并将所述目标监控数据段整合生成目标监控数据包；

13、人脸识别模块，用于基于卷积神经网络算法训练模型将目标监控数据包中的人脸面部数据进行特征提取，将人脸面部特征输入至预存人脸数据库中进行一一匹配，获取识别结果；

14、所述人脸识别模块，还用于基于获取到的人脸面部特征确定人体面部朝向及其对应人体位置数据，匹配对应控制指令控制所述数据采集终端调整拍摄角度至目标位置；

15、信息匹配模块，用于基于识别结果获取与所述人脸图像对应的人物信息、历史行为信息和评估数据。

16、进一步的，所述人脸识别模块将人脸面部特征输入至预存人脸数据库中进行一一匹配，包括；

17、将所述人脸面部特征对应的图像进行标准化处理，得到标准化图像；

18、获取标准化图像中每个像素点的特征值，基于所述每个像素点的特征值构建第一矩阵；

19、所述预存人脸数据库中每个预存人脸图像对应有第二矩阵，其中，所述第二矩阵与预存人脸图像一一对应；

20、分别计算所述第一矩阵与预存人脸数据库中每个第二矩阵的相似度，将所述相似度高于预设阈值后提取对应的预存人脸图像，将对应的所述预存人脸图像作为识别结果。

21、进一步的，所述数据分析单元，包括：

22、特征提取模块，用于基于识别结果从目标监控数据包中提取同一人物的行为特征数据，基于时间序列获取所述同一人物的行为特征数据列表；

23、三维建模模块，用于基于所述视频数据构建每一人物对应的三维模型，基于所述三维模型将行为特征数据列表进行三维模拟。

24、进一步的，所述特征提取模块，包括：

25、根据所述目标监控数据包的数据长度建立时间轴，将所述行为特征数据列表输入到所述时间轴，生成动态行为数据，基于动态行为数据获取行为特征数据参数；

26、获取所述人物的多个历史数据以及每个历史数据对应的历史行为特征，对行为特征数据参数与历史行为特征进行相关性分析，获取分析结果，根据分析结果确定所述人物的行为习惯及其对应的目标行为特征。

27、进一步的，所述智能抓拍单元，包括：

28、行为预判模块，用于基于所述同一人物的行为特征数据列表确定同一人物的行为习惯，基于所述三维模型对同一人物的行为习惯进行行为推演，判断推演结果是否出现异常行为；

29、抓拍模块，用于若判断所述人物出现异常行为，则获取所述人物对应的目标监控数据段，匹配对应指令数据控制数据采集终端对所述人物对应的目标监控数据段进行抓拍；

30、评估模块，用于获取所述异常行为的分类结果，基于所述分类结果进行异常行为评估，结合所述人物对应的历史评估分数进行平均值计算，确定为所述人物的评估数值。

31、进一步的，判断推演结果是否出现异常行为，包括根据每个人物的行为习惯以及每项参数的辨识结果计算出该人物在垃圾投放过程中的异常系数，具体为：

32、获取垃圾投放行为每项参数的标准行为阈值，根据每个人物的每项参数的辨识结果获取该人物对于每项参数的当前行为阈值；

33、对比所述标准行为阈值和当前行为阈值确定每个人物对于每项参数的行为偏差度；

34、根据每个人物的行为习惯和该人物对于每项参数的行为偏差度调整该人物在垃圾投放过程中的异常行为系数；

35、将所述异常行为系数与预设阈值进行比对，若高于预设阈值，则判断该行为为异常行为。

36、进一步的，所述数据分析单元包括行为预测模块，所述行为预测模块，包括：

37、数据提取标注子模块，用于从以往保存历史视频数据的视频数据段中提取对应识别出的人物的行为特征数据，并对行为特征数据进行标注，筛选分组得到训练集和多个验证集；

38、模型训练子模块，用于采用训练集进行数据训练，然后采用其中一个验证集进行调参优化，得到行为预测模型；

39、模型评估子模块，用于采用逻辑回归模型对行为预测模型进行评估，所述逻辑回归模型采用以下公式计算行为预测模型的准确性指标：

40、

41、上式中，ω表示行为预测模型的准确性指标；xi表示从视频数据段提取的某人物的第i个行为特征数据；p(xi)表示行为预测模型对行为特征数据xi的预测符合期望行为数据yi的概率；yi表示对第i个行为特征数据进行预测的期望行为数据；1-p(xi)表示行为预测模型对行为特征数据xi的预测不符合期望行为数据yi的概率；

42、判断优化子模块，用于根据模型评估子模块得到的准确性指标，判断行为预测模型是否还需要进行优化；若准确性指标小于设定的指标阈值，表示行为预测模型还需要进行优化，则随机选择一个未使用过的验证集再次对行为预测模型进行调参优化，调参优化后再次由模型评估子模块进行评估，直至行为预测模型的准确性指标不小于指标阈值；然后将行为预测模型用于对实时视频数据段中识别的人物行为进行预测。

43、与现有技术相比，本发明的有益效果是：

44、通过摄像头对抓拍信息进行自动识别，结合人脸信息、时间等信息，实现自动抓拍、识别、入库、查询和比对等功能，通过设置不同的检测区域和规则，实现对人、物等的自动检测，识别并进行智能抓拍，从而提高监控效率和精确度，通过对采集的视频数据进行三维建模，实现对目标对象的行为推演和分析，并对异常行为进行智能抓拍，具有高精度、高鲁棒性、高级别的识别准确度。