基于物联网的智能监控方法、装置、设备及存储介质与流程

本发明涉及物联网，尤其涉及一种基于物联网的智能监控方法、装置、设备及存储介质。

背景技术：

1、随着物联网技术的发展和普及，物联网摄像头在各种应用领域中得到了广泛的应用，如监控、安防、交通管理等。然而，在实际应用中，物联网摄像头面临着一些挑战，如摄像头状态异常、环境变化导致参数失调等问题，这些问题影响到监控系统的性能和可靠性。

2、现有技术只关注单一感知模态，如图像数据或传感器数据。这导致在某些情况下无法获取全面的环境信息，限制了系统对目标区域的准确感知。参数调整通常是基于固定规则或手动调整，无法根据实际场景的变化自动优化参数。这导致系统在不同环境下性能不稳定或不佳。现有的参数优化策略通常缺乏智能性和自适应性，无法根据实时数据和环境变化进行动态调整，限制了系统性能的提升。对于不同感知模态的数据融合通常比较有限，无法充分挖掘多模态数据之间的关系，从而限制了系统的综合分析能力。

技术实现思路

1、本发明提供了一种基于物联网的智能监控方法、装置、设备及存储介质，用于实现物联网摄像头的智能监控并且提高物联网摄像头的设备控制准确率。

2、本发明第一方面提供了一种基于物联网的智能监控方法，所述基于物联网的智能监控方法包括：

3、采集目标监控区域中每个物联网摄像头的摄像头位置数据和目标多模态数据，并对所述目标多模态数据进行数据融合和数据预处理，得到目标融合数据；

4、通过预置的第一时空关联模型对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第一摄像头分布状态模型，以及通过预置的第二时空关联模型对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第二摄像头分布状态模型；

5、对所述第一摄像头分布状态模型进行特征提取，得到第一状态特征集合，并通过预置的摄像头异常检测模型对所述第一状态特征集合进行异常检测，得到每个物联网摄像头的第一状态异常检测结果，以及对所述第二摄像头分布状态模型进行特征提取，得到第二状态特征集合，并通过所述摄像头异常检测模型对所述第二状态特征集合进行异常检测，得到每个物联网摄像头的第二状态异常检测结果；

6、对所述第一状态异常检测结果和所述第二状态异常检测结果进行加权融合，生成每个物联网摄像头的目标状态异常检测结果，并根据所述目标状态异常检测结果匹配每个物联网摄像头对应的第一摄像头运行参数补偿集合；

7、构建每个物联网摄像头的第一参数智能优化策略，并通过所述第一参数智能优化策略对多个物联网摄像头进行参数组合分析，得到第二参数智能优化策略；

8、根据所述第二参数智能优化策略，对多个所述物联网摄像头进行设备参数调整，得到最佳参数组合，并根据所述最佳参数组合对所述第一摄像头运行参数补偿集合进行参数补偿分析，生成每个物联网摄像头的第二摄像头运行参数补偿集合。

9、结合第一方面，在本发明第一方面的第一种实现方式中，所述采集目标监控区域中每个物联网摄像头的摄像头位置数据和目标多模态数据，并对所述目标多模态数据进行数据融合和数据预处理，得到目标融合数据，包括：

10、对所述目标监控区域中每个物联网摄像头进行摄像头位置标定，得到每个物联网摄像头的摄像头位置数据；

11、通过预置的传感器集群对所述目标监控区域进行多模态数据采集，得到目标多模态数据；

12、对所述目标多模态数据进行数据分组，得到图像数据集、声音数据集、温度数据集以及压力数据集；

13、对所述图像数据集进行像素值映射，得到候选图像数据集，并对所述候选图像数据集进行尺寸修正，得到待融合图像数据集；

14、对所述声音数据集进行频谱转换，得到所述声音数据集对应的频谱数据集，并对所述频谱数据集进行标准化处理，得到待融合频谱数据集；

15、分别对所述温度数据集以及所述压力数据集进行数据清洗，得到待融合温度数据集以及待融合压力数据集；

16、对所述待融合图像数据集、所述待融合频谱数据集、所述待融合温度数据集以及所述待融合压力数据集进行加权融合，得到候选融合数据；

17、对所述候选融合数据进行独热编码，得到所述目标融合数据。

18、结合第一方面，在本发明第一方面的第二种实现方式中，所述通过预置的第一时空关联模型对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第一摄像头分布状态模型，以及通过预置的第二时空关联模型对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第二摄像头分布状态模型，包括：

19、通过所述第一时空关联模型的第一循环神经网络对所述摄像头位置数据进行基于时序的位置环境提取，得到所述摄像头位置数据对应的第一位置环境特征；

20、通过所述第一循环神经网络对所述目标融合数据进行摄像头状态分析，得到第一摄像头状态特征；

21、对所述第一位置环境特征以及所述第一摄像头状态特征进行时序特征分析，得到第一时序特征数据；

22、通过所述第一时序特征数据对所述摄像头位置数据和所述目标融合数据进行时序传递，得到第一时序关系；

23、通过所述第一时序关系进行模型多层结构构建，得到第一多层结构；

24、通过所述第一多层结构对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第一摄像头分布状态模型；

25、通过所述第二时空关联模型的第二循环神经网络对所述摄像头位置数据进行基于时序的位置环境提取，得到所述摄像头位置数据对应的第二位置环境特征；

26、通过所述第二循环神经网络对所述目标融合数据进行摄像头状态分析，得到第二摄像头状态特征；

27、对所述第二位置环境特征以及所述第二摄像头状态特征进行时序特征分析，得到第二时序特征数据；

28、通过所述第二时序特征数据对所述摄像头位置数据和所述目标融合数据进行时序传递，得到第二时序关系；

29、通过所述第二时序关系进行模型多层结构构建，得到第二多层结构；

30、通过所述第二多层结构对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第二摄像头分布状态模型。

31、结合第一方面，在本发明第一方面的第三种实现方式中，所述对所述第一摄像头分布状态模型进行特征提取，得到第一状态特征集合，并通过预置的摄像头异常检测模型对所述第一状态特征集合进行异常检测，得到每个物联网摄像头的第一状态异常检测结果，以及对所述第二摄像头分布状态模型进行特征提取，得到第二状态特征集合，并通过所述摄像头异常检测模型对所述第二状态特征集合进行异常检测，得到每个物联网摄像头的第二状态异常检测结果，包括：

32、对所述第一摄像头分布状态模型进行区域划分，得到多个第一分布区域；

33、分别对每个所述第一分布区域进行颜色空间特征提取，得到第一颜色特征集合；

34、基于所述第一颜色特征集合分别对每个所述第一分布区域进行角点特征提取，得到第一角点特征集合，并将所述第一颜色特征集合以及所述第一角点特征集合合并为所述第一状态特征集合；

35、通过所述摄像头异常检测模型对所述第一状态特征集合进行数据点映射，得到第一数据点集合；

36、对所述第一数据点集合进行局部离群因子剔除，得到第一目标数据点集合；

37、对所述第一目标数据点集合进行异常因素匹配，得到第一异常因素集，并通过所述第一异常因素集生成每个物联网摄像头的第一状态异常检测结果；

38、对所述第二摄像头分布状态模型进行区域划分，得到多个第二分布区域；

39、分别对每个所述第二分布区域进行颜色空间特征提取，得到第二颜色特征集合；

40、基于所述第二颜色特征集合分别对每个所述第二分布区域进行角点特征提取，得到第二角点特征集合，并将所述第二颜色特征集合以及所述第二角点特征集合合并为所述第二状态特征集合；

41、通过所述摄像头异常检测模型对所述第二状态特征集合进行数据点映射，得到第二数据点集合；

42、对所述第二数据点集合进行局部离群因子剔除，得到第二目标数据点集合；

43、对所述第二目标数据点集合进行异常因素匹配，得到第二异常因素集，并通过所述第二异常因素集生成每个物联网摄像头的第一状态异常检测结果。

44、结合第一方面，在本发明第一方面的第四种实现方式中，所述对所述第一状态异常检测结果和所述第二状态异常检测结果进行加权融合，生成每个物联网摄像头的目标状态异常检测结果，并根据所述目标状态异常检测结果匹配每个物联网摄像头对应的第一摄像头运行参数补偿集合，包括：

45、分别对所述第一状态异常检测结果和所述第二状态异常检测结果进行权重参数计算，得到所述第一状态异常检测结果的第一权重以及所述第二状态异常检测结果的第二权重；

46、基于所述第一状态异常检测结果的第一权重以及所述第二状态异常检测结果的第二权重，对所述第一状态异常检测结果和所述第二状态异常检测结果进行加权融合，生成每个物联网摄像头的目标状态异常检测结果；

47、对每个物联网摄像头的目标状态异常检测结果进行关键词提取，得到每个物联网摄像头对应的异常关键词；

48、通过每个物联网摄像头对应的异常关键词匹配每个物联网摄像头对应的第一摄像头运行参数补偿集合。

49、结合第一方面，在本发明第一方面的第五种实现方式中，所述构建每个物联网摄像头的第一参数智能优化策略，并通过所述第一参数智能优化策略对多个物联网摄像头进行参数组合分析，得到第二参数智能优化策略，包括：

50、分别对每个物联网摄像头进行优化参数类型提取，得到参数类型集；

51、基于所述参数类型集，通过预置的遗传算法分别对每个物联网摄像头进行参数优化迭代，并在迭代过程中分别对每个物联网摄像头进行性能评价，得到每个所述物联网摄像头的性能评价分数；

52、通过每个所述物联网摄像头的性能评价分数进行子策略匹配，得到多个第一子策略；

53、通过多个第一子策略构建每个物联网摄像头的第一参数智能优化策略；

54、通过所述第一参数智能优化策略对多个所述物联网摄像头进行参数随机组合，得到多个随机参数组合；

55、分别通过每个所述随机参数组合对所述第一参数智能优化策略进行参数组合筛选，得到目标参数组合；

56、通过所述目标参数组合对所述第一参数智能优化策略进行策略更新，得到所述第二参数智能优化策略。

57、结合第一方面，在本发明第一方面的第六种实现方式中，所述根据所述第二参数智能优化策略，对多个所述物联网摄像头进行设备参数调整，得到最佳参数组合，并根据所述最佳参数组合对所述第一摄像头运行参数补偿集合进行参数补偿分析，生成每个物联网摄像头的第二摄像头运行参数补偿集合，包括：

58、根据所述第二参数智能优化策略，对多个所述物联网摄像头进行设备模拟运行，得到多个设备模拟工况数据；

59、对多个设备模拟工况数据进行设备运行状态分析，得到多个设备运行状态；

60、对多个所述设备运行状态进行状态筛选，得到目标设备运行状态；

61、通过所述目标设备运行状态对多个所述物联网摄像头进行设备参数调整，得到最佳参数组合；

62、根据所述最佳参数组合对所述第一摄像头运行参数补偿集合进行参数补偿分析，生成每个物联网摄像头的第二摄像头运行参数补偿集合。

63、本发明第二方面提供了一种基于物联网的智能监控装置，所述基于物联网的智能监控装置包括：

64、采集模块，用于采集目标监控区域中每个物联网摄像头的摄像头位置数据和目标多模态数据，并对所述目标多模态数据进行数据融合和数据预处理，得到目标融合数据；

65、建模模块，用于通过预置的第一时空关联模型对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第一摄像头分布状态模型，以及通过预置的第二时空关联模型对所述摄像头位置数据和目标融合数据进行位置环境和摄像头状态建模，得到第二摄像头分布状态模型；

66、提取模块，用于对所述第一摄像头分布状态模型进行特征提取，得到第一状态特征集合，并通过预置的摄像头异常检测模型对所述第一状态特征集合进行异常检测，得到每个物联网摄像头的第一状态异常检测结果，以及对所述第二摄像头分布状态模型进行特征提取，得到第二状态特征集合，并通过所述摄像头异常检测模型对所述第二状态特征集合进行异常检测，得到每个物联网摄像头的第二状态异常检测结果；

67、融合模块，用于对所述第一状态异常检测结果和所述第二状态异常检测结果进行加权融合，生成每个物联网摄像头的目标状态异常检测结果，并根据所述目标状态异常检测结果匹配每个物联网摄像头对应的第一摄像头运行参数补偿集合；

68、分析模块，用于构建每个物联网摄像头的第一参数智能优化策略，并通过所述第一参数智能优化策略对多个物联网摄像头进行参数组合分析，得到第二参数智能优化策略；

69、调整模块，用于根据所述第二参数智能优化策略，对多个所述物联网摄像头进行设备参数调整，得到最佳参数组合，并根据所述最佳参数组合对所述第一摄像头运行参数补偿集合进行参数补偿分析，生成每个物联网摄像头的第二摄像头运行参数补偿集合。

70、本发明第三方面提供了一种基于物联网的智能监控设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于物联网的智能监控设备执行上述的基于物联网的智能监控方法。

71、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于物联网的智能监控方法。

72、本发明提供的技术方案中，通过采集每个物联网摄像头的摄像头位置数据和目标多模态数据，并进行数据融合，可以实现对目标区域的多角度、多模态感知，从而获得更全面的信息。第一时空关联模型和第二时空关联模型基于摄像头位置数据和目标融合数据，分别建立了第一摄像头分布状态模型和第二摄像头分布状态模型。这使得摄像头状态和目标位置的环境关系得以建模，有助于更准确地理解和分析监控场景。通过对第一状态特征集合和第二状态特征集合进行异常检测，可以快速识别摄像头的状态异常情况，例如图像质量下降、故障等，有助于实时监测设备的健康状态。将第一状态异常检测结果和第二状态异常检测结果进行加权融合，可以综合考虑不同状态的异常情况，提高异常检测的准确性和可靠性。