一种基于人工智能的物联网终端监控方法及系统与流程

本发明涉及监控系统，具体涉及一种基于人工智能的物联网终端监控方法及系统。

背景技术：

1、随着计算机视觉等人工智能技术的发展的蓬勃发展，边缘计算还可以被应用在智能安防、智慧城市、自动驾驶，以及个人生活助理等领域，利用计算机自动提取视频流中的关键帧中的信息，极大的减小了人工处理的压力，传统的实时视频流分析系统采用云计算模式：处在网络终端的视频数据采集设备，通过网络将采集到的视频流数据直接传输到处在网络中心的云服务器，该服务器在接收视频流后，通过解封装、解码等操作后，将得到的图片进行分析，分析结果将在云端进行整合，最终结果将返回到网络的设备端。

2、现有技术存在以下不足：

3、目前的监控系统在云计算模式下，边缘终端设备生成视频数据，并通过网络传输至中心服务器，进行计算和存储等操作，然而，随着网络中数据量急剧增加，网络负担加重，导致数据传输延迟显著增加，这不仅导致网络带宽占用过大和用户体验受到传输延迟的制约，还可能在一些特殊场景(如军事设施、政府机构)下引发隐私泄露和网络不可靠等问题；

4、基于此，本发明提出一种基于人工智能的物联网终端监控方法及系统，将云中心的计算能力部分卸载到边缘计算节点，从而减少网络中的数据流量，以解决上述问题。

技术实现思路

1、本发明的目的是提供一种基于人工智能的物联网终端监控方法及系统，以解决背景技术中不足。

2、为了实现上述目的，本发明提供如下技术方案：一种基于人工智能的物联网终端监控系统，包括终端设备模块、数据处理模块、边缘计算模块、通信模块、中心服务器模块、用户接口模块；

3、终端设备模块：包括终端设备，终端设备采集原始数据用于后续的分析和决策；

4、数据处理模块：对终端设备采集到的原始数据进行初步处理；

5、边缘计算模块：基于resnet预训练模型对原始数据中的人脸进行识别，基于遗传算法对视频处理服务进行分析；

6、通信模块：基于rtsp视频流传输协议将边缘计算节点分析数据发送至中心服务器模块；

7、中心服务器模块：接收从边缘计算节点传输过来的数据，并汇总和整合来自各个边缘计算节点的信息；

8、用户接口模块：提供用户与系统交互界面，交互界面包括web界面、移动应用，用户通过交互界面查看监控数据、设定参数。

9、优选的，所述边缘计算模块基于resnet预训练模型对原始数据中的人脸进行识别包括以下步骤：

10、获取视频数据，拆分视频数据帧得到待检测的图片；

11、使用训练过的dlib人脸检测模型进行人脸检测，并标注图片；

12、通过特征提取算法提取出人脸的特征向量，然后将特征向量传输到数据库并进行特征比对；

13、判断特征向量与数据库中人脸特征的欧氏距离，若欧氏距离小于设定的距离阈值，则找到距人脸数据库中欧氏距离最小的特征向量；

14、若欧氏距离大于等于设定的距离阈值，表明特征向量与数据库中的特征差异大，视频数据中为非法人物。

15、优选的，所述dlib人脸检测模型获取包括以下步骤：

16、将需要标注的图片保存在文件夹中，并按照文件名进行分类；

17、在imglab中，选择“adddataset”，然后填写数据集名称和目录，以及是否包含子目录选项；

18、选择“loadimages”，并选择需要标注的图片所在的目录，imglab会自动加载所有的图片文件；

19、使用addbox工具对每张图片中的人脸周围绘制出矩形框，矩形框表示人脸位置；

20、使用addlandmark工具对每个人脸标注特征点信息，包括眼睛、嘴巴和鼻子；

21、完成标注后保存标注结果，选择“savewithlabels”，并选择保存的文件名和格式，imglab会自动保存图片、标注信息和特征点信息到指定的文件中；

22、完成标注后使用标注结果来训练模型，将标注结果转换为相应格式，然后使用train_shape_predictor.py工具来训练模型得到dlib人脸检测模型。

23、优选的，所述边缘计算模块使用训练过的dlib人脸检测模型进行人脸检测包括以下步骤：

24、加载需要检测的图片，并转换为相应格式；

25、加载训练好的人脸检测器；

26、使用加载好的人脸检测器对图片中的人脸进行检测，并得到所有检测到的人脸位置坐标；

27、得到人脸位置坐标后用矩形框框出人脸的区域，完成人脸识别。

28、优选的，所述边缘计算模块基于遗传算法对视频处理服务进行分析包括以下步骤：

29、a、按照编码规则初始化边缘计算节点种群后，根据适应度函数挑选出父代边缘计算节点；

30、b、通过轮转赌方法选出母代边缘计算节点，再通过交叉点选择算法算出当前迭代次数的交叉点位置；

31、c、通过交叉产生子代边缘计算节点后再与父代边缘计算节点进行比较，若不满足父代边缘计算节点的适应度，则舍弃该子代边缘计算节点；

32、d、重复交叉过程，并且按概率完成变异操作，直到子代边缘计算节点的数量为种群大小num，则表示完成一次迭代，迭代完毕后得到适应度最高的边缘计算节点；

33、e、对得到适应度最高的边缘计算节点进行综合评估，判断该边缘计算节点的适应度是否达到要求，若达到要求，将视频服务处理调度到该边缘计算节点，若达不到要求，则重复步骤a、b、c、d、e，直到边缘计算节点的适应度达到要求为止。

34、优选的，步骤e中，对得到适应度最高的边缘计算节点进行综合评估，判断该边缘计算节点的适应度是否达到要求包括以下步骤：

35、e1、获取该边缘计算节点的响应延迟指数、任务完成速率、节点当前负载指数以及计算资源利用率；

36、e2、将响应延迟指数、任务完成速率、节点当前负载指数以及计算资源利用率归一化处理后，综合计算获取节点系数jdx；

37、e3、节点系数jdx越大，表明边缘计算节点的适应度越高，将获取的节点系数jdx值与预先设定的适应度阈值进行对比，适应度阈值用于区分边缘计算节点的适应度达标或不达标；

38、e4、若节点系数jdx值大于等于适应度阈值，判断该边缘计算节点的适应度达到要求；

39、e5、若节点系数jdx值小于适应度阈值，判断该边缘计算节点的适应度达不到要求。

40、优选的，所述边缘计算模块采用多次随机产生初始种群的方法，包括以下步骤：

41、(1)生成num个n*3的全零数组用于保存种群中每个边缘计算节点的基因信息，随后进入第(2)步；

42、(2)随机产生一个n*3的数组，并与染色体编码里面提出的规则进行比对，若满足规则，则进入第(3)步，否则重复本步骤；

43、(3)将第(2)步产生的数组加入种群中，若此时种群的数量为num，则结束初始化种群，否则跳转回第(2)步，直到种群的数量为num。

44、优选的，所述边缘计算模块根据适应度函数选择种群中的边缘计算节点，适应度函数的表达式为：其中，矩阵a表示当前种群中的任一个边缘计算节点，表示权重，且大于0，g1(a)表示总体边缘计算节点的时延，g2(a)则表示总体边缘计算节点的资源利用率。

45、优选的，所述边缘计算模块使用随机普遍选择法中的轮转赌选择法和子代边缘计算节点与部分父代边缘计算节点竞争的方法包括以下步骤：

46、a、对所有边缘计算节点按照适应度函数值的大小进行排序，并用前20％作为产生下一代的父代边缘计算节点，将这些父类自接加入子代边缘计算节点中；

47、b、根据轮转赌选择法随机选择出剩余80％中的个体作为母代边缘计算节点，再在第一步中的父类个体中随机选择出一个作为父代边缘计算节点，将选出的父代边缘计算节点和母代边缘计算节点的基因进行交叉、变异处理，产生子代边缘计算节点，并根据染色体编码中的资源要求计算，若满足规定，则进入第c步，否则舍弃掉该子代边缘计算节点，并重复本步骤；

48、c、计算出该子代边缘计算节点的适应度函数的值，并与第a步中选出的父类的适应度的最小值比较，若子代边缘计算节点的适应度的值更小，则将该子代边缘计算节点加入种群中，反之，跳转回步骤b；

49、d、若子类种群的数量为num，选择操作结束，否则跳转回步骤b；

50、e、采用交叉点选择算法计算出当前交叉点的位置；

51、f、根据选择操作中的步骤b确定交叉的双亲，然后将双亲的染色体上位于交叉点位置之后的所有的基因相互交换，获得两个子代边缘计算节点；

52、g、对子代边缘计算节点进行染色体编码的规则进行检查。

53、本发明还提供一种基于人工智能的物联网终端监控方法，所述监控方法包括以下步骤：

54、s1：终端设备采集原始数据，原始数据用于后续的分析和决策；

55、s2：终端设备对采集到原始数据进行初步处理，初步处理包括数据的压缩、降噪、特征提取；

56、s3：部署在终端设备附近的边缘计算节点基于resnet预训练模型对原始数据中的人脸进行识别；

57、s4：边缘计算节点基于遗传算法对视频处理服务进行分析；

58、s5：通信端基于rtsp视频流传输协议将边缘计算节点分析数据发送至中心服务器；

59、s6：中心服务器接收从边缘计算节点传输过来的数据，并汇总和整合来自各个边缘计算节点的信息，提供用户与监控系统交互界面，用户通过交互界面查看监控数据、设定参数。

60、在上述技术方案中，本发明提供的技术效果和优点：

61、1、本发明通过边缘计算模块基于resnet预训练模型对原始数据中的人脸进行识别，基于遗传算法对视频处理服务进行分析，通信模块基于rtsp视频流传输协议将边缘计算节点分析数据发送至中心服务器模块，中心服务器模块接收从边缘计算节点传输过来的数据，并汇总和整合来自各个边缘计算节点的信息，用户接口模块提供用户与系统交互界面，交互界面包括web界面、移动应用，用户通过交互界面查看监控数据、设定参数。该监控系统通过将云中心的计算能力部分卸载到边缘计算节点，从而减少网络中的数据流量，降低数据传输延迟显著增加，而且基于rtsp视频流传输协议传输数据，安全性高。