基于深度学习的设备故障诊断方法及系统与流程

本发明涉及物联网，尤其涉及一种基于深度学习的设备故障诊断方法及系统。

背景技术：

1、相关技术中，cn115580635a公开了一种物联网终端的智能化故障诊断方法及系统，该方法包括：对目标网络结构的物联网组成设备的信息进行确定，进行设备分类输出采集源设备和传输源设备，将采集源设备的信息和传输源设备的信息输入设备故障概率计算模型中，通过进行模型分析输出标识设备，基于标识采集源设备和标识传输源设备生成故障诊断库，并存储至所述云端服务器中，获取实时网络故障信息，根据故障诊断库进行设备定位输出故障设备。

2、cn115028073a公开了一种基于工业物联网的智慧工厂工业设备故障分析评估系统，包括：制动结构故障监测模块，制动结构故障分析模块，起升结构故障监测模块，起升结构故障分析模块，设备故障分析模块、设备故障预警终端数据库；通过分析得到目标起重机的制动结构故障评估系数和起升结构故障评估系数，进而综合计算得到目标起重机设备故障评估系数。

3、cn115296976a公开了一种物联网设备故障检测方法、装置、设备及存储介质，该方法包括：通过获取当前时间窗口中各物联网设备的设备数据；解析各物联网设备的设备数据获取各物联网设备至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个bitmap数据结构中，任一bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，状态值为0或1；根据预设故障筛选规则对至少两个事件属性的bitmap数据结构进行位运算，根据结果进行故障设备检测和/或故障原因分析。

4、然而，相关技术均无法准确测试物联网终端设备的性能，也无法确定物联网终端设备是否存在性能故障。

5、公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明实施例提供一种基于深度学习的设备故障诊断方法及系统，能够测试物联网终端设备的性能，确定终端设备是否存在硬件性能故障。

2、本发明实施例的第一方面，提供一种基于深度学习的设备故障诊断方法,包括：

3、在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

4、在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

5、根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

6、根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

7、在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障。

8、在本发明的一些实施例中，根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备，包括：

9、根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

10、根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

11、根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

12、根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

13、根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

14、根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

15、根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备。

16、在本发明的一些实施例中，根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标，包括：

17、根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

18、根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

19、对所述资源剩余差异进行统计，获得第一资源利用性能指标；

20、对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

21、求解所述剩余差异曲线的第一导函数曲线；

22、将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

23、根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标。

24、在本发明的一些实施例中，根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标，包括：

25、根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；

26、根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；

27、对所述应答时间差异进行统计，获得第一时间差异指标；

28、对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；

29、求解所述时间差异曲线的第二导函数曲线；

30、将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；

31、根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

32、在本发明的一些实施例中，根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标，包括：

33、根据公式，确定所述第二终端设备的运算资源与应答时间的一致性指标y，其中，v为所述第二终端设备的运算资源总量，vi为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，ti为第二终端设备对第i个第二测试消息的响应时间，tmax为第二终端设备对多个第二测试消息的响应时间的最大值，tmin为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

34、在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；

35、其中，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障，包括：

36、通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

37、去除所述目标对象所在的区域中的图像内容；

38、通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

39、在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

40、根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

41、在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；

42、其中，在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障，包括：

43、通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

44、去除所述目标对象所在的区域中的图像内容；

45、通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

46、确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

47、根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

48、在本发明的一些实施例中，所述图像处理模型的训练步骤包括：

49、将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；

50、将所述生成图像或第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

51、根据公式，确定所述图像处理模型和所述判别器的损失函数loss，其中，ig（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，i（x，y）为生成图像中位置为（x，y）的像素点的像素值，m×n为第二样本图像和生成图像的尺寸，pg为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，ps为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，t为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤t，θ和μ为预设权重；

52、根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

53、本发明实施例的第二方面，提供一种基于深度学习的设备故障诊断系统，所述系统设置于云端设备，包括：

54、第一测试模块，用于在通信总线中广播第一测试消息，其中，所述第一测试消息用于确定出在所述云端设备中备案的多个终端设备中，未上线或无法应答的第一终端设备；

55、第二测试模块，用于在接收到第二终端设备的第一应答消息后，根据所述第二终端设备的备案信息，向所述第二终端设备发送多次第二测试消息，其中，所述第二测试消息用于测试所述第二终端设备的应答性能；

56、筛选模块，用于根据所述第二终端设备对于所述第二测试消息的应答时间、所述第二终端设备在执行所述第二测试消息对应的命令时使用的运算资源以及所述第二终端设备的备案信息，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备；

57、第三测试模块，用于根据所述第三终端设备的备案信息，向所述第三终端设备发送第三测试消息，其中，所述第三测试消息用于测试所述第三终端设备的运行性能；

58、故障诊断模块，用于在接收到的所述第三终端设备对于所述第三测试消息对应的命令的执行结果的情况下，根据所述执行结果，确定所述第三终端设备是否存在硬件性能故障。

59、在本发明的一些实施例中，所述筛选模块进一步用于：

60、根据所述第二终端设备的备案信息，确定所述第二终端设备的运算资源总量；

61、根据所述第二终端设备的运算资源总量，和所述第二终端设备在执行各个第二测试消息对应的命令时使用的运算资源，确定所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量；

62、根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量、所述第二测试消息的运算资源需求量，以及所述第二终端设备的运算资源总量，确定所述第二终端设备的运算资源利用性能指标；

63、根据所述第二终端设备对于各个第二测试消息的应答时间、所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备的应答速率衰减性能指标；

64、根据所述第二终端设备在执行各个第二测试消息对应的命令时的运算资源剩余量和应答时间，确定所述第二终端设备的运算资源与应答时间的一致性指标；

65、根据所述运算资源利用性能指标、所述应答速率衰减性能指标和所述一致性指标，确定所述第二终端设备的应答性能指标；

66、根据所述应答性能指标，对所述第二终端设备进行筛选，确定应答性能合格的第三终端设备。

67、在本发明的一些实施例中，所述筛选模块进一步用于：

68、根据各个第二测试消息的运算资源需求量以及所述第二终端设备的运算资源总量，确定所述第二终端设备在执行各个第二测试消息对应的命令时的理论运算资源剩余量；

69、根据所述第二终端设备在执行各个第二测试消息对应的命令时的所述运算资源剩余量和所述理论运算资源剩余量，确定资源剩余差异；

70、对所述资源剩余差异进行统计，获得第一资源利用性能指标；

71、对所述第二终端设备在执行各个第二测试消息对应的命令时的资源剩余差异进行三次样条插值拟合，获得剩余差异曲线；

72、求解所述剩余差异曲线的第一导函数曲线；

73、将使所述第一导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二资源利用性能指标；

74、根据所述第一资源利用性能指标和所述第二资源利用性能指标，确定所述运算资源利用性能指标。

75、在本发明的一些实施例中，所述筛选模块进一步用于：

76、根据所述第二测试消息的运算资源需求量和所述第二终端设备的备案信息，确定所述第二终端设备对于各个第二测试消息的理论应答时间；

77、根据所述第二终端设备对于各个第二测试消息的所述应答时间和所述理论应答时间，确定应答时间差异；

78、对所述应答时间差异进行统计，获得第一时间差异指标；

79、对所述应答时间差异进行三次样条插值拟合，获得时间差异曲线；

80、求解所述时间差异曲线的第二导函数曲线；

81、将使所述第二导函数曲线大于0的自变量范围与所述第二测试消息的发送次数的比值，确定为第二时间差异指标；

82、根据所述第一时间差异指标和所述第二时间差异指标，定所述第二终端设备的应答速率衰减性能指标。

83、在本发明的一些实施例中，所述筛选模块进一步用于：

84、根据公式，确定所述第二终端设备的运算资源与应答时间的一致性指标y，其中，v为所述第二终端设备的运算资源总量，vi为第二终端设备在执行第i个第二测试消息对应的命令时的运算资源剩余量，ti为第二终端设备对第i个第二测试消息的响应时间，tmax为第二终端设备对多个第二测试消息的响应时间的最大值，tmin为第二终端设备对多个第二测试消息的响应时间的最小值，n为第二测试消息的数量。

85、在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头变焦命令，所述执行结果包括根据所述监控摄像头在变焦过程中拍摄的多个第一图像；所述故障诊断模块进一步用于：

86、通过预训练的图像处理模型，识别所述多个第一图像中检测到的目标对象；

87、去除所述目标对象所在的区域中的图像内容；

88、通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第一背景图像；

89、在所述变焦命令为调远焦距的情况下，在第j个第一背景图像中识别出与第j+1个第一背景图像内容相同的第一重叠区域，或者，在所述变焦命令为调近焦距的情况下，在所述第j+1个第一背景图像识别出与第j个第一背景图像内容相同的第一重叠区域；

90、根据所述第一重叠区域的面积，以及第j个变焦命令的调节幅度，确定所述第三终端设备是否存在硬件性能故障。

91、在本发明的一些实施例中，所述终端设备包括监控摄像头，所述第三测试消息包括使所述监控摄像头调整拍摄位姿的命令，所述执行结果包括根据所述监控摄像头在调整拍摄位姿的过程中拍摄的多个第二图像；所述故障诊断模块进一步用于：

92、通过预训练的图像处理模型，识别所述多个第二图像中检测到的目标对象；

93、去除所述目标对象所在的区域中的图像内容；

94、通过所述预训练的图像处理模型，在去除图像内容后的区域中生成背景内容，获得多个第二背景图像；

95、确定第k个第二背景图像与第k+1个第二背景图像中的第二重叠区域；

96、根据所述第二重叠区域在所述第k个第二背景图像中的面积占比，以及第k个调整拍摄位姿的命令的调节速度，确定所述第三终端设备是否存在硬件性能故障。

97、在本发明的一些实施例中，所述系统还包括训练模块，用于：

98、将包括目标对象的第一样本图像输入所述图像处理模型，确定所述目标对象所在的区域，并去除所述目标对象所在的区域内的图像内容，并在去除图像内容后的区域中生成背景内容，获得生成图像；

99、将所述生成图像或第二样本图像输入判别器中进行判别处理，获得判别结果，其中，所述第二样本图像为与所述第一样本图像场景相同且不包括目标对象的图像；

100、根据公式，确定所述图像处理模型和所述判别器的损失函数loss，其中，ig（x，y）为第二样本图像中位置为（x，y）的像素点的像素值，i（x，y）为生成图像中位置为（x，y）的像素点的像素值，m×n为第二样本图像和生成图像的尺寸，pg为向判别器输入第二样本图像的情况下，判别器判定输入的图像为真实图像的概率，ps为向判别器输入生成图像的情况下，判别器判定输入的图像为真实图像的概率，t为训练批次内输入的第二样本图像的总数，t为训练批次内的第t次输入第二样本图像，1≤t≤t，θ和μ为预设权重；

101、根据所述损失函数训练所述图像处理模型和所述判别器，获得训练后的图像处理模型和判别器。

102、本发明还提供一种基于深度学习的设备故障诊断设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

103、本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

104、根据本发明的实施例的基于深度学习的设备故障诊断方法，可通过第一测试消息筛选能够应答的第二终端设备，从而确定无法应答的第一终端设备，还可通过第二测试消息测试第二终端设备的应答性能，在可筛选出应答性能合格的第三终端设备后，还可进一步测试其硬件性能，从而确定第三终端设备的硬件性能是否出现故障，以及还能否继续使用。以在多个设备中筛选出已损坏、出现应答故障以及出现硬件性能故障的终端设备，可进行有针对性地替换或维修保养，减少逐一检测的工作量和检测成本，且相对于批量维修或更换设备，可减少维修或更换成本。