基于深度学习的检修识别方法、系统、设备和存储介质与流程

本技术涉及有轨列车领域，特别是涉及一种基于深度学习的检修识别方法、系统、设备和存储介质。

背景技术：

1、地铁交通是现在城市主要的公共交通之一，在缓解城市交通拥堵问题发挥了巨大的作用。地铁车辆频繁地运行难免导致各个部件的磨损，因此为了保证地铁的运行安全各个车辆段的检修工作尤其重要。在地铁开进检修车间后需要对接触网进行断电然后开始检修，检修完后又需要送电并将地铁开出检修车间。为了保证断送电作业过程员工的安全，车辆段有关部门制定了一套安全操作规范。然而实际操作过程中不严格按照操作规范进行断送电作业的情况时有发生，而传统的检测方式是事后人工检查监控视频，不仅耗时耗力，也难以实时检查分析多路视频。因此，现有技术中对于地铁的检修存在很多安全性的问题，需要进一步的技术创新。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于深度学习的检修识别方法、系统、设备和存储介质。

2、第一方面，本发明实施例提供了一种基于深度学习的检修识别方法，该方法包括：

3、根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；

4、通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；

5、根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；

6、文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。

7、进一步的，所述通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎，包括：

8、通过人体姿态识别算法对地铁检修断送电作业人员进行骨架识别，同时通过目标识别算法对检修过程中的验电器、接地棒、配电箱、劳保用品进行检测，得到检修目标的对应状态、位置；

9、分别对检修人员的佩戴安全帽情况、穿戴绝缘手套情况、穿戴绝缘靴情况、穿戴反光背心情况、手持电话情况进行目标识别；

10、分别对检修接地棒的悬挂状态和水平放置状态、验电器的悬挂状态和水平放置状态、配电柜的打开状态和关闭状态、隔离开关的闭合状态和断开状态进行目标识别；

11、使用人体姿态识别算法对人体姿态进行识别，并从输入的图片中检测到人体及对应的关键点位置，通过所述关键点位置判断当前是否属于断送电关键动作。

12、进一步的，所述根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块，包括：

13、通过目标检测算法和人体姿态预估算法识别后将识别结果存入内存数据库；

14、通过fastdb、memcached或者redis内存数据库储存识别结果；

15、规则引擎从内存数据库中读取识别结果，判断当前所处的状态，同时判断有无违章行为发生，如有违章会生成违章代码，文件输出模块根据违章状态码进行报警。

16、进一步的，所述文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器，包括：

17、视频处理终端占用一个ip地址，视频终端里面储存音频文件、根据来自视频分析服务器的报警信息向扬声器输出音频信号，控制扬声器实时报警，提醒现场工作人员；

18、音频文件储存在视频分析服务器，ip喇叭将占用一个ip地址、通过接受来自视频分析服务器的音频信号进行实时报警，提醒现场工作人员；

19、视频分析服务器通过音频线向监控室的扬声器输出报警信号，控制扬声器发出报警声，提醒监控室工作人员。

20、另一方面，本发明实施例还提供了一种基于深度学习的检修识别系统，包括：

21、检修采集模块，用于根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；

22、视频识别模块，用于通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；

23、检修判断模块，用于根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；

24、检修报警模块，用于对文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。

25、进一步的，所述视频识别模块包括算法识别单元，所述算法识别单元用于：

26、通过人体姿态识别算法对地铁检修断送电作业人员进行骨架识别，同时通过目标识别算法对检修过程中的验电器、接地棒、配电箱、劳保用品进行检测，得到检修目标的对应状态、位置；

27、分别对检修人员的佩戴安全帽情况、穿戴绝缘手套情况、穿戴绝缘靴情况、穿戴反光背心情况、手持电话情况进行目标识别；

28、分别对检修接地棒的悬挂状态和水平放置状态、验电器的悬挂状态和水平放置状态、配电柜的打开状态和关闭状态、隔离开关的闭合状态和断开状态进行目标识别；

29、使用人体姿态识别算法对人体姿态进行识别，并从输入的图片中检测到人体及对应的关键点位置，通过所述关键点位置判断当前是否属于断送电关键动作。

30、进一步的，所述检修判断模块包括数据处理单元，所述数据处理单元用于：

31、通过目标检测算法和人体姿态预估算法识别后将识别结果存入内存数据库；

32、通过fastdb、memcached或者redis内存数据库储存识别结果；

33、规则引擎从内存数据库中读取识别结果，判断当前所处的状态，同时判断有无违章行为发生，如有违章会生成违章代码，文件输出模块根据违章状态码进行报警。

34、进一步的，所述检修报警模块包括报警选择单元，所述报警选择单元用于：

35、视频处理终端占用一个ip地址，视频终端里面储存音频文件、根据来自视频分析服务器的报警信息向扬声器输出音频信号，控制扬声器实时报警，提醒现场工作人员；

36、音频文件储存在视频分析服务器，ip喇叭将占用一个ip地址、通过接受来自视频分析服务器的音频信号进行实时报警，提醒现场工作人员；

37、视频分析服务器通过音频线向监控室的扬声器输出报警信号，控制扬声器发出报警声，提醒监控室工作人员。

38、本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

39、根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；

40、通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；

41、根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；

42、文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。

43、本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

44、根据边缘端摄像头采集地铁的检修过程，获取地铁检修的实时视频数据流，对所述实时视频数据流进行图像增强处理，并在处理后传输给视频分析服务器；

45、通过所述视频分析服务器的深度学习目标检测模型判断检修的物体状态，并通过人体姿态预估模型判断检修人员的人体特征及行为，将所述物体状态、人体特征及行为传入规则引擎；

46、根据规则引擎的安全操作规程判断是否出现违章行为及安全隐患，将结果信号发送给文件输出模块；

47、文件输出模块根据违章结果判断是否发出报警信号，同时输出视频分析结果数据流，并将违章结果、日志信息保存至视数据库服务器。

48、上述基于深度学习的检修识别方法、系统、设备和存储介质，该方法基于地铁车辆检修断送电作业视频数据，采用人体骨架识别判断人体关键点，结合深度学习目标检测，然后根据断送电具体操作流程综合分析人体姿态、位置、目标状态，得出违规结果并控制喇叭输出报警声提醒工作人员并保存违章图片，从而规范作业人员行为，确保安全作业。该实施例基于地铁检修断送电操作安全规程建立规则引擎，使用多路视频联合识别，根据实际作业顺序以及项点按照不同时段建立不同的报警规则，对模型检测出来的结果进行综合判断得出违章结果。对地铁检修断送电作业起到了实时监督提醒的作用，有效减少了实际工作中因误操作带来的安全隐患，提高了工作的安全系数；并通过使用原有传输监控视频的内网传输分析结果流数据，不涉及外部网络环境，保证了信息的安全性；另一方面，通过使用深度学习的算法目标识别与人体姿态预估的结合应用于地铁检修断送电操作,为未来解决地铁检修断送电作业安全问题提供了行之有效的方案，为地铁检修的智能化发展做出了促进作用。