起重机事故监测方法及其在事故回溯中的应用与流程

本发明涉及起重机安全监测，尤其涉及起重机事故监测方法及其在事故回溯中的应用。

背景技术：

1、起重机作为重物转运的重要设备，其被广泛应用在港口码头、货物仓库、车间等场地，由于起重机本身体积较大，且工作处理的对象重量高，因此，其在工作过程中，往往需要对其工作状态进行密切监测，以避免因为设备故障、操作不当等因素而导致起重机发生事故，随着起重机的广泛应用，如何提高其工作安全管理和事故预警监测，以及事故回溯已经成为了时下热门的课题，而起重机作为重型设备，其投入服役的时间较长，因此，设计者在进行设计时，往往会具有较多的性能余量，在起重机使用过程中，若是发生一些异常，其早期往往会以姿态异常或异响的形式进行体现，而起重机的工作场地中大多具有用于监测记录其工作过程的影像采集设备，因此，如何能够将影像采集设备所生成的影像数据进行高效利用，在起重机发生姿态异常或其他表观性异常时，对其进行及时预警和记录，以供后台管理人员对现场情况进行干预，回溯，那么将会对起重机的工作安全监管提供积极的现实意义。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种实施可靠、应用灵活且结果参考性佳的起重机事故监测方法及其在事故回溯中的应用。

2、为了实现上述的技术目的，本发明所采用的技术方案为：

3、一种起重机事故监测方法，其包括：

4、s01、响应起重机的工作启动信号，对起重机的工作参数进行实时监测，生成工作参数监测数据，同时，按预设要求对起重机及其所在工作场地的预设范围进行影像监测，生成影像监测数据；

5、s02、实时获取影像监测数据，按预设时间间隔从影像监测数据中提取图像帧；

6、s03、根据图像帧对起重机在工作启动后的姿态进行反演，确定起重机的姿态信息；

7、s04、从工作参数监测数据中提取与姿态信息对应时间点的工作参数数据，然后将其与姿态信息导入到经训练的检测神经网络中进行检测，然后输出检测结果，以获取起重机是否处于异常运行状态或事故状态。

8、作为一种可能的实施方式，进一步，本方案s01中，影像监测的范围覆盖起重机主体和其起吊的物品，以及起重机主体预设范围的工作场地区域；

9、所述工作参数监测数据包括与起重机对应的起重组件移动速度、移动角速度、移动加速度、起吊载荷情况和起重组件移动方向中的一项以上。

10、作为一种较优的实施选择，优选的，本方案s02包括：

11、s021、实时获取影像监测数据，按预设时间间隔从影像监测数据中提取图像帧；

12、s022、根据图像帧在影像监测数据中的对应时间，对所提取的图像帧进行时间标注，然后按时间顺序对其进行排列，生成图像帧序列。

13、作为一种较优的实施选择，优选的，本方案s03包括：

14、s031、对图像帧序列中的图像帧进行预设特征点定位，获得特征点信息；

15、s032、根据图像帧对应的特征点信息，确定起重机在对应时间点的姿态信息；

16、s033、根据特征点信息结合光流法对图像帧序列中的特征点进行跟踪，以获得特征点在起重机工作时的轨迹变化情况，从而进一步确定起重机在工作过程中处于不同时间点下的姿态变化情况。

17、作为一种较优的实施选择，优选的，本方案s01中，至少通过两台以上影像采集设备对起重机进行影像监测，且影像监测时，其分别生成影像监测数据，同时，还实时记录影像采集设备的采集方向角和俯仰角，以及影像采集设备在工作场地中的位置信息；

18、s031中，通过卷积神经网络或特征检测算法对图像帧序列中的图像帧进行预设特征点定位，获得特征点信息；

19、其中，所述特征检测算法包括sift特征检测算法或surf特征检测算法；

20、另外，所述起重机及其起吊的物品表面至少布设有多个荧光材料制成的特征标识，所述起重机的起重组件上至少布设有两个以上特征标识。

21、作为一种较优的实施选择，优选的，本方案s031中，所述特征点信息还包括该特征点在起重机所在工作场地内的三维坐标信息；其确定方法包括：

22、a01、从图像帧序列中提取两张图像帧，该两张图像帧为处于同一时间点，由两台影像采集设备分别以不同角度对起重机进行影像监测生成的影像监测数据经提取获得的图像帧；

23、a02、然后根据特征点在图像帧中位置，建立其与图像帧中心的连接线，且对应获得将特征点移动到图像帧中心的位移向量f；

24、a03、根据图像帧对应的时间点，获取影像采集设备在对应时间的采集方向角和俯仰角，以及位置信息，再结合位移向量，获得特征点移动到图像帧中心时，影像采集设备对应的采集方向角和俯仰角，将其设为修正姿态数据；

25、a04、建立与起重机工作场地对应的虚拟三维坐标系，并根据两张图像帧对应的影像采集设备的位置信息，将其虚拟构建于虚拟三维坐标系中，再结合其分别对应的修正姿态数据，建立以影像采集设备为起始点的射线，两条射线交于一点，该交点即为特征点在虚拟三维坐标系中的位置；

26、a05、重复a01～a04，完成起重机上所有被至少两台影像采集设备采集到的特征点的位置确定。

27、作为一种较优的实施选择，优选的，本方案s033中，根据特征点信息结合光流法对图像帧序列中的特征点进行跟踪包括：

28、根据特征点信息，假设特征点i在时间t时，其位于图像帧内的位置为(x，y)，则将其位置信息表示为i(x，y，t)；

29、然后假设该特征点i的位置跟随时间变化而发生移动变化，将其表示为：

30、i(x，y，t)＝i(x+δx，y+δy，t+δt)

31、其中，δx、δy分别表示特征点i在影像监测数据的不同图像帧里的x、y方向上位移的距离，δt是图像帧之间的时间变化值；

32、使用泰勒展开和忽略高阶段，可以得到：

33、

34、对其进行简化后，得到：

35、

36、其中，其分别表示影像监测数据中，特征点在i在x、y方向上的速度分量；

37、通过特征点在i在x、y方向上的速度分量vx、vy，进一步构建特征点i在单一影像监测数据中从时间t0到t1之间的轨迹模型，将特征点i的位置表示为(x(t)，y(t))，则公式如下：

38、

39、。

40、基于上述，本发明还提供一种起重机事故回溯方法，其包括上述所述的起重机事故监测方法。

41、其中，所述起重机在每次启动时至停机后，均生成用于记录其工作过程的工作记录，所述工作记录包括工作参数监测数据；

42、另外，所述回溯仿真方法包括：

43、b01、实时获取s04生成的检测结果，

44、当检测结果指向异常运行状态时，获取其对应的时间点，将其设为第一时间点，并将其记录于工作记录中进行保存；

45、当检测结果指向事故状态时，获取其对应的时间点，将其设为第二时间点，，并将其记录于工作记录中进行保存；

46、b02、响应起重机的停机信号，对工作记录进行调取和解析，

47、当工作记录中具有第一时间点和第二时间点时，调取第一时间点之前至第二时间点之后预设时长的影像监测数据，将其设为事故回溯影像，且在事故回溯影像中标记第一时间点、第二时间点的时间节点位置；

48、当工作记录中仅具有第一时间点时，调取第一时间点前后预设时长的影像监测数据，将其设为异常回溯影像，且在异常回溯影像中标记第一时间点的时间节点位置；

49、当工作记录中仅具有第二时间点时，调取第二时间点前后预设时长的影像监测数据，将其设为事故回溯影像，且在事故回溯影像中标记第二时间点的时间节点位置。

50、基于上述，本发明还提供一种起重机事故监测系统，其包括：

51、工作监测单元，用于响应起重机的工作启动信号，对起重机的工作参数进行实时监测，生成工作参数监测数据；

52、影像采集设备，为一个以上，其用于按预设要求对起重机及其所在工作场地的预设范围进行影像监测，生成影像监测数据；

53、影像处理单元，用于实时获取影像监测数据，按预设时间间隔从影像监测数据中提取图像帧；

54、数据处理单元，用于根据图像帧对起重机在工作启动后的姿态进行反演，确定起重机的姿态信息；

55、数据判断单元，用于加载经训练的检测神经网络，以用于对起重机的工作状态进行异常判断；

56、数据调度单元，用于从工作参数监测数据中提取与姿态信息对应时间点的工作参数数据，然后将其与姿态信息导入到经训练的检测神经网络中进行检测，然后输出检测结果，以获取起重机是否处于异常运行状态或事故状态。

57、基于上述，本发明还提供一种计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现如上述所述的起重机事故监测方法或上述所述的起重机事故回溯仿真方法。

58、采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本方案巧妙性通过对起重机进行影像监测，从影像监测数据中提取图像帧，以获取图像帧序列，然后通过对图像帧序列中的图像帧进行特征点定位，以获取起重机上特征点在其工作场地中粗略位置，从而进一步粗略判断出起重机在图像帧对应时间点的姿态信息，而采用两个以上影像采集设备进行影像采集时，可以在图像帧序列中获得处于同一时间点的两张以上图像帧，根据图像帧中的特征点共有关系，可以更高精度地确定共有特征点在起重机工作场地中的位置信息，以此提高起重机姿态的可靠确定，从而为起重机是否发生异常运行或发生事故进行可靠判断，为管理人员进行异常干预，事故回溯提供便利参考。