操作行为规范的确定方法、装置、电子设备和存储介质与流程

本技术涉及计算机视觉，尤其涉及一种操作行为规范的确定方法、装置、电子设备和存储介质。

背景技术：

1、港口是国民经济和社会发展的重要基础设施，是对外开放的门户，具有十分重要的意义。龙门吊、岸桥、门机、起重机是港口重要的机械设备，这些设备在进行岸桥还箱作业或者岸桥提箱作业时，可能出现集装箱从空中突然坠落的情况发生，因此，如何预防集装箱坠落，显得十分重要。

技术实现思路

1、本技术提供了一种操作行为规范的确定方法、装置、电子设备和存储介质，可以检测操作人员的作业行为是否规范，降低集装箱坠落事件发生的概率。

2、为达到上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种操作行为规范的确定方法，包括：

4、获取作业场景的视频流，并对视频流进行解码，得到多个图像帧，作业场景包括吊具提箱作业和/或吊具还箱作业；

5、基于多个图像帧，确定吊具在作业过程中的目标停顿次数以及目标停顿时长；

6、基于目标停顿次数以及目标停顿时长，确定操作人员的操作行为是否规范，操作人员为控制吊具进行作业的作业人员。

7、本技术实施例中，通过确定吊具在作业过程中的目标停顿次数以及目标停顿时长的方式，确定操作人员的操作行为是否规范，可以提升行为规范确定的准确度，有效的降低了集装箱发生坠落的情况，从根源上预防集装箱坠落事件，提升了吊具作业的安全性。

8、在一种可能的实施方式中，所述基于多个图像帧，确定吊具在作业过程中的目标停顿次数以及目标停顿时长，包括：

9、针对每个图像帧，基于第一目标神经网络，对图像帧进行目标检测，得到图像帧的检测结果，检测结果用于指示吊具和/或集卡的位置信息；

10、基于多个图像帧中的第一组图像帧的检测结果，确定吊具是否进入作业状态，第一组图像帧包括第一目标图像帧以及第一目标图像帧之前的所有图像帧；

11、在吊具进入作业状态的情况下，基于多个图像帧中的第二组图像帧的检测结果，确定当前作业是否结束，第二组图像帧包括第二目标图像帧以及第二目标图像帧之前的所有图像帧，第二目标图像帧为第一目标图像帧之后的图像帧；

12、在确定当前作业结束的情况下，基于多个图像帧的检测结果，确定目标停顿次数以及目标停顿时长。

13、本技术实施例中，将多个图像帧输入至第一目标神经网络进行目标检测，得到多个图像帧的检测结果，并根据第一组图像帧的检测结果，确定吊具是否进入作业状态，在确定吊具进入作业状态后，根据第二组图像帧的检测结果，确定当前作业是否结束，若当前作业结束，则根据多个图像帧的检测结果，确定目标停顿次数以及目标停顿时长，如此，可以提升目标停顿次数以及目标停顿时长确定的准确度，进一步提升行为规范确定的准确度，有效的降低了集装箱坠落发生的概率。

14、在一种可能的实施方式中，所述基于多个图像帧中的第一组图像帧的检测结果，确定吊具是否进入作业状态，包括：

15、在第一组图像帧中均包括集卡以及吊具，且集卡的位置信息未发生变化，以及第一目标图像帧的检测结果指示吊具位于集卡的正上方的情况下，确定吊具进入作业状态。

16、本技术实施例中，通过确定第一组图像帧中是否包括集卡和吊具、集卡的位置信息是否发生变化以及吊具是否位于集卡的正上方的方式，确定吊具是否进入作业状态，如此，可以精准的确定吊具是否进入作业状态，为后续的检测工作提供了基础。

17、在一种可能的实施方式中，所述基于多个图像帧中的第二组图像帧的检测结果，确定当前作业是否结束，包括：

18、基于第二组图像帧的检测结果，确定吊具的运动状态以及集卡的运动状态；

19、基于吊具的运动状态以及集卡的运动状态，确定吊具是否处于起升状态；

20、在吊具处于起升状态的情况下，基于第二组图像帧中的第三组图像帧的检测结果，确定当前作业是否结束，第三组图像帧为第二组图像帧中位于最后x个图像帧，x为预设值。

21、本技术实施例中，根据第二组图像帧的检测结果，确定吊具以及集卡的运动状态，然后根据吊具以及集卡的运动状态，确定吊具是否处于起升状态，若吊具处于起升状态，则根据第二组图像帧中第三组图像帧的检测结果，确定当前作业是否结束，如此，可以精准的确定当前作业是否结束，进而提升目标停顿次数以及目标停顿时长确定的准确度。

22、在一种可能的实施方式中，所述基于第二组图像帧的检测结果，确定吊具的运动状态以及集卡的运动状态，包括：

23、基于第二组图像帧的检测结果指示的集卡的位置信息，确定集卡的运动状态，集卡的运动状态包括左右运动或者静止状态；

24、基于第二目标神经网络以及第二目标图像帧的检测结果指示吊具的位置信息，确定吊具的运动状态，吊具的运动状态包括静止状态、向上运动、向下运动或者左右运动。

25、本技术实施例中，根据集卡的位置信息确定集卡的运动状态，并根据第二目标神经网络以及吊具的位置信息，确定吊具的运动状态，如此，可以精准的确定吊具以及集卡的运动状态，减少吊具起升状态确定错误的情况发生，为后续确定当前作业是否结束提供了基础。

26、在一种可能的实施方式中，所述基于第二目标神经网络以及第二目标图像帧的检测结果指示的吊具的位置信息，确定吊具的运动状态，包括：

27、基于第二目标图像帧的检测结果指示的吊具的位置信息，确定吊具的最大作业区域；

28、基于第二目标神经网络，对吊具的最大作业区域进行特征提取，得到第二目标图像帧中吊具的特征点；

29、获取第二组图像帧中除第二目标图像帧之外的所有图像帧中吊具的特征点；

30、基于第二组图像帧中吊具的特征点，确定所有特征点在最大作业区域内的目标线段；

31、基于目标线段，确定吊具的运动状态。

32、本技术实施例中，根据第二目标神经网络，对吊具的最大作业区域进行特征提取，得到第二目标图像帧中吊具的特征点，并获取第二目标图像帧之前的所有图像帧中吊具的特征点，然后根据第二组图像帧中吊具的特征点，确定所有特征点在最大作业区域内的目标线段，最后根据该目标线段确定吊具的运动状态，如此，可以提升运动状态确定的准确度，减少吊具起升状态确定错误的情况发生，为后续确定当前作业是否结束提供了基础。

33、在一种可能的实施方式中，所述基于吊具的运动状态以及集卡的运动状态，确定吊具是否处于起升状态，包括：

34、在集卡的运动状态为静止状态，且吊具的运动状态为向上运动的情况下，确定吊具处于起升状态。

35、本技术实施例中，在确定集卡的运动状态为静止状态，且吊具的运动状态为向上运动后，才确定吊具处于起升状态，如此，可以精准的确定吊具是否处于起升状态，进而提升当前作业是否结束确定的准确度。

36、在一种可能的实施方式中，所述基于第二组图像帧中的第三组图像帧的检测结果，确定当前作业是否结束，包括：

37、在第二目标图像帧的检测结果指示第二目标图像帧中未包括集卡，或者，第三组图像帧的检测结果指示第三组图像帧中均未包括吊具的情况下，确定当前作业结束。

38、本技术实施例中，通过确定第二目标图像帧中是否包括集卡，以及第三组图像帧中是否都包括吊具的方式，确定当前作业是否结束，如此，可以精准的确定当前作业是否结束，进而使得目标停顿次数以及目标停顿时长更加精准，降低了集装箱坠落的情况发生。

39、在一种可能的实施方式中，所述方法还包括：

40、在当前作业未结束的情况下，基于第二组图像帧中吊具的运动状态，确定吊具的第一停顿次数以及吊具的第一停顿时长；

41、从多个图像帧中确定第三目标图像帧，第三目标图像帧为第二目标图像帧的下一图像帧；

42、将第二组图像帧以及第三目标图像帧重新确定为新的第二组图像帧，并基于新的第二组图像帧，确定当前作业是否结束。

43、本技术实施例中，若当前作业未结束，则需要根据第二组图像帧中吊具的运动状态，确定吊具的第一停顿次数以及第一停顿时长，并重新根据第三目标图像帧以及第二组图像帧，确定当前作业是否结束，如此，可以保证在当前作业结束时所得到的第一停顿次数以及第一停顿时长是准确的，提升了行为规范确定的准确度，进而降低了集装箱坠落的情况发生，提升了吊具作业的安全性。

44、在一种可能的实施方式中，所述基于第二组图像帧中吊具的运动状态，确定吊具的停顿次数以及吊具的停顿时长，包括：

45、在第二组图像帧中吊具的运动状态为由向上运动转变为静止状态的情况下，将吊具的第一停顿次数增加1；

46、在第二组图像帧中吊具的运动状态保持静止状态的情况下，将吊具的第一停顿时长增加目标时长，目标时长由视频流的帧率确定。

47、本技术实施例中，若吊具的运动状态为由向上运动转变为静止状态，则吊具的第一停顿次数增加1；若吊具的运动状态保持静止状态，则将吊具的第一停顿时长增加目标时长，如此，可以提升第一停顿时长以及第一停顿时长确定的准确度，为后续确定目标停顿时长以及目标停顿时长提供了基础。

48、在一种可能的实施方式中，目标停顿次数为当前作业结束时所对应的第一停顿次数，目标停顿时长为当前作业结束时所对应的第一停顿时长。

49、这样，可以使得在当前作业结束时所生成的目标停顿时长以及目标停顿时长是根据第一停顿时长以及第一停顿时长确定的，提升了目标停顿时长以及目标停顿时长确定的准确度，进而提升了行为规范确定的准确度。

50、在一种可能的实施方式中，所述基于目标停顿次数以及目标停顿时长，确定操作人员的操作行为是否规范，包括：

51、在吊具的目标停顿次数大于或者等于预设次数，且吊具的目标停顿时长超过预设时长的情况下，确定操作人员的操作行为规范；或者，

52、在吊具的目标停顿次数小于预设次数，或者，吊具的目标停顿时长未超过预设时长的情况下，确定操作人员的操作行为不规范。

53、本技术实施例中，通过确定吊具的目标停顿次数是否小于预设次数，以及吊具的目标停顿时长是否超过预设时长的方式，确定操作人员的操作行为是否规范，如此，可以提升行为规范确定的准确度，进而降低了集装箱坠落的情况发生，提升了吊具作业的安全性。

54、在一种可能的实施方式中，所述方法还包括：

55、在确定操作人员的操作行为不规范的情况下，输出提示信息，提示信息用于对操作人员进行提醒；和/或，

56、在确定操作人员的操作行为不规范的情况下，对操作人员进行人脸识别，得到操作人员的身份信息，并上报操作人员的身份信息。

57、本技术实施例中，若操作人员的操作行为不规范，则可以输出提示信息，如此，可以让目标人员清楚的了解自己的操作行为是否规范，方便目标人员及时调整自己的操作行为；若操作人员的操作行为不规范，则可以对操作人员进行人脸识别，得到操作人员的身份信息，并对操作人员的身份信息进行上报，如此，可以对操作行为不规范的人员进行记录，对操作人员进行监督，减少操作人员作业不规范的情况。

58、第二方面，本公开实施例还提供一种操作行为规范的确定装置，包括：

59、视频获取模块，用于获取作业场景的视频流，并对视频流进行解码，得到多个图像帧，作业场景包括吊具提箱作业和/或吊具还箱作业；

60、第一确定模块，用于基于多个图像帧，确定吊具在作业过程中的目标停顿次数以及目标停顿时长；

61、第二确定模块，用于基于目标停顿次数以及目标停顿时长，确定操作人员的操作行为是否规范，操作人员为控制吊具进行作业的作业人员。

62、在一种可能的实施方式中，所述第一确定模块具体用于：

63、针对每个图像帧，基于第一目标神经网络，对图像帧进行目标检测，得到图像帧的检测结果，检测结果用于指示吊具和/或集卡的位置信息；

64、基于多个图像帧中的第一组图像帧的检测结果，确定吊具是否进入作业状态，第一组图像帧包括第一目标图像帧以及第一目标图像帧之前的所有图像帧；

65、在吊具进入作业状态的情况下，基于多个图像帧中的第二组图像帧的检测结果，确定当前作业是否结束，第二组图像帧包括第二目标图像帧以及第二目标图像帧之前的所有图像帧，第二目标图像帧为第一目标图像帧之后的图像帧；

66、在确定当前作业结束的情况下，基于多个图像帧的检测结果，确定目标停顿次数以及目标停顿时长。

67、在一种可能的实施方式中，所述第一确定模块具体用于：

68、在第一组图像帧中均包括集卡以及吊具，且集卡的位置信息未发生变化，以及第一目标图像帧的检测结果指示吊具位于集卡的正上方的情况下，确定吊具进入作业状态。

69、在一种可能的实施方式中，所述第一确定模块具体用于：

70、基于第二组图像帧的检测结果，确定吊具的运动状态以及集卡的运动状态；

71、基于吊具的运动状态以及集卡的运动状态，确定吊具是否处于起升状态；

72、在吊具处于起升状态的情况下，基于第二组图像帧中的第三组图像帧的检测结果，确定当前作业是否结束，第三组图像帧为第二组图像帧中位于最后x个图像帧，x为预设值。

73、在一种可能的实施方式中，所述第一确定模块具体用于：

74、基于第二组图像帧的检测结果指示的集卡的位置信息，确定集卡的运动状态，集卡的运动状态包括左右运动或者静止状态；

75、基于第二目标神经网络以及第二目标图像帧的检测结果指示吊具的位置信息，确定吊具的运动状态，吊具的运动状态包括静止状态、向上运动、向下运动或者左右运动。

76、在一种可能的实施方式中，所述第一确定模块具体用于：

77、基于第二目标图像帧的检测结果指示的吊具的位置信息，确定吊具的最大作业区域；

78、基于第二目标神经网络，对吊具的最大作业区域进行特征提取，得到第二目标图像帧中吊具的特征点；

79、获取第二组图像帧中除第二目标图像帧之外的所有图像帧中吊具的特征点；

80、基于第二组图像帧中吊具的特征点，确定所有特征点在最大作业区域内的目标线段；

81、基于目标线段，确定吊具的运动状态。

82、在一种可能的实施方式中，所述第一确定模块具体用于：

83、在集卡的运动状态为静止状态，且吊具的运动状态为向上运动的情况下，确定吊具处于起升状态。

84、在一种可能的实施方式中，所述第一确定模块具体用于：

85、在第二目标图像帧的检测结果指示第二目标图像帧中未包括集卡，或者，第三组图像帧的检测结果指示第三组图像帧中均未包括吊具的情况下，确定当前作业结束。

86、在一种可能的实施方式中，所述第一确定模块具体用于：

87、在当前作业未结束的情况下，基于第二组图像帧中吊具的运动状态，确定吊具的第一停顿次数以及吊具的第一停顿时长；

88、从多个图像帧中确定第三目标图像帧，第三目标图像帧为第二目标图像帧的下一图像帧；

89、将第二组图像帧以及第三目标图像帧重新确定为新的第二组图像帧，并基于新的第二组图像帧，确定当前作业是否结束。

90、在一种可能的实施方式中，所述第一确定模块具体用于：

91、在第二组图像帧中吊具的运动状态为由向上运动转变为静止状态的情况下，将吊具的第一停顿次数增加1；

92、在第二组图像帧中吊具的运动状态保持静止状态的情况下，将吊具的第一停顿时长增加目标时长，目标时长由视频流的帧率确定。

93、在一种可能的实施方式中，目标停顿次数为当前作业结束时所对应的第一停顿次数，目标停顿时长为当前作业结束时所对应的第一停顿时长。

94、在一种可能的实施方式中，所述第二确定模块具体用于：

95、在吊具的目标停顿次数大于或者等于预设次数，且吊具的目标停顿时长超过预设时长的情况下，确定操作人员的操作行为规范；或者，

96、在吊具的目标停顿次数小于预设次数，或者，吊具的目标停顿时长未超过预设时长的情况下，确定操作人员的操作行为不规范。

97、在一种可能的实施方式中，所述装置还包括：

98、信息输出模块，用于在确定操作人员的操作行为不规范的情况下，输出提示信息，提示信息用于对操作人员进行提醒；和/或，

99、在确定操作人员的操作行为不规范的情况下，对操作人员进行人脸识别，得到操作人员的身份信息，并上报操作人员的身份信息。

100、第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的实施方式中所述的操作行为规范的确定方法。

101、第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一种可能的实施方式中所述的操作行为规范的确定方法。

102、本技术中第二方面到第四方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第四方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。

103、本技术的这些方面或其他方面在以下的描述中会更加简明易懂。