用于塔机的驾驶员行为识别的方法、处理器、装置及塔机与流程

1.本发明涉及工程机械控制技术领域，具体地涉及一种用于塔机的驾驶员行为识别的方法、处理器、装置及塔机。


背景技术：

2.塔式起重机，简称塔机，是建筑工地常用的一种起重设备，可以将重物准确地吊运到建筑楼层的任意部位。
3.目前，为了保障驾驶员安全作业，通常会在塔机的驾驶室安装监控，并将监控视频上传至后台，通过人工在后台查看监控视频的方式对驾驶员的行为进行识别和约束，并在驾驶员存在违规操作时给予提醒。当由于人工懈怠未及时查看监控视频或未及时提醒驾驶员调整违规操作时，容易导致事故的发生。因此，现有技术中对塔机的驾驶员的行为识别的方式安全性较差。


技术实现要素：

4.本发明的主要目的在于提供一种用于塔机的驾驶员行为识别的方法、处理器、装置及塔机，旨在解决现有技术中对塔机的驾驶员的行为识别的方式安全性较差的问题。
5.为了实现上述目的，本发明第一方面提供一种用于塔机的驾驶员行为识别的方法，包括以下步骤：
6.获取包含驾驶员的图像；
7.对图像进行行为识别，以得到驾驶员的行为数据；
8.获取塔机的运动控制指令；
9.根据行为数据及运动控制指令确定驾驶员的行为的安全性。
10.在本发明实施例中，根据行为数据及运动控制指令确定驾驶员的行为的安全性，包括：
11.根据运动控制指令确定塔机是否处于吊装作业状态；
12.在确定塔机处于吊装作业状态的情况下，根据行为数据确定驾驶员的行为的安全性。
13.在本发明实施例中，根据行为数据确定驾驶员的行为的安全性，包括：
14.确定行为数据是否为异常行为；
15.在行为数据为异常行为的情况下，确定驾驶员的行为不安全；
16.在行为数据为非异常行为的情况下，确定驾驶员的行为安全。
17.在本发明实施例中，确定行为数据是否为异常行为，包括：
18.确定行为数据中是否存在指定行为；
19.在行为数据中不存在指定行为的情况下，确定行为数据为异常行为；
20.其中，指定行为包括驾驶员在驾驶位上、驾驶员的手未离开操纵杆和在回转操作的情况下驾驶员在吊臂摆动前改变视角且改变后的视角与所述吊臂的摆动方向一致。
21.在本发明实施例中，用于塔机的驾驶员行为识别的方法还包括：
22.在驾驶员的行为不安全的情况下，输出异常提示。
23.在本发明实施例中，根据运动控制指令确定塔机是否处于吊装作业状态，包括：
24.确定运动控制指令中的值；
25.在运动控制指令中的值为1的情况下，确定塔机处于吊装作业状态。
26.在本发明实施例中，根据行为数据及运动控制指令确定驾驶员的行为的安全性，还包括：
27.在塔机处于非吊装作业状态的情况下，确定驾驶员的行为安全。
28.在本发明实施例中，运动控制指令包括塔机的起升速度控制指令、小车变幅速度控制指令、回转速度控制指令、行走速度控制指令和速度变化数据指令中的至少一者。
29.本发明第二方面提供一种处理器，被配置成执行上述的用于塔机的驾驶员行为识别的方法。
30.本发明第三方面提供一种用于塔机的驾驶员行为识别的装置，包括：
31.图像采集设备，安装于塔机的驾驶室内，用于采集包含驾驶员的图像数据；
32.塔机安全监控设备，用于输出塔机的运动控制指令；
33.上述的处理器。
34.本发明第四方面提供一种塔机，包括上述的用于塔机的驾驶员行为识别的装置。
35.通过上述技术方案，通过获取包含驾驶员的图像；对图像进行行为识别，以得到驾驶员的行为数据；获取塔机的运动控制指令；根据行为数据及运动控制指令确定驾驶员的行为的安全性。通过采集驾驶员的图像，并检测驾驶员的行为数据，再结合塔机的运动控制指令对驾驶员的行为进行联合检测，共同确定驾驶员的行为的安全性，如果驾驶员在吊装作业时行为不安全，可以及时提醒驾驶员，乃至直接控制塔机减速或停机，避免了安全事故的发生，提高了塔机作业的安全性。
36.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
37.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
38.图1为本发明用于塔机的驾驶员行为识别的方法一实施例的流程示意图；
39.图2为本发明用于塔机的驾驶员行为识别的方法另一实施例的流程示意图；
40.图3为图2中步骤s42的细化流程示意图；
41.图4为本发明用于塔机的驾驶员行为识别的装置一实施例的功能模块图。
具体实施方式
42.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
43.图1为本发明用于塔机的驾驶员行为识别的方法一实施例的流程示意图。参照图1，在本发明实施例中，用于塔机的驾驶员行为识别的方法可以包括以下步骤：
44.s10：获取包含驾驶员的图像。
45.应当理解的是，塔机的驾驶员通常在驾驶室内通过操纵杆等设备控制塔机作业。为了对驾驶员的行为进行识别，可以在塔机的驾驶室内安装图像采集设备，通过图像采集设备采集包含驾驶员的图像，再将采集的图像发送至处理器或服务器。
46.在一个示例中，当本发明实施例的执行主体是处理器、图像采集设备为摄像机时，摄像机可以通过usb接口连接至处理器，向处理器输出图像。
47.s20：对图像进行行为识别，以得到驾驶员的行为数据。
48.在具体实现中，处理器或服务器可以对图像中的驾驶员的操作姿势进行识别，如驾驶员是否坐在驾驶位上，驾驶员的手是否在操纵杆上。处理器也可以对驾驶员进行摆头检测，或对驾驶员的其他行为进行识别，本发明实施例对此不加以限制。
49.在对图像进行行为识别的过程中，可以先对图像进行边缘识别，对边缘识别结果提取多个特征，再通过行为识别模型判断各特征属于哪种行为，进而得到行为数据。
50.s30：获取塔机的运动控制指令。
51.应当理解的是，塔机的运动控制指令指控制塔机运动的指令，运动控制指令可以包括塔机的起升速度控制指令、小车变幅速度控制指令、回转速度控制指令、行走速度控制指令和速度变化数据指令中的一种或多种。
52.其中，速度变化数据指令指起升速度、变幅速度、回转速度、行走速度中任意一种速度的变化数据指令。
53.在一个示例中，在塔机上设置安全监控系统的情况下，安全监控系统可以通过can/rs232接口、蓝牙或以太网等多种方式与处理器建立连接，实现与处理器之间的信息的交互，包括运动控制指令的下发和结果回传。处理器可以从安全监控系统获取安全监控系统下发的运动控制指令。
54.s40：根据行为数据及运动控制指令确定驾驶员的行为的安全性。
55.在具体实现中，可以根据行为数据的异常判定结果与运动控制指令的运动判定结果进行与逻辑运算，根据最终的运算结果确定驾驶员的行为的安全性。也可以根据运动控制指令判断行为数据是否异常，根据异常判定结果确定驾驶员的行为的安全性。
56.本发明实施例通过获取包含驾驶员的图像；对图像进行行为识别，以得到驾驶员的行为数据；获取塔机的运动控制指令；根据行为数据及运动控制指令确定驾驶员的行为的安全性。由于采用驾驶员的图像，并检测驾驶员的行为数据，再结合塔机的运动控制指令对驾驶员的行为进行联合检测，共同确定驾驶员的行为的安全性，如果驾驶员在吊装作业时行为不安全，可以及时提醒驾驶员，乃至直接控制塔机减速或停机，避免了安全事故的发生，提高了塔机作业的安全性。
57.图2为本发明用于塔机的驾驶员行为识别的方法另一实施例的流程示意图。参照图2，本发明实施例中，根据行为数据及运动控制指令确定驾驶员的行为的安全性，可以包括以下步骤：
58.s41：根据运动控制指令确定塔机是否处于吊装作业状态。
59.应当理解的是，安全监控系统在输出塔机的运动控制指令时，通常会以0或1的形式表示塔机的运动状态，比如塔机的起升速度、小车变幅速度、回转速度、行走速度，以及速度变化数据均可以用0或1表示。若塔机的起升速度为1，则表示正在执行吊装动作，若塔机
起升速度为0，则表示未执行吊装动作，其它运动控制指令以此类推。上述运动控制指令中只要其中任何一条指令为1，则表示塔机正在执行吊装动作。因此可以确定运动控制指令中的值，在运动控制指令中的值为1的情况下，确定塔机处于吊装作业状态。
60.s42：在确定塔机处于吊装作业状态的情况下，根据行为数据确定驾驶员的行为的安全性。
61.需要说明的是，驾驶员的行为的安全性可以分为行为安全和行为不安全两种情况。在驾驶员的行为不安全的情况下，处理器或服务器可以输出异常提示，该异常提示可以以蜂鸣、警报或指示灯的形式提醒驾驶员调整行为，也可以以回传结果的形式发送至安全监控系统，安全监控系统根据回传结果控制塔机减速或停止。
62.s43：在塔机处于非吊装作业状态的情况下，确定驾驶员的行为安全。
63.由于塔机处于非作业状态的情况下，驾驶员的动作并不会影响塔机的作业安全，此时无论检测出的驾驶员的行为数据是否异常，均可以确定驾驶员的行为是安全的。
64.本发明实施例根据塔机的具体运行状态提供不同的行为识别策略，仅在塔机处于吊装作业状态时，根据行为数据确定驾驶员的行为的安全性，而在塔机处于非吊装作业状态时，默认驾驶员的行为是安全的，提高了识别效率及合理性。
65.图3为图2中步骤s42的细化流程示意图。参照图3，本发明实施例中，根据行为数据确定驾驶员的行为的安全性可以包括以下步骤：
66.s421：确定行为数据是否为异常行为。
67.具体地，可以确定行为数据中是否存在指定行为；在行为数据中不存在指定行为的情况下，确定行为数据为异常行为；其中，指定行为包括驾驶员在驾驶位上、驾驶员的手未离开操纵杆和回转操作的情况下驾驶员在吊臂摆动前改变视角且改变后的视角与吊臂的摆动方向一致。上述指定行为中，只要其中一个指定行为不存在，则可以确定行为数据是异常行为。例如，在塔机的回转操作中，塔机的吊臂向左摆之前，驾驶员需要提前往左边看，吊臂向右摆之前，驾驶员需要提前往右边看。如果行为数据中在回转操作的情况下，驾驶员并没有在吊臂向左摆之前提前往左看，则可以确定驾驶员的行为数据为异常行为。
68.s422：在行为数据为异常行为的情况下，确定驾驶员的行为不安全。
69.应当理解的是，当塔机处于吊装作业状态的情况下，如果驾驶员的行为数据是异常行为，则可以确定该行为不安全。此时，处理器或服务器可以输出异常提示，该异常提示可以以蜂鸣、警报或指示灯的形式提醒驾驶员调整行为，也可以以回传结果的形式发送至安全监控系统，安全监控系统根据回传结果控制塔机减速或停止。
70.s423：在行为数据为非异常行为的情况下，确定驾驶员的行为安全。
71.应当理解的是，在行为数据中存在指定行为的情况下，可以直接确定该行为数据是非异常行为，也可以根据具体情况进一步确定行为数据是否为非异常行为。当塔机处于吊装作业状态的情况下，如果驾驶员的行为数据是非异常行为，则可以确定该行为安全。
72.本发明实施例通过结合塔机的吊装作业状态和驾驶员的行为数据是否异常进行联合检测，提高了检测的准确性，既减少了安全事故的发生，又为用户隐性带来了不可估量的价值，避免安全事故带来的经济纠纷和刑事纠纷，也有利于用户工作的正常开展。
73.本发明实施例还提供一种处理器，被配置成执行上述实施例中的用于塔机的驾驶员行为识别的方法。
74.图4为本发明用于塔机的驾驶员行为识别的装置一实施例的功能模块图。参照图4，本发明实施例中，用于塔机的驾驶员行为识别的装置可以包括：图像采集设备10，安装于塔机的驾驶室内，用于采集包含驾驶员的图像数据；塔机安全监控设备20，用于输出塔机的运动控制指令；以及上述实施例中的处理器30。
75.应当理解的是，塔机的驾驶员通常在驾驶室内通过操纵杆等设备控制塔机作业。为了对驾驶员的行为进行识别，可以在塔机的驾驶室内安装图像采集设备10，通过图像采集设备10采集包含驾驶员的图像，再将采集的图像发送至处理器30。
76.在一个示例中，当图像采集设备10为摄像机时，摄像机可以通过usb接口连接至处理器30，向处理器30输出图像，由处理器30对图像进行行为识别，得到驾驶员的行为数据。
77.应当理解的是，塔机的运动控制指令指控制塔机运动的指令，运动控制指令可以包括塔机的起升速度控制指令、小车变幅速度控制指令、回转速度控制指令、行走速度控制指令和速度变化数据指令中的一种或多种。
78.其中，速度变化数据指令指起升速度、变幅速度、回转速度、行走速度中任意一种速度的变化数据指令。
79.在一个示例中，塔机安全监控设备20可以通过can/rs232接口、蓝牙或以太网等多种方式与处理器30建立连接，实现与处理器30之间的信息的交互，包括运动控制指令的下发和结果回传。处理器30可以从塔机安全监控设备20获取运动控制指令，并根据行为数据及运动控制指令确定驾驶员的行为的安全性。在驾驶员的行为不安全的情况下，处理器30将处理结果返回至塔机安全监控设备20，塔机安全监控设备20对塔机下发减速或停机指令，以避免安全事故发生。
80.在具体实现中，处理器30可以根据运动控制指令确定塔机是否处于吊装作业状态，在确定塔机处于吊装作业状态的情况下，根据行为数据确定驾驶员的行为的安全性，在塔机处于非吊装作业状态的情况下，确定驾驶员的行为安全。
81.应当理解的是，塔机安全监控设备20在输出塔机的运动控制指令时，通常会以0或1的形式表示塔机的运动状态，比如塔机的起升速度、小车变幅速度、回转速度、行走速度，以及速度变化数据均可以用0或1表示。若塔机的起升速度为1，则表示正在执行吊装动作，若塔机起升速度为0，则表示未执行吊装动作，其它运动控制指令以此类推。上述运动控制指令中只要其中任何一条指令为1，则表示塔机正在执行吊装动作。因此，可以确定运动控制指令中的值，在运动控制指令中的值为1的情况下，确定塔机处于吊装作业状态。
82.由于塔机处于非作业状态的情况下，驾驶员的动作并不会影响塔机的作业安全，此时无论检测出的驾驶员的行为数据是否异常，均可以确定驾驶员的行为是安全的。
83.具体地，在确定塔机处于吊装作业状态的情况下，可以确定行为数据是否为异常行为，在行为数据为异常行为的情况下，确定驾驶员的行为不安全，在行为数据为非异常行为的情况下，确定驾驶员的行为安全。
84.通过确定行为数据中是否存在指定行为；在行为数据中不存在指定行为的情况下，可以确定行为数据为异常行为；其中，指定行为包括驾驶员在驾驶位上、驾驶员的手未离开操纵杆和回转操作的情况下驾驶员在吊臂摆动前改变视角且改变后的视角与吊臂的摆动方向一致。上述指定行为中，只要其中一个指定行为不存在，则可以确定行为数据是异常行为。例如，在塔机的回转操作中，塔机的吊臂向左摆之前，驾驶员需要提前往左边看，吊
臂向右摆之前，驾驶员需要提前往右边看。如果行为数据中在回转操作的情况下，驾驶员并没有在吊臂向左摆之前提前往左看，则可以确定驾驶员的行为数据为异常行为。
85.在行为数据中存在指定行为的情况下，可以直接确定该行为数据是非异常行为，也可以根据具体情况进一步确定行为数据是否为非异常行为。当塔机处于吊装作业状态的情况下，如果驾驶员的行为数据是非异常行为，则可以确定该行为安全。
86.本发明实施例通过在用于塔机的驾驶员行为识别的装置中设置图像采集设备、塔机安全监控设备和处理器，通过处理器从图像采集设备获取包含驾驶员的图像；对图像进行行为识别，以得到驾驶员的行为数据；从塔机安全监控设备获取塔机的运动控制指令；根据行为数据及运动控制指令确定驾驶员的行为的安全性。通过采集驾驶员的图像，并检测驾驶员的行为数据，再结合塔机的运动控制指令对驾驶员的行为进行联合检测，共同确定驾驶员的行为的安全性，如果驾驶员在吊装作业时行为不安全，可以及时提醒驾驶员，乃至直接控制塔机减速或停机，避免了安全事故的发生，提高了塔机作业的安全性。
87.本发明实施例提供了一种塔机，包括上述实施例中的用于塔机的驾驶员行为识别的装置。
88.本发明实施例提供了一种计算机设备，包括根据上述实施方式中的用于塔机的驾驶员行为识别的装置。本文中的设备可以是arm处理器、单片机、电脑、手机、服务器等。
89.本发明实施例提供了一种机器可读存储介质，该机器可读存储介质上存储指令，该指令在被控制器执行时使得控制器执行根据上述实施方式中的用于塔机的驾驶员行为识别的方法。
90.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述实施方式中的用于塔机的驾驶员行为识别的方法的程序。
91.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
92.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
93.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
94.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
95.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
96.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
97.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
98.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
99.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。