用于高空作业机械的控制方法、装置及存储介质与流程

本申请涉及机械控制，具体地涉及一种用于高空作业机械的控制方法、装置、存储介质及高空作业机械。

背景技术：

1、目前，操作员在控制高空作业机械运动的过程中，需要主动地攀爬并站在工作栏内，并通过持续按压手柄控制器来控制高空作业机械的底盘前后、底盘转向以及剪叉臂的升降运动。当操作员在某些高空作业，例如，喷涂作业的场景中，往往需要双手把持作业工具，由此，在移动高空作业机械到目的地时，需要先放下手中的作业工具来操控手柄控制器，从而操控高空作业机械运行，所需时间较长，高空作业的作业效率降低。此时，可采用语音控制的非接触式方式对高空作业机械进行控制，但若高空作业机械所处的作业环境嘈杂，此时仍然采用语音控制的方式控制高空作业机械运行，语音控制的准确性较低，导致高空作业的作业效率降低。

技术实现思路

1、本申请实施例的目的是提供一种用于高空作业机械的控制方法、装置、存储介质及高空作业机械，用以解决现有技术中高空作业机械的控制模式不合理的问题。

2、为了实现上述目的，本申请第一方面提供一种用于高空作业机械的控制方法，包括：

3、获取高空作业机械所处作业区域的环境特征信息，环境特征信息至少包括声音特征数据、光照特征数据以及振动特征数据；

4、根据环境特征信息以及与环境特征信息对应的权重系数确定作业区域的环境复杂度；

5、根据环境复杂度和声音特征数据确定作业区域的语音可信度；

6、根据语音可信度确定高空作业机械的控制模式，控制模式包括语音控制模式和/或手势控制模式；

7、基于控制模式控制高空作业机械执行对应的操作。

8、在本申请实施例中，根据环境特征信息以及与环境特征信息对应的权重系数确定作业区域的环境复杂度包括：获取作业区域在每个作业环境下的历史环境特征信息，历史环境特征信息包括历史声音数据、历史光照数据以及历史振动数据；获取作业区域在每个作业环境下的语音识别准确率，并根据语音识别准确率确定作业区域在每个作业环境下的历史环境复杂度；将每个作业环境下的历史环境特征信息和历史环境复杂度作为一个训练样本输入至环境评价模型，以训练环境评价模型；将训练完成的环境评价模型为历史环境特征信息中每种历史特征数据所分配的最终权重系数确定为与环境特征信息对应的权重系数；根据环境特征信息以及与环境特征信息对应的权重系数确定作业区域的环境复杂度。

9、在本申请实施例中，根据环境复杂度和声音特征数据确定作业区域的语音可信度包括：构建与环境复杂度和声音特征数据对应的待处理特征数据；对待处理特征数据进行变换处理，以得到变换处理后的特征数据；基于信息熵确定声音特征数据在变换处理后的特征数据中的出现概率；将出现概率进行转化，以得到作业区域的语音可信度。

10、在本申请实施例中，根据语音可信度确定高空作业机械的控制模式包括：在语音可信度处于第一预设范围的情况下，确定控制模式为语音控制模式；在语音可信度处于第二预设范围的情况下，确定控制模式为手势控制模式；其中，第一预设范围的下限值大于第二预设范围的上限值。

11、在本申请实施例中，手势识别模型包括多个编码器层和多个解码器层，每个编码器层包括第一视觉空间注意力层和连接在第一视觉空间注意力层后的时域卷积网络层，每个解码器层包括第二视觉空间注意力层，基于控制模式控制高空作业机械执行对应的操作包括：在控制模式为手势控制模式的情况下，获取作业人员在预设时长内的手势视频数据；对手势视频数据进行帧提取，以得到多张包含有手势动作的手势帧图像；将全部手势帧图像输入至手势识别模型，以使手势识别模型输出全部手势帧图像中每种手势动作的分布概率；基于最大分布概率的手势动作生成对应的手势控制指令，并控制高空作业机械执行与手势控制指令对应的操作。

12、在本申请实施例中，基于控制模式控制高空作业机械执行对应的操作包括：在控制模式为手势控制模式的情况下，获取作业人员在预设时长内的手势视频数据；对手势视频数据进行帧提取，以得到多张包含有手势动作的手势帧图像；确定每张手势帧图像中手势动作的手势类别；在检测到连续n个手势帧图像中手势动作的手势类别均相同的情况下，匹配与手势类别对应的手势控制指令；控制高空作业机械执行与手势控制指令对应的操作。

13、在本申请实施例中，确定每张手势帧图像中手势动作的手势类别包括：针对每张手势帧图像，将手势帧图像输入至手掌检测模型，以使手掌检测模型输出手势帧图像中手势动作所在的手掌边界框；针对每张手势帧图像，将手势帧图像的手掌边界框输入至手部关键点检测模型，以使手部关键点检测模型输出手势帧图像中手势动作的手势姿态信息；针对每张手势帧图像，根据手势帧图像中手势动作的手势姿态信息确定手势帧图像中手势的手势类别。

14、在本申请实施例中，基于控制模式控制高空作业机械执行对应的操作包括：在控制模式为语音控制模式的情况下，获取作业人员在高空作业的工作栏内发出的语音操控指令；对语音操控指令进行识别，以得到与语音操控指令对应的语音文本信息；提取语音文本信息中的关键词，并根据关键词匹配对应的语音控制指令；控制高空作业机械执行与语音控制指令对应的操作。

15、在本申请实施例中，控制方法还包括：在控制高空作业机械执行与语音控制指令或手势控制指令对应的操作的过程中，获取高空作业机械的实时运行参数；确定实时运行参数与目标运行参数之间的参数误差，其中，目标运行参数根据语音控制指令或手势控制指令确定；在参数误差处于预设范围内的情况下，确定高空作业机械执行完与语音控制指令或手势控制指令对应的操作，并控制高空作业机械停止运行。

16、本申请第二方面提供一种用于高空作业机械的控制装置，包括：

17、存储器，被配置成存储指令；以及

18、处理器，被配置成从存储器调用指令以及在执行指令时能够实现上述的用于高空作业机械的控制方法。

19、本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于高空作业机械的控制方法。

20、本申请第四方面提供一种高空作业机械，包括上述的用于高空作业机械的控制装置。

21、通过上述技术方案，获取高空作业机械所处作业区域的环境特征信息，根据环境特征信息以及与环境特征信息对应的权重系数确定作业区域的环境复杂度，根据环境复杂度和声音特征数据确定作业区域的语音可信度，根据语音可信度确定高空作业机械的控制模式，基于控制模式控制高空作业机械执行对应的操作，能够基于环境复杂度调整高空作业机械的控制模式，使得高空作业机械在复杂作业环境下的控制模式更为合理和准确，提升高空作业的作业效率。

22、本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种用于高空作业机械的控制方法，其特征在于，所述控制方法包括：

2.根据权利要求1所述的用于高空作业机械的控制方法，其特征在于，所述根据所述环境特征信息以及与所述环境特征信息对应的权重系数确定所述作业区域的环境复杂度包括：

3.根据权利要求1所述的用于高空作业机械的控制方法，其特征在于，所述根据所述环境复杂度和所述声音特征数据确定所述作业区域的语音可信度包括：

4.根据权利要求1所述的用于高空作业机械的控制方法，其特征在于，所述根据所述语音可信度确定所述高空作业机械的控制模式包括：

5.根据权利要求1所述的用于高空作业机械的控制方法，其特征在于，手势识别模型包括多个编码器层和多个解码器层，每个编码器层包括第一视觉空间注意力层和连接在所述第一视觉空间注意力层后的时域卷积网络层，每个解码器层包括第二视觉空间注意力层，所述基于所述控制模式控制所述高空作业机械执行对应的操作包括：

6.根据权利要求1所述的用于高空作业机械的控制方法，其特征在于，所述基于所述控制模式控制所述高空作业机械执行对应的操作包括：

7.根据权利要求6所述的用于高空作业机械的控制方法，其特征在于，所述确定每张手势帧图像中手势动作的手势类别包括：

8.根据权利要求1所述的用于高空作业机械的控制方法，其特征在于，所述基于所述控制模式控制所述高空作业机械执行对应的操作包括：

9.根据权利要求5至8中任一项所述的用于高空作业机械的控制方法，其特征在于，所述控制方法还包括：

10.一种用于高空作业机械的控制装置，其特征在于，所述控制装置包括：

11.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至9中任一项所述的用于高空作业机械的控制方法。

12.一种高空作业机械，其特征在于，包括根据权利要求10所述的用于高空作业机械的控制装置。

技术总结
本申请实施例提供一种用于高空作业机械的控制方法、装置及存储介质。方法包括：获取高空作业机械所处作业区域的环境特征信息，环境特征信息至少包括声音特征数据、光照特征数据以及振动特征数据；根据环境特征信息以及与环境特征信息对应的权重系数确定作业区域的环境复杂度；根据环境复杂度和声音特征数据确定作业区域的语音可信度；根据语音可信度确定高空作业机械的控制模式，控制模式包括语音控制模式和/或手势控制模式；基于控制模式控制高空作业机械执行对应的操作，使得高空作业机械在复杂作业环境下的控制模式更为合理和准确，提升高空作业的作业效率。

技术研发人员：侯力玮,刘润华,喻逊,马昌训
受保护的技术使用者：湖南中联重科智能高空作业机械有限公司
技术研发日：
技术公布日：2024/3/27