控制工程机械的方法、装置、系统及计算机可读存储介质与流程

本公开涉及工程机械技术领域，特别涉及一种控制工程机械的方法、装置、系统及计算机可读存储介质。

背景技术：

随着经济的不断发展，基础建设也越趋增多。工程机械在基础建设中扮演着重要的角色，以起重机为例，其强大的吊装能力、快速的转场效率极大的提高了基础建设的便利性。

工程机械的施工环境通常较为复杂，施工过程通常需要包括指挥人员和操控人员在内的多个工作人员进行配合。以传统的起重机吊装过程为例，被吊物挂接完毕后，指挥人员需通过手势、对讲机等辅助手段提示操控人员操控起重机执行相应的动作。

技术实现要素：

发明人研究发现，在工程机械的作业过程中，指挥人员与操控人员的配合程度极大的影响了工程机械作业的效率和安全性。如果指挥人员与操控人员配合的不够默契，操控人员就不能准确、高效的操控起重机执行相应的动作。若指挥人员因注意力不集中等原因造成指挥错误，或者指挥人员与操控人员之间的通信不畅，不仅会使工程器械的作业效率降低，还可能使工程机械作业的过程中带来安全隐患。

本公开解决的一个技术问题是，如何提高工程机械作业的效率和安全性。

根据本公开实施例的一个方面，提供了一种控制工程机械的方法，包括：接收用于控制工程机械的语音信息；将语音信息解析为控制指令；将控制指令发送至工程机械的控制设备，以便控制设备根据控制指令对工程机械进行控制。

在一些实施例中，将语音信息解析为控制指令包括：在预先配置的控制音频库中，确定与语音信息的音频相匹配的控制音频；确定控制音频所对应的控制指令。

在一些实施例中，还包括：配置控制音频库，控制音频库中存储各个控制音频与各个控制指令之间的映射关系。

在一些实施例中，控制音频及语音信息是按照相同的语音发布规则生成的。

在一些实施例中，还包括：向用户反馈控制指令对应的文字或声音，以便用户对控制指令进行确认；接收用户对控制指令的确认操作，以便在用户确认控制指令后，将控制指令发送至工程机械的控制设备。

在一些实施例中，还包括：在用户否认控制指令的概率大于预设值的情况下，提示用户对控制音频库进行更新。

在一些实施例中，还包括：对语音信息进行滤波操作，以过滤语音信息中的噪声；将语音信息解析为控制指令包括：将滤波后的语音信息解析为控制指令。

根据本公开实施例的另一个方面，提供了一种控制工程机械的装置，包括：语音接收单元，被配置为接收用于控制工程机械的语音信息；语音解析单元，被配置为将语音信息解析为控制指令；指令发送单元，被配置为将控制指令发送至工程机械的控制设备，以便控制设备根据控制指令对工程机械进行控制。

在一些实施例中，语音解析单元被配置为：在预先配置的控制音频库中，确定与语音信息的音频相匹配的控制音频；确定控制音频所对应的控制指令。

在一些实施例中，还包括控制音频库，控制音频库中存储各个控制音频与各个控制指令之间的映射关系。

在一些实施例中，控制音频及语音信息是按照相同的语音发布规则生成的。

在一些实施例中，还包括：指令反馈单元，被配置为向用户反馈控制指令对应的文字信息或音频信息，以便用户对控制指令进行确认；操作接收单元，被配置为接收用户对控制指令的确认操作，以便在用户确认控制指令后，将控制指令发送至工程机械的控制设备。

在一些实施例中，还包括更新提示单元，被配置为在用户否认控制指令的概率大于预设值的情况下，提示用户对控制音频库进行更新。

在一些实施例中，还包括滤波器，被配置为对语音信息进行滤波操作，以过滤语音信息中的噪声；语音解析单元被配置为：将滤波后的语音信息解析为控制指令。

根据本公开实施例的又一个方面，提供了一种控制工程机械的系统，包括前述的装置；以及，配置有控制设备的工程机械，其中，控制设备用于根据前述的装置发送的控制指令对工程机械进行控制。

根据本公开实施例的另一个方面，提供了另一种控制工程机械的装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的控制工程机械的方法。

根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的控制工程机械的方法。

本公开能够将语音信息解析为控制指令后发送至工程机械的控制设备，减小了通信数据量、提高了信息传输的稳定性，从而提高了工程机械作业的安全性。同时，操控人员能够实现对工程机械的语音控制，从而更加精准的操作工程机械，进而提高了工程机械作业的效率和安全性。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开一些实施例的控制工程机械的方法的流程示意图。

图2示出了本公开另一些实施例的控制工程机械的方法的流程示意图。

图3示出了在控制工程机械的应用中配置控制音频库的界面示意图。

图4示出了本公开一些实施例的控制工程机械的装置的结构示意图。

图5示出了本公开一些实施例的控制工程机械的系统的结构示意图。

图6示出了本公开另一些实施例的控制工程机械的装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

首先结合图1描述本公开控制工程机械的方法的一些实施例。

图1示出了本公开一些实施例的控制工程机械的方法的流程示意图。如图1所示，本实施例包括步骤S102～步骤S106。

在步骤S102中，接收用于控制工程机械的语音信息。

接收语音信息的载体为具有语音输入功能的终端，具体可以为智能手表、智能眼镜等可穿戴设备。例如，可穿戴设备与工程机械的控制设备建立网络连接后，操控人员可以利用可穿戴设备进入控制工程机械的应用，开启可穿戴设备的语音识别功能。操控人员还可以通过可穿戴设备的按键快速开启可穿戴设备的语音识别功能。操控人员利用该终端的语音输入功能，可以更加便捷、高效的向该终端发送用于控制工程机械的语音信息。

在步骤S104中，将语音信息解析为控制指令。

将语音信息解析为控制指令的方式多种多样。例如，该终端可以对语音信息进行语音识别，将语音信息转换为文字信息；然后对文字信息进行语义识别，将文字信息解析为控制指令。再比如，该终端可以将语音信息解析为按照固定格式编码的语音流，然后与语音流数据库中预先存储的语音流进行匹配和比对，从而解析得到相应的控制指令。

在步骤S106中，将控制指令发送至工程机械的控制设备，以便控制设备根据控制指令对工程机械进行控制。

在发送控制指令时，可以通过Wifi模块、蓝牙模块等可编程的支持无线数据传输协议的通信模块实现无线数据传输。通过预设的传输协议，在发送控制指令的同时发送校验码(例如CRC校验码、奇偶校验码)，能够保证控制指令的稳定传输。

工程机械的控制设备例如可以为起重机的主控系统。工程机械的控制设备将全量的控制指令按照固定的格式存储在数据库中，当接收到控制指令后，能够以该控制指令作为激励信号，按照预先规划的通信协议进行控制指令解析，最终控制工程机械的相应元件执行相应动作。例如，预先规划的通信协议中传输的信息包括：包头+控制指令+校验码+包尾，控制设备可以通过包头和包尾解析出控制指令和校验码，通过校验码实现对控制指的校验，然后解析控制指令以控制工程机械执行动作。

本实施例具有显著的技术效果，下面从多个方面进行说明。

第一，操控人员对工程机械进行语音控制，能够使工程机械自动作业。因此，在工程机械的作业过程中可以省去指挥人员，从而省去操控人员与指挥人员之间的配合过程，避免了由于指挥人员的失误、操控人员与指挥人员配合不当带来的负面影响。

第二，操控人员可以解放双手，摆脱复杂的操控系统，甚至可以在近距离观察工程机械的操作对象，同时对工程机械进行语音控制。操控人员可以将注意力集中于工程机械的操作对象(例如起重机的被吊物)、工程机械的作业环境(例如起重机的吊装环境)以及工程机械的运行轨迹(例如起重机动作运行轨迹)。因此，本实施例不仅增加了对工程机械进行操控的多样性和便捷性，还能够使操控人员更加精准的操作工程机械，进而提高了工程机械作业的效率和安全性。

第三，可穿戴设备不是将语音信息直接转发至工程机械的控制设备，而是将语音信息解析为控制指令后发送至工程机械的控制设备，因此减小了通信数据量、提高了信息传输的稳定性，从而提高了工程机械作业的安全性。

下面结合图2描述本公开控制工程机械的方法的另一些实施例。

图2示出了本公开另一些实施例的控制工程机械的方法的流程示意图。如图2所示，本实施例包括步骤S200～步骤S208。

在步骤S200中，配置控制音频库，控制音频库中存储各个控制音频与各个控制指令之间的映射关系。

例如，可穿戴设备运行安卓系统，并安装了控制工程机械的应用。图3示出了在控制工程机械的应用中配置控制音频库的界面示意图。如图3所示，配置控制音频库的界面规划了起重机控制音频库的配置接口，用户可以针对每个控制指令输入相应的控制音频，从而实现控制音频库的配置。可穿戴设备将每个控制指令与相应的控制音频进行存储，用于后续的音频匹配工作。

在步骤S202中，接收用于控制工程机械的语音信息。

在步骤S204中，在预先配置的控制音频库中，确定与语音信息的音频相匹配的控制音频。

在进行音频匹配时，可以将语音信息的音频波形与控制音频库中各个控制音频的波形相比对。比对时，需要考量的参数包括功率谱密度、功率谱均值、功率谱方差、平稳程度等多种波形分布特征，在此不进行一一列举。

本领域技术人员应理解，控制音频及语音信息是按照相同的语音发布规则生成的。例如，控制指令具体可以包括“左回转”、“变幅起”、“卷扬落”、“吊臂缩”、“停止”等动作指令，可以包括“加速”、“减速”、“全速”等速度指令，还可以包括“左回转x°”、“变幅起x°”等包含动作范围的控制命令。那么，控制音频及语音信息都是按照控制指令中的文字发布生成的，以便于准确确定与语音信息的音频相匹配的控制音频。

在步骤S206中，确定控制音频所对应的控制指令。

例如，利用预先配置的各个控制音频与各个控制指令之间的映射关系，可穿戴设备能够确定控制音频所对应的控制指令。

在步骤S208中，将控制指令发送至工程机械的控制设备，以便控制设备根据控制指令对工程机械进行控制。

例如，工程机械的控制设备接收到控制指令“左回转”，工程机械的控制设备可以控制工程机械向左回转；然后，工程机械的控制设备每次接收到控制指令“加速”就将控制动作的电流值增大50mA以实现加速功能；工程机械的控制设备接收到控制指令“停止”，工程机械的控制设备可以控制工程机械动作停止。再比如，工程机械的控制设备接收到控制指令“左回转15°”，则可以控制工程机械左回转15°后自动停止。

本实施例中，首先在预先配置的控制音频库中确定与语音信息的音频相匹配的控制音频，然后确定控制音频所对应的控制指令，从而实现了将语音信息准确的解析为控制指令，进一步提高了工程机械作业的效率和安全性。

在一些实施例中，还包括步骤S207A及步骤S207B。

在步骤S207A中，向用户反馈控制指令对应的文字或声音，以便用户对控制指令进行确认。

例如，将语音信息解析为控制指令后，可穿戴设备可以将控制指令对应的文字显示在显示屏上，或者将控制指令对应的声音通过喇叭进行播放，以便操控人员进行确认。

在步骤S207B中，接收用户对控制指令的确认操作，以便在用户确认控制指令后，将控制指令发送至工程机械的控制设备。

在接收到用户对控制指令的确认操作后，将控制指令发送至工程机械的控制设备，能够进一步提高解析控制指令的准确性，从而进一步提高工程机械作业的效率和安全性，降低控制指令解析错误带来的负面影响。

在一些实施例中，还包括步骤S210及步骤S212。

在步骤S210中，判断用户否认控制指令的概率是否大于预设值。

在用户否认控制指令的概率大于预设值的情况下，执行步骤S212；在用户否认控制指令的概率不大于预设值的情况下，返回步骤S210。

在步骤S212中，提示用户对控制音频库进行更新。

例如，用户否认控制指令的概率较大时，说明控制音频库中的控制音频需要进行重新配置，以提高音频匹配成功的概率。本领域技术人员应理解，除了用户可以对控制音频库进行更新之外，可穿戴设备安装的应用还可以对控制音频库进行自动更新。例如，即便成功将语音信息匹配为控制指令，但语音信息的音频与控制音频库中的控制音频之间存在偏差，且多次偏差情况相近，可穿戴设备可以通过自学习算法对控制音频库中的控制音频进行修正，以提高音频匹配的成功率。

在一些实施例中，还包括步骤S203。

在步骤S203中，对语音信息进行滤波操作，以过滤语音信息中的噪声。相应的，在步骤S204中，可穿戴设备将滤波后的语音信息解析为控制指令。

由于工程机械的作业环境通常较为嘈杂，在接收到语音信息后对噪声进行滤波，将滤波后的语音信息解析为控制指令，能够进一步提高解析控制指令的准确性，从而进一步提高工程机械作业的效率和安全性。

在一些实施例中，还包括步骤S214。

在步骤S214中，向用户反馈控制指令的完成信息。

控制设备自动控制工程机械完成控制指令后，通过诸如可穿戴设备的终端向操控人员反馈动作完成信息，能够提示操作人员语音控制完成。本领域技术人员应理解，该完成信息具体可以为文字的形式，也可以为音频的形式。

下面结合图4描述本公开控制工程机械的装置的一些实施例。

图4示出了本公开一些实施例的控制工程机械的装置的结构示意图。如图4所示，本实施例中的控制工程机械的装置40包括：

语音接收单元402，被配置为接收用于控制工程机械的语音信息；

语音解析单元404，被配置为将语音信息解析为控制指令；

指令发送单元406，被配置为将控制指令发送至工程机械的控制设备，以便控制设备根据控制指令对工程机械进行控制。

在一些实施例中，语音解析单元402被配置为：在预先配置的控制音频库中，确定与语音信息的音频相匹配的控制音频；确定控制音频所对应的控制指令。

在一些实施例中，还包括控制音频库400，控制音频库中存储各个控制音频与各个控制指令之间的映射关系。

在一些实施例中，控制音频及语音信息是按照相同的语音发布规则生成的。

在一些实施例中，还包括指令反馈单元408，被配置为向用户反馈控制指令对应的文字信息或音频信息，以便用户对控制指令进行确认；操作接收单元410，被配置为接收用户对控制指令的确认操作，以便在用户确认控制指令后，将控制指令发送至工程机械的控制设备。

在一些实施例中，还包括更新提示单元412，被配置为在用户否认控制指令的概率大于预设值的情况下，提示用户对控制音频库进行更新。

在一些实施例中，还包括滤波器403，被配置为对语音信息进行滤波操作，以过滤语音信息中的噪声；语音解析单元404被配置为：将滤波后的语音信息解析为控制指令。

下面结合图5描述本公开控制工程机械的系统的一些实施例。

图5示出了本公开一些实施例的控制工程机械的系统的结构示意图。如图5所示，本实施例中的控制工程机械的系统50包括：控制工程机械的装置40；以及，配置有控制设备5022的工程机械502。其中，控制设备用于根据装置发送的控制指令对工程机械进行控制。

下面结合图6描述本公开控制工程机械的装置的另一些实施例。

图6示出了本公开另一些实施例的控制工程机械的装置的结构示意图。如图6所示，该实施例的控制工程机械的装置60包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一些实施例中的控制工程机械的方法。

其中，存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

控制工程机械的装置60还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。

本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的控制工程机械的方法。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。