挖掘机语音控制方法与流程

文档序号:15938143发布日期:2018-11-14 02:43阅读:693来源:国知局

本发明涉及工程机械领域,尤其涉及一种挖掘机语音控制方法。

背景技术

工作装置是液压挖掘机的主要组成部分,目前sy系列挖掘机配置的是反铲工作装置,它主要用于挖掘停机面以下的土壤,但也可以挖掘最大切削高度以下的土壤,除了可以挖坑、开沟、装载外还可以进行简单平整场地工作。挖掘作业适应于开挖ⅰ~ⅳ级土,ⅴ级以上用液压锤或需爆破手段。

反铲工作装置由动臂、斗杆、铲斗、摇杆、连杆及包含动臂油缸、斗杆油缸、铲斗油缸在内的工作装置液压管路等主要部分组成。



技术实现要素:

为了解决挖掘机现场噪声过大无法准确实现语音识别操作的技术问题,本发明提供了一种挖掘机语音控制方法,能够克服挖掘机现场的巨大噪声,在进行语音命令控制挖掘机操作之前,基于噪声的具体情况进行定向分类消音处理,并在操作人员合法且消音处理启动的情况下,方进入语音识别模式,从而保证了语音识别的准确性。

根据本发明的一方面,提供了一种挖掘机语音控制方法,所述方法包括使用挖掘机语音控制系统以在进行语音命令控制挖掘机操作之前,基于挖掘机现场噪声的具体情况进行定向分类消音处理,所述挖掘机语音控制系统包括:

声音检测设备,设置在挖掘机的控制室内,用于对所述控制室内的声音进行实时检测,以获得附近音频信号,并对所述附近音频信号进行成分分析,以获得幅值排名前三的三种主要噪声类型,并输出各种主要噪声类型以及分别对应的噪声幅值;

消音处理设备,与所述声音检测设备连接,设置在所述声音检测设备的一侧,用于接收所述各种主要噪声类型以及分别对应的噪声幅值,并基于每一种主要噪声类型发出对应的消音音频成分,基于每一种主要噪声类型对应的噪声幅值确定对应的消音音频成分的幅值;

点阵摄像机,设置在挖掘机的控制室内,位于驾驶座前方,用于对驾驶座进行现场成像操作,以获得实时驾驶座图像,并输出所述实时驾驶座图像;

其中,所述消音处理设备在三种主要噪声类型分别对应的三种消音音频成分开始同时被发送之时,发出消音启动信号,否则,发出消音未启动信号;

自适应处理设备,与所述点阵摄像机连接,用于接收所述实时驾驶座图像,对所述实时驾驶座图像执行锐化度,以获得对应的锐化度等级,基于锐化度等级选择对所述实时驾驶座图像执行点像复原处理的策略,以获得自适应处理图像,并输出所述自适应处理图像,所述基于锐化度等级选择对所述实时驾驶座图像执行点像复原处理的策略,以获得自适应处理图像包括:当所述锐化度等级低于等于预设等级阈值时,对所述实时驾驶座图像的像素点的红色颜色通道值、绿色颜色通道值和蓝色颜色通道值同时执行点像复原操作,以获得自适应处理图像,在所述自适应处理设备中,基于锐化度等级选择对所述实时驾驶座图像执行点像复原处理的策略,以获得自适应处理图像还包括:当所述锐化度等级大于预设等级阈值时,对所述实时驾驶座图像的像素点的红色颜色通道值执行点像复原操作,同时对所述实时驾驶座图像的绿色颜色通道值和蓝色颜色通道值都不执行点像复原操作,以获得自适应处理图像;

复杂度测量设备,与所述自适应处理设备连接,用于接收所述自适应处理图像,用于对所述自适应处理图像的复杂度进行测量,以获得相应的复杂度因子,并输出所述复杂度因子;在所述复杂度测量设备中,对所述自适应处理图像的复杂度进行测量包括:采用z字型对所述自适应处理图像进行偏历以获得z字型经过的各个遍历像素点,确定所述各个遍历像素点的均方差,将所述均方差作为相应的复杂度因子。

由此可见,本发明具备以下几处发明点:

(1)为了克服挖掘机现场的巨大噪声,在进行语音命令控制挖掘机操作之前,基于噪声的具体情况进行定向分类消音处理,并在操作人员合法且消音处理启动的情况下,方进入语音识别模式,从而保证了语音识别的准确性;

(2)基于图像锐化度等级选择基于红色颜色通道值、绿色颜色通道值和蓝色颜色通道值的颜色空间的不同的点像复原处理的策略,以避免出现不需要的大数额的运算量;

(3)采用定制模式获取图像的复杂程度,以基于复杂程度确定进行目标识别的后续帧数,从而在目标识别的精度和运算量之间达到一定的平衡。

附图说明

以下将结合附图对本发明的实施方案进行描述,其中:

图1为根据本发明实施方案示出的挖掘机语音控制系统所应用的挖掘机的结构示意图。

具体实施方式

下面将参照附图对本发明的实施方案进行详细说明。

在挖掘机现场,由于环境噪声复杂,语音控制方式很难实施,为了克服上述不足,本发明搭建了一种挖掘机语音控制方法,所述方法包括使用挖掘机语音控制系统以在进行语音命令控制挖掘机操作之前,基于挖掘机现场噪声的具体情况进行定向分类消音处理,所述挖掘机语音控制系统使得在挖掘机施工现场的语音控制方式成为可能。

图1为根据本发明实施方案示出的挖掘机语音控制系统所应用的挖掘机的结构示意图。

根据本发明实施方案示出的挖掘机语音控制系统包括:

声音检测设备,设置在挖掘机的控制室内,用于对所述控制室内的声音进行实时检测,以获得附近音频信号,并对所述附近音频信号进行成分分析,以获得幅值排名前三的三种主要噪声类型,并输出各种主要噪声类型以及分别对应的噪声幅值;

消音处理设备,与所述声音检测设备连接,设置在所述声音检测设备的一侧,用于接收所述各种主要噪声类型以及分别对应的噪声幅值,并基于每一种主要噪声类型发出对应的消音音频成分,基于每一种主要噪声类型对应的噪声幅值确定对应的消音音频成分的幅值。

接着,继续对本发明的挖掘机语音控制系统的具体结构进行进一步的说明。

所述系统语音控制系统中还可以包括:

点阵摄像机,设置在挖掘机的控制室内,位于驾驶座前方,用于对驾驶座进行现场成像操作,以获得实时驾驶座图像,并输出所述实时驾驶座图像;

其中,所述消音处理设备在三种主要噪声类型分别对应的三种消音音频成分开始同时被发送之时,发出消音启动信号,否则,发出消音未启动信号。

所述系统语音控制系统中还可以包括:

自适应处理设备,与所述点阵摄像机连接,用于接收所述实时驾驶座图像,对所述实时驾驶座图像执行锐化度,以获得对应的锐化度等级,基于锐化度等级选择对所述实时驾驶座图像执行点像复原处理的策略,以获得自适应处理图像,并输出所述自适应处理图像,所述基于锐化度等级选择对所述实时驾驶座图像执行点像复原处理的策略,以获得自适应处理图像包括:当所述锐化度等级低于等于预设等级阈值时,对所述实时驾驶座图像的像素点的红色颜色通道值、绿色颜色通道值和蓝色颜色通道值同时执行点像复原操作,以获得自适应处理图像,在所述自适应处理设备中,基于锐化度等级选择对所述实时驾驶座图像执行点像复原处理的策略,以获得自适应处理图像还包括:当所述锐化度等级大于预设等级阈值时,对所述实时驾驶座图像的像素点的红色颜色通道值执行点像复原操作,同时对所述实时驾驶座图像的绿色颜色通道值和蓝色颜色通道值都不执行点像复原操作,以获得自适应处理图像;

复杂度测量设备,与所述自适应处理设备连接,用于接收所述自适应处理图像,用于对所述自适应处理图像的复杂度进行测量,以获得相应的复杂度因子,并输出所述复杂度因子;在所述复杂度测量设备中,对所述自适应处理图像的复杂度进行测量包括:采用z字型对所述自适应处理图像进行偏历以获得z字型经过的各个遍历像素点,确定所述各个遍历像素点的均方差,将所述均方差作为相应的复杂度因子;

帧数选择设备,与所述复杂度测量设备连接,用于接收所述复杂度因子,并基于所述复杂度因子选择进行目标识别需要的后续帧数,基于确定后续帧数对所述自适应处理图像的后续图像帧进行抓取,以获得与所述后续帧数对应的各个图像帧;

目标识别设备,与所述帧数选择设备连接,用于接收所述各个图像帧,并基于所述各个图像帧对人体目标进行识别,以获得并输出与识别到的人体目标的体形特征;

特征分析设备,与所述目标识别设备连接,用于将识别到的人体目标的体形特征与预存的各位授权用户基站体形特征进行逐一匹配,以确定识别到的人体目标对应的人员是否为授权用户,以相应地发出授权用户信号或非授权用户信号;

信号控制设备,分别与所述消音处理设备和所述特征分析设备连接,用于在接收到所述消音启动信号且接收到所述授权用户信号时,控制所述控制室的操作台进入语音识别模式;

其中,所述控制室的操作台在所述语音识别模式下,分析接收到的语音控制指令,基于分析的结果实现对挖掘机的各项实时操作;

其中,在所述帧数选择设备中,基于所述复杂度因子选择进行目标识别需要的后续帧数包括:所述复杂度因子越大,选择的进行目标识别需要的后续帧数越多。

在所述系统语音控制系统中:

所述控制室的操作台在所述人工操作模式下,基于所述驾驶室内人员对所述控制室的操作台的各项手工操作,实现对挖掘机的各项实时操作。

在所述系统语音控制系统中:

在所述信号控制设备中,当接收到所述消音启动信号且接收到所述非授权用户信号时,控制所述控制室的操作台进入人工操作模式。

在所述系统语音控制系统中:

在所述信号控制设备中,当接收到所述消音未启动信号且接收到所述非授权用户信号时,控制所述控制室的操作台进入人工操作模式。

在所述系统语音控制系统中:

在所述信号控制设备中,当接收到所述消音未启动信号且接收到所述授权用户信号时,控制所述控制室的操作台进入人工操作模式。

另外,所述系统语音控制系统还可以包括led照明设备,为挖掘现场提供所需的照明。所述led照明设备采用低压直流供电、由gan基功率型蓝光led与黄色合成的高效白光,具有高效、安全、节能、环保、寿命长、响应速度快、显色指数高等独特优点,可广泛应用于各种场景下的照明。外罩可用制作,耐高温达135度,耐低温达-45度。其中,所述led照明设备采用二次光学设计,将led的光照射到所需照明的区域,进一步提高了光照效率,以达到节能目的。

采用本发明的挖掘机语音控制系统,针对现有技术中挖掘机现场无法实施语音控制的技术问题,在进行语音命令控制挖掘机操作之前,基于噪声的具体情况进行定向分类消音处理,并在操作人员合法且消音处理启动的情况下,方进入语音识别模式,从而保证了语音识别的准确性,更重要的是,在对操作人员合法性识别过程中,基于图像锐化度等级选择基于红色颜色通道值、绿色颜色通道值和蓝色颜色通道值的颜色空间的不同的点像复原处理的策略,以避免出现不需要的大数额的运算量,以及采用定制模式获取图像的复杂程度,以基于复杂程度确定进行目标识别的后续帧数。

可以理解的是,虽然本发明已以较佳实施例披露如上,然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言,在不脱离本发明技术方案范围情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1