基于语音及人脸动作的机器人控制系统、方法及电子设备与流程

本发明涉及语音视频、图像识别技术领域，尤其涉及基于语音及人脸动作的机器人控制系统及方法。

背景技术：

目前，国内的机器人交互方法都是通过语音识别，或者配合常规的唇语动作来获取相关的信息，以获取机器人的下一步动作的执行指令。

但现有技术中，如果单纯靠语音识别技术来对机器人进行操控，准确率不高，即使配合唇语动作，但也仅限于简单常规的唇部动作，对于不常见的，复杂的唇部动作，还是不能识别，依然存在准确率不高的问题。并且配合唇语动作的算法过于复杂，运算处理慢。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供基于语音及人脸动作的机器人控制系统，其能解决现有技术算法复杂、运算处理慢、准确率低的问题。

本发明的目的之二在于提供基于语音及人脸动作的机器人控制方法，其能解决现有技术算法复杂、运算处理慢、准确率低的问题。

本发明的目的之三在于提供一种电子设备，其能解决现有技术算法复杂、运算处理慢、准确率低的问题。

本发明的目的之一采用以下技术方案实现：

基于语音及人脸动作的机器人控制系统，包括语音采集器、视频采集器、算法分析处理器、存储器、控制器以及驱动模块，所述语音采集器和视频采集器均与算法分析处理器连接，存储器和控制器均连接算法分析处理器，驱动模块连接控制器；

所述算法分析处理器用于对来自语音采集器的语音信息、来自视频采集器的图像信息进行识别、分析和处理，以得到动作控制信号发送至控制器，以使控制器根据该动作控制信号控制驱动模块驱动机器人执行相应的动作。

优选的，还包括语音播放器，所述语音播放器与算法分析处理器连接。

优选的，还包括与算法分析处理器连接的人机交互设备，算法分析处理器用于将动作控制信号后显示至人机交互设备，并接收来自人机交互设备的确认信号，以将动作控制信号存储至存储器中。

本发明的目的之二采用以下技术方案实现：

基于语音及人脸动作的机器人控制方法，包括如下步骤：

接收来自语音采集器的语音信号，以及，接收来自视频采集器的图像信号；

对语音信号进行识别、分析，并处理为语音内容；对图像信息进行识别、分析，并处理为文字内容；

将语音内容和文字内容进行处理比对，以得到指令信息；

接收用户输入的确认信息以及用户选取的控制动作信号，将所述指令信息与所述控制动作信号绑定形成动作信息，并存储动作信息；

将新接收到的指令信息与存储的动作信息匹配以或者对应的控制动作信号；

发送控制动作至控制器，以使控制器根据控制动作信号控制驱动模块驱动机器人执行相应的动作。

优选的，“对图像信息进行识别、分析，并处理为文字内容”具体包括如下步骤：

对图像信息进行灰度处理以得到人脸的唇部图像；

获取唇部图像中唇部宽度方向上的任意一条线随时间变化的图像，记为x(t)，并收集唇部图像中唇部宽度方向上的任意一条线随时间变化的图像，记为h(t)，h(t)为x(t)的集合；

获取唇部图像中唇部高度方向上的任意一条线随时间变化的图像，记为y(t)，并收集唇部图像中唇部高度方向上的任意一条线随时间变化的图像，记为v(t)，v(t)为y(t)的集合；

比对唇部图像中唇部在高度方向和宽度方向上随时间的变化趋势，解析得到当前的文字内容。

本发明的目的之三采用以下技术方案实现：

一种电子设备，其上设有存储器、处理器以及存储在存储器中并可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如本发明目的之二所述的机器人控制方法。

相比现有技术，本发明的有益效果在于：

本发明通过对人脸动作和语音进行识别和处理，了解人的动作变化趋势，既能提高识别的准确率，又简化了算法的计算量。

附图说明

图1为本发明的基于语音及人脸动作的机器人控制方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

本发明提供一种基于语音及人脸动作的机器人控制系统，包括语音采集器、视频采集器、算法分析处理器、存储器、控制器以及驱动模块，所述语音采集器和视频采集器均与算法分析处理器连接，存储器和控制器均连接算法分析处理器，驱动模块连接控制器。

算法分析处理器用于对来自语音采集器的语音信息、来自视频采集器的图像信息进行识别、分析和处理，以得到动作控制信号发送至控制器，以使控制器根据该动作控制信号控制驱动模块驱动机器人执行相应的动作。

在本发明中，语音采集器包括但不限于录音工具、咪头、拾音器，所选择的型号可以是市面上一款适用的型号。视频采集器可以是摄像机，可以采集图像信息以及动态视频信息，实时采集人脸图像变化。

本实施例还包括语音播放器，所述语音播放器与算法分析处理器连接。还包括与算法分析处理器连接的人机交互设备，算法分析处理器用于将动作控制信号后显示至人机交互设备，并接收来自人机交互设备的确认信号，以将动作控制信号存储至存储器中。

本发明中，包括学习模式和控制模块两种情景。在学习模式下，机器人进入学习状态，通过语音采集器捕捉语音信息，通过视频采集器采集人脸视频，主要获取人脸图像中的嘴部动态信息。通过灰度处理视频流，处理视频信息，得到视频多帧变化趋势，得到唇部在宽度方向上以及高度方向上，随着时间的变化的变化趋势，也即是或者不同时间对应的唇部空间位置，从而解析出当前的文字内容，根据语音信息获取语音内容，将语音内容和文字内容对比匹配，最终处理为指令信息。用户通过人机交互设备输入该指令信息所对应的控制动作，算法分析处理器将控制动作与指令信息绑定，存储至存储模块中。

通过学习模式，将机器人可能涉及到的所有控制动作均与相应的指令信息绑定。在控制模式下，语音采集器和视频采集器的功能与学习模式下相同，且算法分析处理器对语音信息和视频信息的处理原理也完全相同。不同的是在控制模式下，算法分析处理器解析出文字内容和语音内容得到指令信息后，直接从存储模块中获取与指令信息匹配的控制动作，并通过控制器和驱动模块驱动机器人执行相应的动作。语音播放器例如为扬声器，其可以是播报指令信息，可以播报语音内容、文字内容。通过指令信息在存储模块中匹配对应的控制动作采用现有技术实现，例如可以通过编码的方式实现，对不同控制动作的指令信息进行编码，找寻编码一致的指令信息所绑定的控制动作即是匹配的控制动作。

本发明还提供一种基于语音及人脸动作的机器人控制方法，如图1所示，包括如下步骤：

s1：接收来自语音采集器的语音信号，以及，接收来自视频采集器的图像信号；

s2：对语音信号进行识别、分析，并处理为语音内容；对图像信息进行识别、分析，并处理为文字内容；

在本步骤中，对图像信息进行识别、分析，并处理为文字内容具体包括如下步骤：

对图像信息进行灰度处理以得到人脸的唇部图像；

获取唇部图像中唇部宽度方向上的任意一条线随时间变化的图像，记为x(t)，并收集唇部图像中唇部宽度方向上的任意一条线随时间变化的图像，记为h(t)，h(t)为x(t)的集合；

获取唇部图像中唇部高度方向上的任意一条线随时间变化的图像，记为y(t)，并收集唇部图像中唇部高度方向上的任意一条线随时间变化的图像，记为v(t)，v(t)为y(t)的集合；

比对唇部图像中唇部在高度方向和宽度方向上随时间的变化趋势，解析得到当前的文字内容。

s3：将语音内容和文字内容进行处理比对，以得到指令信息；

s4：接收用户输入的确认信息以及用户选取的控制动作信号，将所述指令信息与所述控制动作信号绑定形成动作信息，并存储动作信息；

s5：将新接收到的指令信息与存储的动作信息匹配以或者对应的控制动作信号；

s6：发送控制动作至控制器，以使控制器根据控制动作信号控制驱动模块驱动机器人执行相应的动作。

本实施例中同样包含有学习模式和控制模式，在学习模式和控制模式下分别所执行的流程和原理，均与本发明提出的机器人控制系统相同。

本发明还提供一种电子设备，其上设有存储器、处理器以及存储在存储器中并可被处理器执行的计算机可读程序，所述计算机可读程序被处理器执行时，实现如本发明所述的机器人控制方法。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。