一种结合人脸信息的语音控制方法及系统与流程

本发明涉及智能操作领域，具体涉及一种结合人脸信息的语音控制方法及系统。

背景技术：

目前，大部分复杂的家电都是通过遥控器的键盘输入方式进行遥控的，随着家居的智能化以及包含内容的多样化，为了优化操作方式、增强操作的舒适性，用户需要更加易于操作的遥控器。语言是人类最直接最方便的交流和表达方式，如果采用语音识别技术，可以将原来的被动静止结构转变为具有主动识别语音执行的智慧工具，从而满足人们日益增长的需求。

近年来，语音识别技术发展十分迅速，目前已出现了许多自动语音识别类的产品，例如ibm开发的viavoice语音系统等。但是这些系统仍然缺乏较强的抗干扰能力，在这种背景下，一些结合人脸识别以及语音系统的智能产品应运而生，但是当这些系统应用到真实环境中时，基本上每一个智能产品都需要单独设置一个摄像头，成本十分高昂，而且在同时应用多个该类产品是，很容易造成各个产品之间的操作信号相互串扰，导致设备的误操作，并且这样的应用环境十分常见，如：办公室、汽车、工厂或机场等，就连家庭环境也是如此。

技术实现要素：

为了解决上述问题，本发明提供了一种结合人脸信息的语音控制方法及系统，通过本专利可实现通过一个摄像头获取多个智能设备的人脸信息，降低了智能设备的制作成本；并且可通过人脸加语音结合的操作方式，并通过获取用户的眼球信息判断用户的操控目标，判断更精确，避免了误操作情况的出现。

第一方面，本发明提供了一种结合人脸信息的语音控制方法，具体包括：

获取用户的人脸信息；

获取预设数据库，所述预设数据库包括至少一条预设人脸信息；

当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；

获取所述目标用户的眼球滚动数据；

根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；

获取与所述控制目标匹配的第一预设语音控制指令库；

获取目标用户发出的语音控制指令；

当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时；

执行所述语音控制指令对应的操作。

在本发明一实施例中，所述获取预设数据库，所述预设数据库包括至少一条预设人脸信息之后，还包括：

当所获取的用户人脸信息与预设数据库中的预设人脸信息不匹配时；

不获取所述用户的眼球滚动数据。

在本发明一实施例中，所述获取与所述控制目标匹配的第一预设语音控制指令库之前，还包括：

获取第一用户及第二用户的人脸信息；

获取预设数据库，所述预设数据库包括至少两条预设人脸信息；

当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；

当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；

根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；

根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；

当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；

分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。

在本发明一实施例中，所述当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时之后，还包括：

获取所述目标用户与与所述控制目标匹配的第二预设语音控制指令库；

判断当所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时；

不执行所述语音控制指令对应的操作。

在本发明一实施例中，所述获取目标用户发出的语音控制指令之后，还包括：

当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时；

不执行所述语音控制指令对应的操作。

第二方面，本发明提供了一种结合人脸的语音控制装置，其中包括存储器、至少一个处理器及可执行代码，所述存储器用于存储可执行代码；

所述处理经配置以执行所述可执行代码，以实现如本发明第一方面所述一种结合人脸的语音控制方法。

第三方面，本发明包括一种结合人脸信息的语音控制系统，包括摄像头、处理模块、人脸信息匹配模块、眼球数据获取模块、目标判断模块、语音指令获取模块、语音指令匹配模块以及语音指令匹配模块，各个模块之间耦合相连；

所述摄像头用于获取用户的人脸信息；

所述处理模块用于获取预设数据库，所述预设数据库包括至少一条预设人脸信息；

所述人脸信息匹配模块用于判断当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；

所述眼球数据获取模块用于获取所述目标用户的眼球滚动数据；

所述目标判断模块用于根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；

所述语音指令获取模块用于获取与所述控制目标匹配的第一预设语音控制指令库；

所述语音指令获取模块还用于获取目标用户发出的语音控制指令；

所述语音指令匹配模块用于将所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令进行比较；

当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时，所述处理模块还用于执行所述语音控制指令对应的操作。

在本发明一实施例中，所述一种结合人脸信息的语音控制系统还包括权限获取模块，所述权限获取模块与其他模块耦合相连；

所述摄像头还用于获取第一用户及第二用户的人脸信息；

所述处理模块还用于获取预设数据库，所述预设数据库包括至少两条预设人脸信息；

所述人脸信息匹配模块还用于判断当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；

所述人脸信息匹配模块还用于判断当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；

所述目标判断模块还用于根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；

所述目标判断模块还用于根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；

所述处理模块还用于判断当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；

所述权限获取模块用于分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。

在本发明一实施例中，所述语音指令匹配模块还用于将所述目标用户发出的语音控制指令与第二预设语音控制指令库中所有指令进行比较；

当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时，所述处理模块还用于不执行所述语音控制指令对应的操作。

在本发明一实施例中，所述一种结合人脸的语音控制系统还包括：

当所述语音指令匹配模块判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时，所述处理模块还用于不执行所述语音控制指令对应的操作。

本发明的有益效果有：通过本专利所提供的一种结合人脸信息的语音控制方法及系统，可实现通过一个摄像头获取多个智能设备的人脸信息，避免了每个设备都必须单独配置摄像头的情况，降低了智能设备的制作成本；并且可通过人脸加语音结合的操作方式，使目标用户判断更明确，实现了在多个用户同时使用本系统时以权限更高的用户发出的指令为准的功能；并通过获取用户的眼球信息判断用户的操控目标，判断更精确，避免了误操作情况的出现。

附图说明

图1为本发明一实施例中一种结合人脸以及语音的智能操作方法的方法流程图；

图2为本发明另一实施例中一种结合人脸以及语音的智能操作方法的方法流程图；

图3为本发明另一实施例中一种结合人脸以及语音的智能操作方法的方法流程图；

图4为本发明一实施例中一种结合人脸以及语音的智能操作系统的系统结构图。

具体实施方式

需要说明的是，在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下面结合附图以及具体实施例对本发明做进一步说明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

第一方面，本发明提供了一种结合人脸信息的语音控制方法，所述一种结合人脸信息的语音控制方法，如图1所示，具体包括：

s100、获取用户的人脸信息；

s200、获取预设数据库，所述预设数据库包括至少一条预设人脸信息；

s300、当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；

s400、获取所述目标用户的眼球滚动数据；

s500、根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；

s600、获取与所述控制目标匹配的第一预设语音控制指令库；

s700、获取目标用户发出的语音控制指令；

s800、当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时；

s900、执行所述语音控制指令对应的操作。

在本发明一具体应用场景中，本发明第一方面所提供的方法由用户家中的智能控制系统完成，所述智能控制系统包括至少一个摄像头及处理器；

摄像头设置在客厅，处理器通过摄像头获取用户的眼球滚动信息，判断用户直视的目标设备为电视机，则系统获取所述电视机的语音控制指令库，此时用户向电视机说出“关机”，则系统获取到用户发出的“关机”语音指令后，系统判断与电视机的语音控制指令库中的“关机”指令匹配，则系统控制电视机执行关机指令。

在本发明一实施例中，所述预设数据库包括用户人脸信息以及与所述用户人脸信息匹配的用户语音信息。

在本发明一实施例中，所述步骤s200之后，还包括：

当所获取的用户人脸信息与预设数据库中的预设人脸信息不匹配时；

不获取所述用户的眼球滚动数据。

在本发明一实施例中，如图2所示，所述步骤s600之前，还包括：

s601、获取第一用户及第二用户的人脸信息；

s602、获取预设数据库，所述预设数据库包括至少两条预设人脸信息；

s603、当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；

s604、当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；

s605、根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；

s606、根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；

s607、当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；

s608、分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。

在本发明一具体应用场景中，沿用上例，系统通过摄像头获取到爸爸以及儿子的人脸信息，此时系统从预设数据库获取到了预保存的爸爸以及儿子的人脸信息，则系统开始同时获取爸爸以及儿子的眼球滚动数据，当系统通过眼球滚动数据判断爸爸以及儿子的直视目标设备都为电视机时，根据预设权限优先级判断爸爸的权限比儿子高，则系统在爸爸与儿子的直视目标设备都为电视机时，系统判断以爸爸发出的控制信息为准，当系统获取到“开机”语音指令时，则系统将电视机的语音控制数据库中的语音控制指令与系统获取到的语音“开机”语音信息匹配，当系统获取到电视机的语音控制数据库中也存在“开机”的语音指令时，则系统控制电视机执行开机指令。

在本发明一实施例中，如图3所示，所述步骤s800之后还包括：

s801、获取所述目标用户与所述控制目标匹配的第二预设语音控制指令库；

s802、判断当所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时；

s803、不执行所述语音控制指令对应的操作。

在本发明一具体应用场景中，本发明第一方面所提供的方法由用户家中的智能控制系统完成，所述智能控制系统包括至少一个摄像头及处理器；

其中，所述目标用户为儿子，所述第二预设语音控制指令库内容如下表所示：

当爸爸不想儿子通过语音控制指令控制电视机开机时，则爸爸通过后台终端在儿子与电视对应的第二控制指令库中加入开机指令，则当所述儿子尝试通过语音控制指令控制电视机开机时，处理器判断所述儿子不拥有控制电视机开机语音指令的使用权限，则不控制电视机开机，而由于所述儿子依然拥有除开机之外所有电视机控制语音指令的权限，所以在电视机开机之后所述儿子依然可以通过语音控制指令正常控制电视。

在本发明一实施例中，步骤s700之后还包括：

当所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时；

不执行所述语音控制指令对应的操作。

第二方面，本发明提供了一种结合人脸的语音控制装置，其中包括存储器、至少一个处理器及可执行代码，所述存储器用于存储可执行代码；

所述处理经配置以执行所述可执行代码，以实现如本发明第一方面所述一种结合人脸的语音控制方法。

第三方面，本发明包括一种结合人脸的语音控制系统，如图4所示，包括摄像头100、处理模块200、人脸信息匹配模块300、眼球数据获取模块400、目标判断模块500、语音指令获取模块600、语音指令匹配模块700以及语音指令匹配模块800，所述各个模块之间耦合相连；

摄像头100用于获取用户的人脸信息；

处理模块200用于获取预设数据库，所述预设数据库包括至少一条预设人脸信息；

人脸信息匹配模块300用于判断当所获取的用户人脸信息与预设数据库中的预设人脸信息匹配时，记所述用户为目标用户；

眼球数据获取模块400用于获取所述目标用户的眼球滚动数据；

目标判断模块500用于根据所述目标用户的眼球滚动数据获取所述目标用户的控制目标；

语音指令获取模块600用于获取与所述控制目标匹配的第一预设语音控制指令库；

语音指令获取模块700还用于获取目标用户发出的语音控制指令；

语音指令匹配模块800用于将所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令进行比较；

当语音指令匹配模块800判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令匹配时，处理模块200还用于执行所述语音控制指令对应的操作。

在本发明一实施例中，所述一种结合人脸的语音控制系统还包括权限获取模块900，权限获取模块900与其他模块耦合相连；

摄像头100还用于获取第一用户及第二用户的人脸信息；

处理模块200还用于获取预设数据库，所述预设数据库包括至少两条预设人脸信息；

人脸信息匹配模块300还用于判断当所获取的第一用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第一用户的眼球滚动数据；

人脸信息匹配模块300还用于判断当所获取的第二用户人脸信息与预设数据库中的预设人脸信息匹配时，获取第二用户的眼球滚动数据；

目标判断模块500还用于根据所述第一用户的眼球滚动数据获取所述第一用户的第一目标；

目标判断模块500还用于根据所述第二用户的眼球滚动数据获取所述第二用户的第二目标；

处理模块200还用于判断当所述第一目标与所述第二目标一致时，记所述第一目标、第二目标为控制目标；

权限获取模块900用于分别获取与所述第一用户的人脸信息及第二用户的人脸信息匹配的预设优先级，并记其中优先级最高的用户为目标用户。

在本发明一具体用用场景中，处理模块200、人脸信息匹配模块300、眼球数据获取模块400、目标判断模块500、语音指令获取模块600、语音指令匹配模块700、语音指令匹配模块800以及权限获取模块900均集成在处理器中，摄像头100设置在客厅；

处理器通过摄像头获取到爸爸以及儿子的人脸信息，此时处理器从预设数据库获取到了预保存的爸爸以及儿子的人脸信息，则处理器开始同时获取爸爸以及儿子的眼球滚动数据，当处理器通过眼球滚动数据判断爸爸以及儿子的直视目标设备都为电视机时，根据预设权限优先级判断爸爸的权限比儿子高，则处理器在爸爸与儿子的直视目标设备都为电视机时，处理器判断以爸爸发出的控制信息为准，当处理器获取到“开机”语音指令时，处理器从预设数据库中获取与爸爸的人脸信息匹配的语音信息并与处理器获取到的语音信息匹配，防止语音信息获取错误，当处理器判断预设数据库中爸爸的语音信息与处理器获取到的语音信息匹配时，则处理器将电视机的语音控制数据库中的语音控制指令与处理器获取到的语音“开机”语音信息匹配，当处理器获取到电视机的语音控制数据库中也存在“开机”的语音指令时，则处理器控制电视机执行开机指令。

在本发明一实施例中，语音指令获取模块600还用于获取所述目标用户与所述控制目标匹配的第二预设语音控制指令库；

语音指令匹配模块800还用于将所述目标用户发出的语音控制指令与第二预设语音控制指令库中所有指令进行比较；

当语音指令匹配模块800判断所述目标用户发出的语音控制指令与第二预设语音控制指令库中任意一条指令匹配时，处理模块200还用于不执行所述语音控制指令对应的操作。

在本发明一具体应用场景中，处理模块200、人脸信息匹配模块300、眼球数据获取模块400、目标判断模块500、语音指令获取模块600、语音指令匹配模块700、语音指令匹配模块800以及权限获取模块900均集成在处理器中，摄像头100设置在客厅；所述目标用户为儿子，所述第二预设语音控制指令库内容如下表所示：

当爸爸不想儿子通过语音控制指令控制电视机开机时，则爸爸通过系统在儿子与电视对应的第二控制指令库中加入开机指令，则当所述儿子尝试通过语音控制指令控制电视机开机时，系统判断所述儿子不拥有控制电视机开机语音指令的使用权限，则不控制电视机开机，而由于所述儿子依然拥有除开机之外所有电视机控制语音指令的权限，所以在电视机开机之后所述儿子依然可以通过语音控制指令正常控制电视。

在本发明一实施例中，所述一种结合人脸的语音控制系统还包括：

当语音指令匹配模块800判断所述目标用户发出的语音控制指令与第一预设语音控制指令库中任意一条指令不匹配时，处理模块200还用于不执行所述语音控制指令对应的操作。

显然，上述实施例仅仅是为了更清楚的表达本发明技术方案所作的举例，而非对本发明实施方式的限定。对于本领域技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，在不脱离本发明构思的前提下，这些都属于本发明的保护范围。因此本发明专利的保护范围应以所附权利要求为准。