一种控制设备及其执行指令的方法与流程

本发明涉及语音控制技术领域，尤其涉及一种控制设备及其执行指令的方法。

背景技术：

现阶段应用于智能家居的相关技术主要用于识别至少一类信息，不同类的信息可包括图像信息、语音信息、环境信息或者传感器获取的用户运动信息等多类信息。其中，应用范围最广的是图像信息和语音信息。但无论设备识别的是图像信息还是语音信息，在设备上都是单独使用的。例如，识别的图像信息仅运用于根据场景元素对设备进行控制，识别的语音信息也仅用于根据语音控制语句对设备进行控制。即便产品同时包含这两类功能，也仅是对两个不同类信息的独立控制，识别出的图像信息与语音信息的控制指令相互独立，无法做到更智能、更精准的运用。

技术实现要素：

本发明提供一种控制设备及其执行指令的方法，可以结合识别出的图像信息与语音信息的控制指令，为用户提供精准且符合实际的智能体验。

第一方面，本发明提供一种控制设备执行指令的方法，该方法包括：

获取设备采集的第一类信息和第二类信息，对所述第一类信息和第二类信息分别进行内容识别；

确定所述第一类信息的第一内容特征，确定所述第二类信息的第二内容特征；

根据所述第一内容特征和第二内容特征确定控制指令，并指示所述设备执行所述控制指令。

第二方面，本发明提供一种执行指令的控制设备，该设备包括：处理器以及存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行以下步骤：

获取设备采集的第一类信息和第二类信息，对所述第一类信息和第二类信息分别进行内容识别；

确定所述第一类信息的第一内容特征，确定所述第二类信息的第二内容特征；

根据所述第一内容特征和第二内容特征确定控制指令，并指示所述设备执行所述控制指令。

本发明提供的一种控制设备及其执行指令的方法，具有以下有益效果：

能够结合图像识别技术和语音识别技术，根据图像识别技术识别用户所处的情景类型，根据用户输入的语音将图像识别结果与语音识别结果相结合，为用户推荐符合用户需求的内容，提升用户的智能体验。

附图说明

图1为一种控制设备执行指令方法流程图。

图2为一种执行指令的控制设备流程图。

图3为一种执行指令的控制装置结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种控制设备执行指令的方法，如图1所示，包括：

步骤101：获取设备采集的第一类信息和第二类信息，对所述第一类信息和第二类信息分别进行内容识别；

步骤102：确定所述第一类信息的第一内容特征，确定所述第二类信息的第二内容特征。

作为一种可选的实施方式，上述第一类信息和第二类信息的获取可由用户决定，可以只获取设备采集的其中一类信息，也可以同时获取设备采集的两类信息。

作为一种可选的实施方式，上述第一类信息为语音信息，上述第二类信息为图像信息，上述第一内容特征为上述语音信息中控制语句，上述第二内容特征为上述图像信息对应的图像标识信息；或者

所述第一类信息为语音信息，所述第二类信息为温度传感器信息，所述第一内容特征为所述语音信息中的控制语句，所述第二内容特征为温度传感器采集信息对应的温度信息；或者

所述第一类信息为语音信息，所述第二类信息为红外传感器信息，所述第一内容特征为所述语音信息中控制语句，所述第二内容特征为红外传感器采集信息对应的运动信息。

上述语音信息可通过麦克风阵列单元采集，上述图像信息可从摄像头摄录的图像信息中提取。

可选的，上述设备可以是有语音采集功能、图像采集功能及内置温度传感器或红外传感器的智能设备，例如智能空调，智能冰箱。用户可以通过与上述智能设备绑定的终端app来控制智能设备是否开启语音采集功能或图像采集功能。如果用户开启使用语音采集和图像采集功能，本实施例中，能够获取由上述智能设备采集到的语音信息和图像信息。

步骤103：根据所述第一内容特征和第二内容特征确定控制指令，并指示所述设备执行所述控制指令。

实施中，预先设定所述第一内容特征和第二内容特征确定的控制指令的优先级，根据优先级顺序，先确定优先级较高的控制指令类型，根据该类型的控制指令确定优先级较低的控制指令。

上述控制指令类型中可包含多种不同的控制指令，上述不同的控制指令都属于同一种控制指令类型。

作为一种可选的实施方式，根据所述第一内容特征和第二内容特征确定控制指令，可以选择以下任一种方式实施：

方式一：确定优先级高的第一内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第二内容特征的控制指令；

方式二：确定优先级高的第二内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第一内容特征的控制指令。

作为一种可选的实施方式，确定优先级高的第一内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第二内容特征的控制指令，包括：

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述图像标识信息的控制指令；或者

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述温度信息的控制指令；或者

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述运动信息的控制指令。

实施中，确定第一内容特征优先级高于第二内容特征，且第一内容特征为语音信息中控制语句，第二内容特征为上述图像信息对应的图像标识信息，根据上述语音信息中控制语句确定语音控制指令类型，确定第二类信息的第二内容特征为上述图像信息对应的图像标识信息，确定上述语音控制指令类型中对应的图像标识信息的控制指令，向设备发送执行上述控制指令的命令；

在实施中，根据语音控制指令类型可以确定该语音控制指令对应的一大类的设备控制指令，对应图像信息的图像标识信息控制指令为将大类的设备控制指令进行子类划分，并建立子类的设备控制指令与不同图像信息的对应关系，得到对应图像信息的设备控制指令。

作为另一种可选的实施方式，确定第二内容特征优先级高于第一内容特征，且第一内容特征为语音信息中控制语句，第二内容特征为图像信息对应的图像标识信息，确定上述图像标识信息指令中对应的语音信息的语音控制语句，向设备发送执行上述控制指令的命令。

在实施中，上述图像标识信息指令具体代表由图像信息触发的设备控制指令，根据图像控制指令可以确定该图像标识信息指令对应的一大类的设备控制指令，对应语音控制语句的图像标识信息指令为将大类的设备控制指令进行子类划分，并建立子类的设备控制指令与不同语音控制语句的对应关系，得到对应语音控制语句的设备控制指令。

实施中，第一内容特征映射的控制指令类型触发生成设备控制指令控制设备进行第一类操作，但上述第一内容特征不能体现采集到的用户所有的信息，根据采集到的第二内容特征能够确定设备控制指令中对应第二内容特征的控制指令并指示给设备，能更贴切的实现用户需求，为用户提供更精准、更符合实际的智能体验。

作为一种可选的实施方式，未查到根据所述第一内容特征和第二内容特征确定的控制指令时，确定第一内容特征所映射的控制指令类型，在该类型的控制指令中按照预设规则确定控制指令；或者

未查到根据所述第一内容特征和第二内容特征确定的控制指令时，确定第二内容特征所映射的控制指令类型，在该类型的控制指令中按照预设规则确定控制指令。

具体的，上述第一内容特征为语音信息中的控制语句，第二内容特征为图像标识信息时，未查到上述语音信息中的控制语句和图像标识信息确定的控制指令时，确定控制指令类型为语音信息中的控制语句，根据控制语句对应的文本信息，与预先建立的识别库中的文本信息进行匹配，输出对应的语音标识，确定上述控制指令。

上述第一内容特征为语音信息中的控制语句，第二内容特征为图像标识信息时，未查到上述语音信息中的控制语句和图像标识信息确定的控制指令时，确定控制指令类型为图像标识信息，根据图像标识信息中的图像标识确定上述控制指令。

作为一种可选的实施方式，上述第一类信息为语音信息，第二类信息为图像信息。在实际应用中，首先，智能设备根据用户的语音指示生成大类的设备控制指令，同时，根据智能设备预先采集到的图像信息，语音控制指令触发生成上述语音信息与图像信息对应的结合控制指令。

作为一种可选的实施方式，上述第一类信息为语音信息，上述第二类信息为图像信息时，还包括：

确定上述图像信息对应的图像标识信息；

确定上述语音信息触发语音控制指令时，根据上述图像标识信息确定上述语音控制指令中对应上述图像标识信息的控制指令。

在实施中，首先建立不同语音信息对应不用语音控制指令的对应关系，建立不同语音控制指令对应的大类的设备控制指令，并将大类的设备控制指令根据不同的图像标识信息进行子类的划分，得到不同的图像标识信息对应的结合设备控制指令。

在实施中，智能设备同时开启语音采集和图像采集功能，当用户发出语音指令时，根据采集的语音信息进行语音识别生成相应的语音标识，根据语音标识触发生成语音控制指令，同时，根据采集的图像信息，生成相应的图像标识，上述语音控制指令触发与语音标识对应的图像标识生成结合操作指令。

例如，采集用户语音信息生成语音标识“播放音乐”触发生成语音控制指令，采集用户的图像信息“睡眠”或者“瑜伽”或者“舞蹈”生成对应的场景标识，根据图像信息中不同的图像标识，语音标识与图像标识结合生成新的控制指令，最后生成的结合控制指令为“睡眠音乐”或者“瑜伽音乐”或者“舞蹈音乐”。

作为一种可选的实施方式，上述图像标识可以是场景标识，场景的标识可以为不同运动模式的场景对应的标识。例如：舞蹈运动场景、瑜伽运动场景、力量运动场景、休息场景。

实施中，确定上述图像信息对应的图像标识信息，包括：

根据预先建立的图像深度学习模型对上述图像信息进行图像识别，确定识别出的图像对应的图像标识。

上述图像深度学习模型是经过大量图像训练成熟的模型，根据采集到的图像，以一帧为单位从图像中获取图像标识，采集的图像可以是连续拍照的多个照片，或者为录制的一段视频。

实施中，确定上述语音信息触发的语音控制指令，包括：

识别上述语音信息对应的语音文本信息，并与上述语音识别库中的语音文本信息进行匹配，输出与上述语音文本信息对应的语音标识；

根据不同语音标识与语音控制指令的对应关系，确定上述语音信息触发的语音控制指令。

作为一种可选的实施方式，所述图像标识信息包括：

与采集到的人物图像对应的人物标识；或者

与采集到的场景图像对应的场景标识。

作为一种可选的实施方式，所述场景标识包括：

运动场景模式的场景标识；或者

睡眠场景模式的场景标识。

作为一种可选的实施方式，本实施例中的实施方式可以在本地设备中实施；或者，作为远程服务器通过无线通信功能将本地设备采集到的语音信息和图像信息传输到远程服务器进行语音信息和图像信息的处理，将处理结果生成的指令通过无线通信反馈给本地设备执行。

本实施例可以应用于智能家居产品如智能空调，能够使用户语音控制空调生成语音指令后，结合智能空调采集到的用户图像信息触发生成与图像信息对应的语音指令，为用户提供更精准、更符合实际的智能体验。

实施例二

基于同一发明构思，本发明还提供了一种执行指令的控制设备，该设备的具体实施可参见方法实施例部分的描述，重复之处不再赘述。

如图2所示，该设备包括：处理器201以及存储器202，其中，上述存储器202存储有程序代码，当上述程序代码被上述处理器201执行时，使得上述处理器201执行以下步骤：

获取设备采集的第一类信息和第二类信息，对所述第一类信息和第二类信息分别进行内容识别；

确定所述第一类信息的第一内容特征，确定所述第二类信息的第二内容特征；

根据所述第一内容特征和第二内容特征确定控制指令，并指示所述设备执行所述控制指令。

作为一种可选的实施方式，根据所述第一内容特征和第二内容特征确定控制指令，包括：

确定优先级高的第一内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第二内容特征的控制指令；或者

确定优先级高的第二内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第一内容特征的控制指令。

作为一种可选的实施方式，所述第一类信息为语音信息，所述第二类信息为图像信息，所述第一内容特征为所述语音信息中控制语句，所述第二内容特征为所述图像信息对应的图像标识信息；或者

所述第一类信息为语音信息，所述第二类信息为温度传感器信息，所述第一内容特征为所述语音信息中的控制语句，所述第二内容特征为温度传感器采集信息对应的温度信息；或者

所述第一类信息为语音信息，所述第二类信息为红外传感器信息，所述第一内容特征为所述语音信息中控制语句，所述第二内容特征为红外传感器采集信息对应的运动信息。

作为一种可选的实施方式，确定优先级高的第一内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第二内容特征的控制指令，包括：

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述图像标识信息的控制指令；或者

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述温度信息的控制指令；或者

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述运动信息的控制指令。

作为一种可选的实施方式，上述处理器还用于：

未查到根据所述第一内容特征和第二内容特征确定的控制指令时，确定第一内容特征所映射的控制指令类型，在该类型的控制指令中按照预设规则确定控制指令；或者

未查到根据所述第一内容特征和第二内容特征确定的控制指令时，确定第二内容特征所映射的控制指令类型，在该类型的控制指令中按照预设规则确定控制指令。

作为一种可选的实施方式，确定所述图像信息对应的图像标识信息，包括：

根据预先建立的图像深度学习模型对所述图像信息进行图像识别，得到对应的图像标识信息。

作为一种可选的实施方式，确定所述语音信息中控制语句，包括：

识别所述语音信息对应的语音文本信息，并与所述语音识别库中的语音文本信息进行匹配，输出与所述语音文本信息对应的语音标识；

根据不同语音标识确定所述语音信息中的控制语句。

作为一种可选的实施方式，所述图像标识信息包括：

与采集到的人物图像对应的人物标识；或者

与采集到的场景图像对应的场景标识。

作为一种可选的实施方式，所述场景标识包括：

运动场景模式的场景标识；或者

睡眠场景模式的场景标识。

实施例三

基于同一发明构思，本发明实施例中提供了一种语音控制装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述。

如图3所示，该装置主要包括：

采集单元301，用于获取设备采集的第一类信息和第二类信息，对所述第一类信息和第二类信息分别进行内容识别。

确定内容特征单元302，用于确定所述第一类信息的第一内容特征，确定所述第二类信息的第二内容特征。

确定控制指令单元303，用于根据所述第一内容特征和第二内容特征确定控制指令，并指示所述设备执行所述控制指令。

作为一种可选的实施方式，确定内容特征单元302还用于：

确定优先级高的第一内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第二内容特征的控制指令；或者

确定优先级高的第二内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第一内容特征的控制指令。

作为一种可选的实施方式，所述第一类信息为语音信息，所述第二类信息为图像信息，所述第一内容特征为所述语音信息中控制语句，所述第二内容特征为所述图像信息对应的图像标识信息；或者

所述第一类信息为语音信息，所述第二类信息为温度传感器信息，所述第一内容特征为所述语音信息中的控制语句，所述第二内容特征为温度传感器采集信息对应的温度信息；或者

所述第一类信息为语音信息，所述第二类信息为红外传感器信息，所述第一内容特征为所述语音信息中控制语句，所述第二内容特征为红外传感器采集信息对应的运动信息。

作为一种可选的实施方式，确定优先级高的第一内容特征映射的控制指令类型，在该类型的控制指令中确定对应所述第二内容特征的控制指令，包括：

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述图像标识信息的控制指令；或者

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述温度信息的控制指令；或者

根据所述语音信息中的控制语句，确定所述控制语句对应的控制指令的类型，在该类型的控制指令中确定对应所述运动信息的控制指令。

作为一种可选的实施方式，上述装置还用于：

未查到根据所述第一内容特征和第二内容特征确定的控制指令时，确定第一内容特征所映射的控制指令类型，在该类型的控制指令中按照预设规则确定控制指令；或者

未查到根据所述第一内容特征和第二内容特征确定的控制指令时，确定第二内容特征所映射的控制指令类型，在该类型的控制指令中按照预设规则确定控制指令。

作为一种可选的实施方式，确定所述图像信息对应的图像标识信息，包括：

根据预先建立的图像深度学习模型对所述图像信息进行图像识别，得到对应的图像标识信息。

作为一种可选的实施方式，确定所述语音信息中控制语句，包括：

识别所述语音信息对应的语音文本信息，并与所述语音识别库中的语音文本信息进行匹配，输出与所述语音文本信息对应的语音标识；

根据不同语音标识确定所述语音信息中的控制语句。

作为一种可选的实施方式，所述图像标识信息包括：

与采集到的人物图像对应的人物标识；或者

与采集到的场景图像对应的场景标识。

作为一种可选的实施方式，所述场景标识包括：

运动场景模式的场景标识；或者

睡眠场景模式的场景标识。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。