基于场景的空调设备语音控制方法和装置与流程

本发明涉及空调设备控制技术领域，尤其涉及一种基于场景的空调设备语音控制方法和装置。

背景技术：

随着人工智能技术的快速发展，具备语音识别功能的家电设备也越来越多，极大的改善着用户与家电设备的交互和体验。

相关技术中，一台空调设备的语音识别系统一般只适应某一个场景(如家居环境)的使用。如果换到其他场景时其指令词识别率会有明显下降，造成用户体验的降低。而且，该语音识别系统的播报反馈一版均是针对某一特定场景而设定，包括播报反馈的内容和播报音量等都已经固化，在实际使用时缺乏灵活性。

技术实现要素：

本发明提供一种基于场景的空调设备语音控制方法和装置，以用于解决空调设备无法适应多种场景下的背景噪声变化，而导致指令词识别效果下降，以及不能够针对多种场景下的灵活播报反馈的技术问题。

本发明一方面实施例提供一种基于场景的空调设备语音控制方法，包括：

当识别到用户输入的唤醒词，则采集空调设备当前所处的场景图像，并根据所述场景图像确定场景类型；

若在预设时间内接收到用户输入的语音信息，则调用与所述场景类型对应的目标场景离线指令模型识别所述语音信息，当识别所述语音信息为指令词，则获取与所述指令词对应的反馈语料和所述空调设备的播放控制参数；

根据所述播放控制参数播放所述反馈语料。

本发明另一方面实施例提供一种基于场景的空调设备语音控制装置，包括：

唤醒识别模块，用于当识别到用户输入的唤醒词，则采集空调设备当前所处的场景图像；

场景识别模块，用于根据所述场景图像确定场景类型；

应用调度模块，用于若在预设时间内接收到用户输入的语音信息，则调用与所述场景类型对应的目标场景离线指令模型识别所述语音信息，当识别所述语音信息为指令词，则获取与所述指令词对应的反馈语料和所述空调设备的播放控制参数；

语音播放模块，用于根据所述播放控制参数播放所述反馈语料。

本发明又一方面实施例提供一种空调设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的基于场景的空调设备语音控制方法。

本发明还一方面实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的基于场景的空调设备语音控制方法。

本发明的技术方案，至少实现了如下有益的技术效果：

当识别到用户输入的唤醒词时采集空调设备当前所处的场景图像，并根据场景图像确定场景类型，在预设时间内接收到用户输入的语音信息时调用与场景类型对应的目标场景离线指令模型识别语音信息，当识别语音信息为指令词时获取与指令词对应的反馈语料和空调设备的播放控制参数，根据播放控制参数播放反馈语料。由此，解决了现有技术中空调设备无法适应多种场景下的背景噪声变化，而导致指令词识别效果下降，以及不能够针对多种场景下的灵活播报反馈的技术问题，通过场景识别，调用适用不同噪音场景下的目标场景离线指令模型进行指令词识别，提高指令词识别效果，实现不同场景下进行不同的播报内容和播报音量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种基于场景的空调设备语音控制方法的流程示意图；

图2为本发明实施例所提供的另一种基于场景的空调设备语音控制方法的流程示意图；

图3是根据本发明第一个实施例的基于场景的空调设备语音控制方法的应用场景示意图；

图4是根据本发明一个实施例的基于场景的空调设备语音控制装置的结构示意图；

图5是根据本发明另一个实施例的基于场景的空调设备语音控制装置的结构示意图；

图6是根据本发明又一个实施例的基于场景的空调设备语音控制装置的结构示意图；以及

图7是根据本发明再一个实施例的基于场景的空调设备语音控制装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于场景的空调设备语音控制方法和装置。其中，空调设备包括空调、风扇、制冷机等。

基于上述背景技术中所提到的空调设备无法适应多种场景下的背景噪声变化，而导致指令词识别效果下降，以及不能够针对多种场景下的灵活播报反馈的技术问题，本发明提供了通过场景识别，调用适用不同噪音场景下的目标场景离线指令模型进行指令词识别，且在本发明中，能够针对多种场景下的灵活播报反馈，由此，可以提高指令词识别效果，实现不同场景下进行不同的播报内容和播报音量。

图1为本发明实施例所提供的一种基于场景的空调设备语音控制方法的流程示意图。如图1所示，该方法包括：

步骤101，当识别到用户输入的唤醒词，则采集空调设备当前所处的场景图像，并根据场景图像确定场景类型。

具体地，空调设备语音控制中会有唤醒词和指令词之分，可以通过唤醒词模型用于识别对应的唤醒词，空调设备上电后，会进入待唤醒状态，出于对功耗降低的考虑，可以运行相应的唤醒词模型，等待用户喊出唤醒词进行空调设备唤醒。其中，可以有一个或多个唤醒词。

可以理解的是，当识别到用户输入的唤醒词，则空调设备已被唤醒，同时通过比如超高清摄像头等设备采集空调设备当前所处的场景图像，接着通过对场景图像的识别确定场景类型。其中，场景类型可以是家居场景、卖场场景等等。

作为一种场景举例，在家居场景下，用户对空调设备喊出唤醒词并识别为正确的唤醒词之后，获取空调设备当前所处的场景图像，进行场景图像识别反馈相应的场景类型为家居场景。

需要说明的是，还可以采集空调设备当前所处的场景背景噪声，并获取场景背景噪声对应的预先训练的唤醒模型，并通过预先训练的唤醒模型识别唤醒词。

可以理解的是，可以获取不同场景下的场景背景噪声来训练唤醒模型，即不同的场景背景噪声对应不同的预先训练的唤醒模型。

在本发明实施例中，为了提高在多种场景噪音下的唤醒率，需要获取多种不同场景下的录制的唤醒指令样本训练集，根据唤醒指令样本训练集进行噪声训练生成预先训练的唤醒模型。即唤醒模型的训练过程中采用多种场景下录制的唤醒指令样本训练集进行针对性带噪训练。

在本发明实施例中，还可以根据场景图像和场景背景噪声确定场景类型，作为一种场景举例，获取空调设备当前所处的场景图像，进行场景图像识别反馈相应的场景类型为家居场景，同时根据场景背景噪声确定场景类型为家居场景，则确定空调设备当前所处的场景为家居场景；作为另一种场景举例，获取空调设备当前所处的场景图像，进行场景图像识别反馈相应的场景类型为家居场景，同时根据场景背景噪声确定场景类型为卖场场景，则根据预设的筛选策略，比如以场景图像识别的场景类型为优先选择策略，则确定空调设备当前所处的场景为家居场景。

步骤102，若在预设时间内接收到用户输入的语音信息，则调用与场景类型对应的目标场景离线指令模型识别语音信息，当识别语音信息为指令词，则获取与指令词对应的反馈语料和空调设备的播放控制参数。

步骤103，根据播放控制参数播放反馈语料。

在本发明实施例中，为了提高在多种场景噪音下的指令词识别效果，需要获取多种不同场景下的录制的语音指令样本训练集，根据语音指令样本训练集进行噪声训练生成多个目标场景离线指令模型。

具体地，不同的场景类型对应不同的目标场景离线指令模型，因此需要预先训练多个目标场景离线指令模型，这些目标场景离线指令模型基于深度识别技术，目标场景离线指令模型在训练过程中采用多种场景下录制的语音指令样本训练集进行针对性带噪训练，可以适应不同噪声场景下的语音信息识别。在进入指令词识别状态，响应用户的语音信息。

需要说明的是，基于不同场景噪音训练得到的目标场景离线指令模型可以是相同的指令词，也可以是识别不同指令词的。

具体地，在目标场景离线指令模型识别到用户的语音信息为指令词之后，会获取与指令词对应的反馈语料和空调设备的播放控制参数，并根据播放控制参数播放反馈语料。

因此，可以针对多种场景，通过进行场景识别，调用适用不同噪音场景下的目标场景离线指令模型进行指令词识别，既可以实现在不同场景下给用户带来一致的识别效果，也可以实现不同场景下进行不同的播报内容或播报音量输出。

比如在家居场景下，实现播报的音量可以为中等音量，而空调器被放置于卖场或展馆展示时，自动实现最大音量的播报。

可以理解的是，可以有相同的，也可以有不同的反馈语料比如播报内容，以及播报的播放控制参数比如音量设置、音色设置等等。

需要说明的是，不仅可以执行录音文件的组合播报，也可以是基于离线语音合成引擎的实时语音合成播报。

在本发明实施例中，若采集不到空调设备当前所处的场景图像，则调用预设的目标场景离线指令模型识别语音信息。

在本发明实施例中，若在预设时间内没有接收到用户输入的语音信息，则控制空调设备进入待唤醒模式，以降低功耗。也就是说，空调设备被唤醒后，目标场景离线指令模型等待用户进一步输入的语音信息，若超过等待时间则自动会切换回唤醒词模型。

可以理解的是，在无法识别到当前场景，或者超过等待时间，会立即调用预设的目标场景离线指令模型也就是默认场景下的目标场景离线指令模型，进入指令词识别模式。

从而，在进入指令词识别模式，同时开始计时(比如为15秒)，等待用户输入语音信息，若用户在15秒内没有输入的语音信息，则退出指令词识别模式，调用唤醒词模型，返回到等待唤醒模式。

在本发明实施例中，如图2所示，在步骤103之后，还包括：

步骤201，获取与指令词对应的空调设备的操作参数。

步骤202，根据操作参数控制空调设备工作。

具体地，在处于指令词识别模式时，在接收到用户输入的语音信息，并通过与场景类型对应的目标场景离线指令模型识别是真正的指令词时，解析该指令词，获取与指令词对应的空调设备的操作参数，比如温度、风向等等，根据操作参数控制空调设备工作，比如制冷、制热、摆风等等。进一步提高空调设备控制的灵活性。

为了更加清楚的描述本发明实施例的基于场景的空调设备语音控制方法，下面结合具体地应用场景进行举例，如图3所示：

该空调设备语音控制中包含了单麦克风的声音输入源和离线语音识别系统，以及扬声器。

具体地，当通过预先训练的唤醒模型识别到用户输入的唤醒词，则通过超高清摄像头采集空调设备当前所处的场景图像a，并根据场景图像a确定场景类型为家居场景；或者通过超高清摄像头采集空调设备当前所处的场景图像b，并根据场景图像b确定场景类型为卖场场景；或者通过超高清摄像头采集空调设备当前所处的场景图像c，并根据场景图像c确定场景类型为展馆场景。

接着在预设时间内接收到用户输入的语音信息，则调用与场景类型家居场景对应的家居场景离线指令模型识别语音信息；或者调用与场景类型卖场场景对应的卖场场景离线指令模型识别语音信息；或者调用与场景类型展馆场景对应的展馆场景离线指令模型识别语音信息。

需要说明的是，若接收到用户输入的唤醒词后，无法识别场景类型，或者超过等待时间，会立即调用默认场景下的目标场景离线指令模型，进入离线指令词识别模式。

从而，在接收到用户输入的语音信息，并通过调用家居场景离线指令模型或者是卖场场景离线指令模型或者是展馆场景离线指令模型，识别是否是的指令词，若是指令词，则解析该指令词，执行播报反馈和相应的动作输出。

具体地，如果该空调设备作为展示样机被放置于卖场或展馆场景下，被唤醒后，在接收到确定场景类型为卖场/展馆场景，会调用卖场/展馆场景离线指令模型，进入指令词识别模式。对应卖场/展馆场景，周围背景噪音会非常吵闹，在这样的声音环境下，对应的卖场/展馆场景离线指令模型保障了与家居场景中一致的指令词识别率，同时在进行播报反馈时，会自动调节播放控制参数，比如设置最大音量进行播报，实现在嘈杂环境下更清晰的声音反馈，提高了交互体验。

综上，本发明实施例的基于场景的空调设备语音控制方法，当通过预先训练的唤醒模型识别到用户输入的唤醒词时采集空调设备当前所处的场景图像，并根据场景图像确定场景类型，在预设时间内接收到用户输入的语音信息时调用与场景类型对应的目标场景离线指令模型识别语音信息，当识别语音信息为指令词时获取与指令词对应的反馈语料和空调设备的播放控制参数，根据播放控制参数播放反馈语料。由此，解决了现有技术中空调设备无法适应多种场景下的背景噪声变化，而导致指令词识别效果下降，以及不能够针对多种场景下的灵活播报反馈的技术问题，通过场景识别，调用适用不同噪音场景下的目标场景离线指令模型进行指令词识别，提高指令词识别效果，实现不同场景下进行不同的播报内容和播报音量。

为了实现上述实施例，本发明还提出了一种基于场景的空调设备语音控制装置，图4是根据本发明一个实施例的基于场景的空调设备语音控制装置的结构示意图，如图4所示，该基于场景的空调设备语音控制装置包括：唤醒识别模块10、场景识别模块20、应用调度模块30和语音播放模块40。

其中，场景识别模块10，用于根据场景图像确定场景类型。

应用调度模块20，用于若在预设时间内接收到用户输入的语音信息，则调用与场景类型对应的目标场景离线指令模型识别语音信息，当识别语音信息为指令词，则获取与指令词对应的反馈语料和空调设备的播放控制参数。

语音播放模块30，用于根据播放控制参数播放反馈语料。

在本发明的一个实施例中，采集空调设备当前所处的场景背景噪声，获取场景背景噪声对应的预先训练的唤醒模型，通过预先训练的唤醒模型识别唤醒词。

在本发明的一个实施例中，场景识别模块10，还用于根据场景图像和场景背景噪声确定场景类型。

在本发明的一个实施例中，如图5所示，在如图4所示的基础上，还包括：工作输出模块50。

其中，应用调度模块30，还用于获取与指令词对应的空调设备的操作参数。

工作输出模块50，用于根据操作参数控制空调设备工作。

在本发明的一个实施例中，如图6所示，在如图4所示的基础上，第一获取模块60和第一训练模块70。

其中，第一获取模块60，用于获取多种不同场景下的录制的唤醒指令样本训练集。

第一训练模块70，用于根据唤醒指令样本训练集进行噪声训练生成预先训练的唤醒模型。

在本发明的一个实施例中，如图7所示，在如图4所示的基础上，第二获取模块80和第二训练模块90。

其中，第二获取模块80用于获取多种不同场景下的录制的语音指令样本训练集。

第二训练模块90，用于根据语音指令样本训练集进行噪声训练生成多个目标场景离线指令模型。

在本发明的一个实施例中，场景识别模块10若采集不到空调设备当前所处的场景图像，则调用预设的目标场景离线指令模型识别语音信息。

需要说明的是，前述集中在基于场景的空调设备语音控制方法实施例的解释说明也适用于本发明实施例的基于场景的空调设备语音控制装置，其实现原理类似，在此不再赘述。

综上，本发明实施例的基于场景的空调设备语音控制装置，当通过预先训练的唤醒模型识别到用户输入的唤醒词时采集空调设备当前所处的场景图像，并根据场景图像确定场景类型，在预设时间内接收到用户输入的语音信息时调用与场景类型对应的目标场景离线指令模型识别语音信息，当识别语音信息为指令词时获取与指令词对应的反馈语料和空调设备的播放控制参数，根据播放控制参数播放反馈语料。由此，解决了现有技术中空调设备无法适应多种场景下的背景噪声变化，而导致指令词识别效果下降，以及不能够针对多种场景下的灵活播报反馈的技术问题，通过场景识别，调用适用不同噪音场景下的目标场景离线指令模型进行指令词识别，提高指令词识别效果，实现不同场景下进行不同的播报内容和播报音量。

为了实现上述实施例，本发明还提出了一种空调设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述实施例所述的基于场景的空调设备语音控制方法。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例所述的基于场景的空调设备语音控制方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。