多模态智能家居控制系统及方法与流程

本发明涉及物联网和自动控制技术领域，具体为多模态智能家居控制系统及方法。

背景技术：

近些年来，随着物联网、人工智能、自动控制等技术的迅速发展，使得智能家居逐渐走进人们的日常生活。传统的家用电器大多采用红外线遥控器的方式进行控制。这种控制方式的缺点在于必须使用遥控器作为控制设备，而且每一种电器都必须配备特定指令的遥控器，除此之外，一旦遥控器损坏或者遗失，会带来诸多不便。而智能家居家居在传统家居设备的基础上增加了感知和通信模块，并且采用语音、手势等更加方便的控制方式，可以给人们带来更加高效、快捷、人性化的居家体验。

目前，人们正处在一个从传统家居向智能家居过渡的时期。由于智能家居的价格较为昂贵，所以目前还没有大规模普及，针对目前存在的大量的传统家居，一种替代的解决方案是是在其基础上增加智能化控制模块，使其实现类似于智能家居的功能。但是，这种方式的成本较高且需要对设备进行改造，除此之外，目前还没有较为完善的体系和方法去解决传统智能家居的智能化控制问题。

技术实现要素：

本发明的目的在于提供多模态智能家居控制系统及方法，以解决上述背景技术中提出的传统家用电器大多数必须采用红外线遥控器的方式进行控制；没有较为完善的体系和方法去解决传统智能家居的智能化控制问题

为实现上述目的，本发明提供如下技术方案：多模态智能家居控制系统及方法，主要以微型主机为底层实现平台，结合各类感知设备，将接收到的声音、图像等信息经过处理转换成对应家用电器的红外控制信号，从而实现智能化控制，整个实现框架可以分为三个模块：管理模块、感知模块、控制模块。

优选的，所述的管理模块为系统提供统一的web访问配置界面，用户可以通过手机pc等终端设备对其进行访问并对相关的资源进行配置，该web应用提供的服务包括：

（1）对访问用户的身份进行认证，并且提供对用户的管理，包括增、删、改、查；

（2）对家居设备进行管理，包括设备的增、删、改、查，设备的编号，以及设备红外控制信息的导入和修改；

（3）用户可以自定义红外控制信息手势指令之间的关联；

（4）用户可以通过远程终端设备来对该web应用进行访问，并且对家居设备进行控制。

优选的，所述的感知模块的主要作用感知控制信号，并对其进行处理，所述的控制信号主要红外线、语音、图像：

（1）感知红外线信号采用红外线接收装置，该装置可以接收各类家居设备的遥控器发射的红外控制信号，从而获取到其不同控制指令的编码信息，通过这种方式可以复制各类家居设备的红外控制信号，从而实现其他控制指令与红外控制信号之间的关联；

（2）感知语音信号采用麦克风阵列，除此之外，感知模块还提供对语音信号的处理和识别；

（3）感知图像信息采用摄像头，所述的图像信息主要是指手势，感知模块通过摄像头拍摄到用户的手势动作，并对其进行处理和识别。

优选的，所述的控制模块的主要作用是将从感知层采集并处理过的语音或图像信号与对应设备的红外控制信号进行关联，例如，采集到的语音信号为“打开空调”，则控制模块需要匹配该设备对应的红外控制信号，并将其进行编码，再通过红外信号发射装置将该信息发射出去，实现对设备的控制。

与现有技术相比，本发明的有益效果是：多模态智能家居控制系统及方法包括：语音控制（通过语音给控制平台下达指令）、手势控制（通过摆出相应的手势给控制平台下达指令）、通过远程访问管理模块提供的web应用接口实现对家居设备的控制。

本发明以微型主机作为信号接收和处理平台，实现了语音、手势等指令和红外控制信号之间的转换，在不对传统家居进行改造的情况下实现了家居控制的智能化。这种方式大大降低了家居设备智能升级的成本，并且提供了更加便捷、人性化的服务，与市场中常见的智能家居设备相比，具有以下优势：本发明实现了一套完整的家居设备智能化的方法体系，并且提供了友好的用户管理接口，用户可以方便的对设备进行控制和管理，本发明提供多模态的智能家居控制方式，可以满足不同的应用场景和需求。

附图说明

图1多模态智能家居控制系统结构示意图；

图2多模态智能家居控制系统模块功能示意图；

图3多模态智能家居控制系统整体框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：多模态智能家居控制系统及方法所述的多模态智能家居控制系统结构如图1所示，所述的微型主机平台为树莓派，包含的主要部件有摄像头、红外线接收和发射装置、麦克风阵列、网络通信模块等，摄像头模块复杂采集用户的手势信息，并交由系统平台进行处理；红外接收装置负责接收红外控制信息，并对其进行解码；红外发射装置负责发射红外控制信息，对家用设备进行控制；麦克风阵列负责采集用户语音信息，并提高至系统平台进行处理；网络通信模块负责与家庭网关进行通信连接，方便用户对web服务接口进行访问。

多模态智能家居控制系统各模块的功能如图2所示，以下根据该图，对模块中各个功能的的实现进行详细介绍。

管理模块提供用户管理功能，系统管理员具有最高权限，可以对用户进行管理，普通用户可以进行注册，经管理员认证后，注册用户可以对系统进行访问，同时也具有对系统资源进行配置和管理的功能，注册用户登录web应用需要通过用户名、密码进行验证，防止未授权登录。

管理模块提供设备管理功能，用户登录web应用界面，可对家居设备进行管理，包括增、删、改、查，每添加一个设备之前需要对其进行编号，同时需要导入该设备对应的红外控制信号编码，每一个信号编码对应一项操作，可以根据设备遥控器中的指令进行配置，导入红外控制信号一般有两种方式：如果产品厂家提供指令编码文件，可以根据该文件自行导入；如果产品厂家未提供指令编码文件，可以利用感知模块中的红外信号接收装置对遥控器中的红外指令进行解码，具体操作在感知模块中进行介绍。

管理模块提供指令管理功能，在录入红外控制指令编码之后，用户可以自定这些指令编码与手势控制指令之间的关联。系统提供各种常见的手势，用户可以将其与控制指令绑定。

管理模块提供远程控制功能，远程控制功能需要借助一些内网穿透工具来实现，如花生壳等，将这些内网穿透工具部署完毕，用户可以通过域名或者ip地址等方式对该系统的web服务进行远程访问，并且可以对家用设备进行控制。

感知模块提供红外信号接收和处理功能，当无法从产品厂家获取设备红外控制信号的编码时，需要用户自行对遥控器中的控制信号进行解码，具体操作是：在web应用界面开启红外信号解码功能，此时系统的红外信号接收装置便开启了，将设备遥控器的红外发射器近距离对准系统的红外信号接收装置，每次按下遥控器的一个按钮，系统的红外信号接收装置便可将其信号进行解码，每次只录制一个指令信号，并进行记录，重复执行即可录制全部的指令，系统解析红外线编码采用的工具是lirc。

感知模块提供语音信息接收和处理功能，麦克风阵列负责语音信息的接收，对于接收到的语音信号，系统会进行一些简单的预处理，如去噪等等，然后将其提交到百度、腾讯等语音识别开放平台，将识别结果返回。

感知模块提供图像信息接收和处理功能，摄像头负责图像信息的采集，对于接收到的手势信息，系统会进行一些简单的预处理，如去噪等，然后将其提交到百度、腾讯等手势识别开放平台，将识别结果返回。

控制模块提供将语音或者手势信号与设备红外编码指令进行关联的功能，对于语音信号而言，从开放识别平台获取返回结果之后，根据结果中的关键字与设备控制指令进行关联，例如，当语音识别结果为“请打开空调”，其中含有“打开”、“空调”等关键词，根据这些关键字即可与控制指令关联，以获取其对应指令的红外编码信息，对于手势信号而言，从开放平台返回结果之后，可以根据管理模块中定义好的关联信息进行匹配，以获取其对应指令的红外编码信息。

控制模块提供发射红外信号，对家用设备进行控制的功能，经过上一步之后，即完成了语音或者手势信号与设备红外控制信号之间的转化，此时发射转译后的红外控制信号即可对设备进行控制，除此之外，当用户从远程进行访问时，可以通过web应用直接对相应的设备下达控制指令。

整个多模态智能家居控制系统的工作流程如图3所示，具体包含以下步骤：

（1）用户向控制系统发送指令。发送指令的方式有三种，用户可以发送语音指令，或者手势指令，也可以通过终端设备连接控制系统的web应用界面下达控制指令。

（2）控制系统接收到指令之后需要进行相应的处理，然后将其与对应设备的红外控制指令进行关联。

（3）完成指令的转译之后即可得到设备的红外控制信号，利用红外发射装置将信号发送出去，即可实现对设备的控制。

本发明可以很好的实现对传统家居的智能化改造，在尽可能降低成本的情况下下，能够满足日常生活中人们对于家用设备控制的灵活性、便捷性的需求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。