一种智能家居控制系统及方法与流程

本发明涉及智能家居控制领域，特别是涉及一种基于深度学习判别用户情绪，从而实现自动对智能家居设备智能控制的智能家居控制系统及方法。

背景技术：

智能家居(英文：smarthome,homeautomation)是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。

随着高科技的快速发展，人们对智能家居的追求越来越高，但当前智能家居方案大多还是由人作为主导，使用者通过语音或者手机app的方式达到控制智能设备的目的。而家作为一个较为放松的场所，如果设备操作过多的由人来控制，会无形中增加人的负担，有时候甚至会影响用户的情绪。

随着社会生活与工作压力的不断增大，由情绪失控所导致悲剧事件不断发生，因此，如果能根据用户情绪自动调节智能设备，使之达到一种帮助用户放松的状态而无需过多的人为操作，同时可以调节用户的情绪，舒缓生活压力，则更为人性化。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种智能家居控制系统及方法，以基于深度学习的方法判别用户情绪，并自动控制智能家居设备，以达到减轻用户负担、调节用户情绪的目的。

为达上述目的，本发明提出一种智能家居控制系统，包括：

图像采集单元，用于采集人脸图像，并将采集到的人脸图像信号发送至情绪判别器；

语音采集单元，用于采集声音信号，并将采集到的声音信号发送至情绪判别器；

情绪判别器，用于分别根据人脸图像信号及声音信号进行情绪识别，并将获得的情绪识别结果进行融合，得到最终的情绪识别结果；

控制单元，用于根据情绪判别器的情绪识别结果产生对应的智能家居控制信号。

进一步地，情绪判别器进一步包括：

模型训练生成单元，通过大量的样本数据进行训练模型，以用于通过人脸或语音信息进行情绪识别；

图像判别单元，包括人脸判别模型，将获取的人脸图像通过该模型训练生成单元生成的训练模型来获得用户当前的图像情绪识别结果。

语音判别单元，包括语音判别模型，将获得的语音信息通过该模型训练生成单元生成的训练模型来获得用户当前的语音情绪识别结果；

融合单元，用于将当前图像情绪识别结果与语音情绪识别结果进行融合，得到最佳的情绪识别结果。

进一步地，该融合单元分别为图像情绪识别结果与语音情绪识别结果赋予相应的权重，最终的情绪识别结果通过权重值的加权计算获得。

进一步地，最终的情绪识别结果通过如下公式计算获得：

当前情绪＝α*图像情绪识别结果+β*语音情绪识别结果

其中，α和β分别为图像情绪识别结果与语音情绪识别结果的权重值。

进一步地，该控制单元预先定义一组情绪并设置对应各种情绪对智能家居的相应控制信号。

为达到上述目的，本发明还提供一种智能家居控制方法，包括如下步骤：

步骤一，分别采集人脸图像信号与用户的声音数据，并将采集到的人脸图像信号与声音数据发送至情绪判别器；

步骤二，分别根据人脸图像信号及声音信号进行当前用户的情绪识别，并将获得的情绪识别结果进行融合，得到最终的情绪识别结果；

步骤三，根据最终的情绪识别结果产生对应的智能家居控制信号，以自动控制各智能家居。

进一步地，步骤二进一步包括：

步骤s1，将获取的人脸图像通过模型训练生成单元生成的情绪判别模型来获得用户当前的图像情绪识别结果；

步骤s2，将获取的语音信息通过模型训练生成单元生成的情绪判别模型来获得用户当前的语音情绪识别结果；

步骤s3，将当前图像情绪识别结果与语音情绪识别结果进行融合，得到最终的情绪识别结果。

进一步地，于步骤s3中，分别为图像情绪识别结果与语音情绪识别结果赋予相应的权重，最终的情绪识别结果通过权重值的加权计算获得。

进一步地，该最终的情绪识别结果通过如下公式计算获得：

当前情绪＝α*图像情绪识别结果+β*语音情绪识别结果

其中，α和β分别为图像情绪识别结果与语音情绪识别结果的权重值。

进一步地，该方法还包括：预先定义一组情绪并设置对应各种情绪对智能家居的相应控制信号。

与现有技术相比，本发明一种智能家居控制系统及方法通过获取用户的人脸图像及语音数据，根据获取用户的人脸图像及语音数据基于深度学习融合判别用户情绪，进而根据用户情绪实现自动控制智能家居设备，以达到方便用户生活、减轻用户负担的目的。

附图说明

图1为本发明一种智能家居控制系统的架构示意图；

图2为本发明具体实施例中情绪判别器的细部结构图；

图3为本发明具体实施例的网络结构图；

图4为本发明一种智能家居控制方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种智能家居控制系统的架构示意图。如图1所示，本发明一种智能家居控制系统，包括：图像采集单元11、语音采集单元12、情绪判别器13以及控制单元14。

其中，图像采集单元11，用于采集人脸图像，并将采集到的图像信号发送至情绪判别器13，在本发明具体实施例中，图像采集单元11利用摄像头采集人脸图像；语音采集单元12，用于采集声音信号，并将采集到的声音信号发送至情绪判别器13；情绪判别器13，用于分别根据人脸图像及声音信号进行情绪识别，并将获得的情绪识别结果进行融合，得到最终的情绪识别结果；控制单元14，用于根据情绪判别器13的情绪识别结果产生对应的智能家居控制信号，以自动控制智能家居，具体地，控制单元14预先定义一组情绪并对应各种情绪对智能家居的相应控制信号，例如情绪有：快乐、忧伤、平和、恐惧和愤怒，及各个智能家居设备在该情绪下，最能帮助用户保持或者恢复稳定、愉悦心情的动作(相应控制信号)，例如检测出用户情绪比较低落(忧伤)，则控制单元14则发出控制信号控制智能家居(例如音箱)播放一些旋律激昂的音乐，智能家居(例如电视)播放一些娱乐节目，智能家居(灯光)调节暖色调等。

图2为本发明具体实施例中情绪判别器的细部结构图。如图2所示，情绪判别器13进一步包括模型训练生成单元131、图像判别单元132以及语音判别单元133以及融合单元134。

其中，模型训练生成单元131，通过大量的样本数据进行训练，生成情绪判别模型以用于通过人脸或语音信息进行情绪识别。在训练模型时，需要庞大的样本数据以及强大的计算服务器，由于互联网存在海量的有标注的人类面部图片和语音，模型训练生成单元131则通过搜集互联网存在的海量的图片和语音及其情绪标注，训练多层神经网络来将图片或语音划分到某一情绪类别中，生成情绪判别模型，由于通过训练多层神经网络进行模型生成采用的是现有技术，在此不予赘述。

图像判别单元132，包括人脸判别模型，将获取的人脸图像通过该模型训练生成单元生成的情绪判别模型来获得用户当前的图像情绪识别结果。具体地，图像判别单元132将获取的人脸图像信息代入到情绪判别模型中进行计算，最终得到用户当前的图像情绪识别结果。具体地，图像判别单元132将获取的人脸图像统一处理成固定大小的比如224*224(与网络输入保持一致即可)，然后作为输出传到情绪判别模型里即可进行判断，其输出为预定义的情绪类别。

语音判别单元133，包括语音判别模型，将获得的语音信息通过该模型训练生成单元生成的情绪判别模型来获得用户当前的语音情绪识别结果。具体地，语音判别单元133将获取的语音信息(只要是固定长度的有效语音即可)代入到情绪判别模型中进行计算，最终得到用户当前的语音情绪识别结果，其输出也为预定义的情绪类型。

融合单元134，用于将当前图像情绪识别结果与语音情绪识别结果进行融合，得到最佳的情绪识别结果，在本发明具体实施例中，融合单元134分别为图像情绪识别结果与语音情绪识别结果赋予相应的权重，最终的情绪识别结果则通过权重值的计算获得，例如：

当前情绪＝α*图像情绪识别结果+β*语音情绪识别结果

其中，α和β分别为权重。

在本发明中，权重可以通过使用者预先设定，例如，可以根据经验值来设定，比如语音情绪识别结果的权重设为60％，图像情绪识别结果的权重为40％，也就是说，本发明考虑到不同人性格不同，假如当前用户的面部表情较平淡，而语音更能反映此刻的情绪，则可适当增大语音判别的权重，反之亦然。

在此需说明的是，在使用时，情绪判别模型可以在本地也可以在远程服务器中，所以识别工作可以在本地完成也可以在远程服务器中完成。

以下将通过一具体实施例来进一步说明本发明：

在本发明具体实施例中，首先预先定义一组情绪，如快乐、悲伤、忧郁等，及各个智能设备在该情绪下，最能帮助用户保持或者恢复稳定、愉悦心情的动作，例如当检测出用户情绪比较低落控制设备控制音箱播放一些旋律激昂的音乐，电视播放一些娱乐节目，灯光调节暖色调等。

在本发明具体实施例中，情绪判别器基于深度学习打造，包括语音判别和图像判别，首先通过互联网存在的海量的有标注的人类面部图片和语音，通过搜集这些图片和语音及其情绪标注，训练多层神经网络来将图片或语音划分到某一情绪类别中，生成样本数据库，通过对获取的人脸图像以及声音数据进行特征提取，并通过样本数据库进行比对，获得相应的情绪识别结果，同时，考虑到不同人性格不同，如面部表情较平淡，而语音更能反映此刻的情绪，可适当增大语音判别结果的权重，反之亦然，对语音判别和图像判别结果进行融合，获得当前用户的情绪，即

当前情绪＝α*图片识别结果+β*语音识别结果

其中，α和β为权重。

在本发明具体实施例中，网络结构如图3所示(假如有10种情绪类别)：假如输入为彩色图像，3通道，那么输入到网络中的数据就是224*224*3(224*224为每个通道上的像素个数)，经过一层卷积操作得到96个55*55的featuremap作为下一层网络的输入。

这样经过5层卷积后最终得到128个13*13的特征图，将所有数据展开成一维数组作为输入连接到2个全连接层，全连接层节点数为2048，最后连接到输出层共10个节点，对应10种情绪。

这样输入一张图片到该网络结构中，输出就是10种情绪的概率。选择概率最大的情绪作为最终的判别结果。

可见，本发明可通过定期采集用户图片和语音，并通过情绪判别器自动判别出用户的情绪，并基于该情绪按照预设的方案调节各个智能家居设备。

图4为本发明一种智能家居控制方法的步骤流程图。如图4所示，本发明一种智能家居控制方法，包括如下步骤：

步骤401，分别采集人脸图像与用户的声音数据，并将采集到的图像信号与声音数据发送至情绪判别器。在本发明具体实施例中，利用摄像头采集人脸图像，利用录音设备采集用户的声音数据。

步骤402，分别根据人脸图像及声音信号进行当前用户的情绪识别，并将获得的情绪识别结果进行融合，得到最终的情绪识别结果。

步骤403，根据情绪判别器的情绪识别结果产生对应的智能家居控制信号，以自动控制智能家居。具体地，预先定义一组情绪并对应各种情绪对智能家居的相应控制信号，例如情绪有：快乐、忧伤、平和、恐惧和愤怒，及各个智能家居设备在该情绪下，最能帮助用户保持或者恢复稳定、愉悦心情的动作(相应控制信号)，例如检测出用户情绪比较低落(忧伤)，则发出控制信号控制智能家居(例如音箱)播放一些旋律激昂的音乐，智能家居(例如电视)播放一些娱乐节目，智能家居(灯光)调节暖色调等。

具体地，步骤402进一步包括：

步骤s1，将获取的人脸图像通过模型训练生成单元生成的情绪判别模型来获得用户当前的图像情绪识别结果。具体地，将获取的人脸图像信息代入到情绪判别模型中进行计算，最终得到用户当前的图像情绪识别结果。在本发明具体实施例中，模型训练生成单元预先通过大量的样本数据进行训练，生成情绪判别模型以用于通过人脸或语音信息进行情绪识别，在训练模型时，需要庞大的样本数据以及强大的计算服务器，由于互联网存在海量的有标注的人类面部图片和语音，模型训练生成单元则通过搜集互联网存在的海量的图片和语音及其情绪标注，训练多层神经网络来将图片或语音划分到某一情绪类别中，生成情绪判别模型。具体地，步骤s1中，将获取的人脸图像统一处理成固定大小的比如224*224(与网络输入保持一致即可)，然后作为输出传到情绪判别模型里即可进行判断，其输出为预定义的情绪类别。

步骤s2，将获得的语音信息通过该模型训练生成单元生成的情绪判别模型来获得用户当前的语音情绪识别结果。具体地，将获取的语音信息代入到情绪判别模型中进行计算，最终得到用户当前的语音情绪识别结果。

步骤s3，将当前图像情绪识别结果与语音情绪识别结果进行融合，得到最佳的情绪识别结果，在本发明具体实施例中，分别为图像情绪识别结果与语音情绪识别结果赋予相应的权重，最终的情绪识别结果则通过权重值的加权计算获得，例如：

当前情绪＝α*图像情绪识别结果+β*语音情绪识别结果

其中，α和β分别为图像情绪识别结果与语音情绪识别结果的权重。

综上所述，本发明一种智能家居控制系统及方法通过获取用户的人脸图像及语音数据，根据获取用户的人脸图像及语音数据基于深度学习融合判别用户情绪，进而根据用户情绪实现自动控制智能家居设备，以达到方便用户生活、减轻用户负担的目的。

任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。