基于语音的智能家居控制系统及其方法与流程

本申请涉及智能家居控制领域，且更为具体地，涉及一种基于语音的智能家居控制系统及其方法。

背景技术：

1、随着科学技术的不断进步和社会的发展，人们对生活品质的追求越来越高。在互联网这个大时代背景下，智能家居也开始逐渐进入到人们的日常生活中。例如，智能窗帘。但是，智能窗帘的控制开关往往通过固定在墙壁上的机械式开关来控制窗帘的开启和关闭，需要到固定的位置才能控制窗帘的开关，用户无法实现对智能窗帘的智能化控制。

2、因此，期望一种基于语音的智能家居控制系统及其方法，以基于语音对智能窗帘进行智能化的控制。

技术实现思路

1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于语音的智能家居控制系统及其方法，其通过音频传感器采集操作者发出的语音信号以及使用摄像头采集被控制窗帘的监控视频，然后通过深度学习中的卷积神经网络分别对所述语音信号和所述监控视频进行特征提取和分析，从而得到用于表示在当前命令下被控制窗帘应该开启或关闭的分类结果。这样，根据语音对智能窗帘进行控制，能够实现对智能窗帘的智能化控制。

2、根据本申请的第一方面，提供了一种基于语音的智能家居控制系统，其包括：

3、数据采集单元，用于通过音频传感器采集操作者发出的语音信号以及使用摄像头采集被控制窗帘的监控视频；

4、降噪单元，用于将所述语音信号通过基于对抗生成网络的降噪器以得到降噪后语音信号；

5、卷积编码单元，用于将所述降噪后语音信号的波形图通过作为特征提取器的第一卷积神经网络以得到语音特征图；

6、视频编码单元，用于将所述监控视频通过使用空间注意力机制的第二卷积神经网络以得到窗帘状态特征图；

7、特征优化单元，用于对所述语音特征图和所述窗帘状态特征图进行单应密度域一致化以得到优化语音特征图和优化窗帘状态特征图；

8、特征融合单元，用于计算所述优化语音特征图和所述优化窗帘状态特征图的按位置加权和以得到融合特征图；

9、结果生成单元，用于将所述融合特征图通过分类器以得到分类结果，所述分类结果用于表示在当前命令下被控制窗帘应该开启或关闭。

10、结合本申请的第一方面，在本申请的第一方面的一种基于语音的智能家居控制系统中，所述卷积编码单元，用于：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：使用所述第一卷积神经网络的各层的卷积单元对所述输入数据进行基于二维卷积核的卷积处理以得到卷积特征图；使用所述第一卷积神经网络的各层的池化单元对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及使用所述第一卷积神经网络的各层的激活单元对所述池化特征图中各个位置的特征值进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述语音特征图。

11、结合本申请的第一方面，在本申请的第一方面的一种基于语音的智能家居控制系统中，所述视频编码单元，包括：初始卷积编码子单元，使用所述第二卷积神经网络的卷积编码部分对所述监控视频进行深度卷积编码以得到初始卷积特征图；空间注意力子单元，将所述初始卷积特征图输入所述第二卷积神经网络的空间注意力部分以得到空间注意力图；特征激活子单元，将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；按位置点乘子单元，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述窗帘状态特征图。

12、根据本申请的第二方面，提供了一种基于语音的智能家居控制方法，其包括：

13、通过音频传感器采集操作者发出的语音信号以及使用摄像头采集被控制窗帘的监控视频；

14、将所述语音信号通过基于对抗生成网络的降噪器以得到降噪后语音信号；

15、将所述降噪后语音信号的波形图通过作为特征提取器的第一卷积神经网络以得到语音特征图；

16、将所述监控视频通过使用空间注意力机制的第二卷积神经网络以得到窗帘状态特征图；

17、对所述语音特征图和所述窗帘状态特征图进行单应密度域一致化以得到优化语音特征图和优化窗帘状态特征图；

18、计算所述优化语音特征图和所述优化窗帘状态特征图的按位置加权和以得到融合特征图；

19、将所述融合特征图通过分类器以得到分类结果，所述分类结果用于表示在当前命令下被控制窗帘应该开启或关闭。

20、根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于语音的智能家居控制方法。

21、与现有技术相比，本申请提供的一种基于语音的智能家居控制系统及其方法，其通过音频传感器采集操作者发出的语音信号以及使用摄像头采集被控制窗帘的监控视频，然后通过深度学习中的卷积神经网络分别对所述语音信号和所述监控视频进行特征提取和分析，从而得到用于表示在当前命令下被控制窗帘应该开启或关闭的分类结果。这样，根据语音对智能窗帘进行控制，能够实现对智能窗帘的智能化控制。

技术特征：

1.一种基于语音的智能家居控制系统，其特征在于，包括：

2.根据权利要求1所述的基于语音的智能家居控制系统，其特征在于，所述基于对抗生成网络的降噪器，包含生成模块和鉴别模块。

3.根据权利要求2所述的基于语音的智能家居控制系统，其特征在于，所述卷积编码单元，用于：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：

4.根据权利要求3所述的基于语音的智能家居控制系统，其特征在于，所述视频编码单元，包括：

5.根据权利要求4所述的基于语音的智能家居控制系统，其特征在于，所述特征优化单元，包括：

6.根据权利要求5所述的基于语音的智能家居控制系统，其特征在于，所述特征融合单元，用于：使用如下融合公式来融合所述优化语音特征图和所述优化窗帘状态特征图以获得所述融合特征图，其中，所述融合公式为：

7.根据权利要求6所述的基于语音的智能家居控制系统，其特征在于，所述结果生成单元，用于：使用所述分类器以如下结果生成公式对所述融合特征图进行处理以得到所述分类结果；

8.一种基于语音的智能家居控制方法，其特征在于，包括：

9.根据权利要求8所述的基于语音的智能家居控制方法，其特征在于，将所述语音信号通过基于对抗生成网络的降噪器以得到降噪后语音信号，所述基于对抗生成网络的降噪器，包含生成模块和鉴别模块。在训练过程中，所述降噪器将通过生成模块所生成的语音信号与参考语音信号输入所述鉴别模块，进而通过鉴别器损失函数值来训练所述降噪器的生成模块。

10.根据权利要求9所述的基于语音的智能家居控制方法，其特征在于，将所述降噪后语音信号的波形图通过作为特征提取器的第一卷积神经网络以得到语音特征图，用于：使用所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：

技术总结
本申请涉及智能家居控制领域，其具体地公开了一种基于语音的智能家居控制系统及其方法，其通过音频传感器采集操作者发出的语音信号以及使用摄像头采集被控制窗帘的监控视频，然后通过深度学习中的卷积神经网络分别对所述语音信号和所述监控视频进行特征提取和分析，从而得到用于表示在当前命令下被控制窗帘应该开启或关闭的分类结果。这样，根据语音对智能窗帘进行控制，能够实现对智能窗帘的智能化控制。

技术研发人员：洪国来,谢雁廷,林芳
受保护的技术使用者：安徽欧来福智能家居有限公司
技术研发日：
技术公布日：2024/1/15