空调和空调的控制方法与流程

本申请涉及空调领域，特别涉及空调和空调的控制方法。

背景技术：

随着现在人们生活水平的提高，空调已经成为人们日常生活必不可少的一部分，而且随着人们安全意识的提高，越来越多的家庭和公共场所都安装了火灾报警器，现有技术中，需要分别安装空调和火灾报警器，两个设备占用了较大的空间，且单独安装在天花板的火灾报警器往往破坏了房屋内整体的美观性。

技术实现要素：

本申请提供了一种空和空调的控制方法，用于节省空调和火灾报警器所占用的空间，并提高室内整体的美观性。

为了解决上述问题，作为本申请的一个方面，提供了一种空调，包括：

图像采集单元，用于采集空调所在区域的目标环境图像；

图像识别单元，用于确定目标环境图像中是否显示有火源；

报警单元，用于在目标环境图像中显示有火源时发出提醒信息。

可选的，图像识别单元用于采用神经网络模型确定所述目标环境图像中是否显示有火源，其中所述目标环境图像为所述神经网络模型的输入值。

可选的，神经网络模型为深度卷积神经网络、残差神经网络或bp神经网络中的任意一个。

可选的，神经网络模型为深度卷积神经网络；

深度卷积神经网络包括依次连接的输入层、n个卷积编码网络、n个反卷积解码网络和输出层；

卷积编码网络包括第一卷积层、第一批正则化层、第一激活函数层和最大池化层；

反卷积解码网络包括上采样层、第二卷积层、第二批正则化层和第二激活函数层；

其中，n大于等于1。

可选的，n等于16；

和/或，卷积编码网络还包括：设置在第一激活函数层和最大池化层之间的失活层。

可选的，图像识别单元包括：类别子单元和判断子单元；

类别子单元，用于确定目标环境图像中各个像素的像素类别，其中，像素类别包括火源像素和非火源像素。

判断子单元，用于当目标环境图像中的火源像素比例大于第一预设比例时确定目标环境图像中显示有火源；

其中，火源像素比例为火源像素的像素个数与目标环境图像的总像素个数的比值。

可选的，报警单元具体用于：

当火源像素比例大于第一预设比例且小于第二预设比例时发出提醒信息且向与空调绑定的终端发送提醒信息；和/或，

当火源像素比例大于第二预设比例且小于第三预设比例时发出提醒信息，并且向与空调绑定的服务器发送提醒信息和空调的定位信息，以使服务器控制与空调距离小于预设距离的智能设备发出提醒信息；和/或，

当火源像素比例大于第三预设比例且小于第四预设比例时发出提醒信息，并且向消防部门发出报警信息和空调的定位信息；

其中，第一预设比例<第二预设比例<第三预设比例<第四预设比例。

本申请还提出一种空调的控制方法，空调包括图像采集单元、图像识别单元和报警单元，其特征在于，包括：

图像采集单元采集空调所在区域的目标环境图像；

图像识别单元确定目标环境图像中是否显示有火源；

报警单元在目标环境图像中显示有火源时发出提醒信息。

可选的，图像识别单元采用神经网络模型确定目标环境图像中是否显示有火源，其中目标环境图像为神经网络模型的输入值。

可选的，神经网络模型为深度卷积神经网络、残差神经网络或bp神经网络中的任意一个。

可选的，神经网络模型为深度卷积神经网络；

深度卷积神经网络包括依次连接的输入层、n个卷积编码网络、n个反卷积解码网络和输出层；

卷积编码网络包括第一卷积层、第一批正则化层、第一激活函数层和最大池化层；

反卷积解码网络包括上采样层、第二卷积层、第二批正则化层和第二激活函数层；

其中，n大于等于1。

可选的，n等于16；

和/或，卷积编码网络还包括：设置在第一激活函数层和最大池化层之间的失活层。

可选的，图像识别单元确定目标环境图像中是否显示有火源包括：

确定目标环境图像中各个像素的像素类别，其中，像素类别包括火源像素和非火源像素。

当目标环境图像中的火源像素比例大于第一预设比例时确定目标环境图像中显示有火源；

其中，火源像素比例为像素类别为火源像素的像素个数与目标环境图像的总像素个数的比值。

可选的，报警单元在目标环境图像中有火源时发出提醒信息，包括：

当火源像素比例大于第一预设比例且小于第二预设比例时发出提醒信息且向与空调绑定的终端发送提醒信息；和/或，

当火源像素比例大于第二预设比例且小于第三预设比例时发出提醒信息，并且向与空调绑定的服务器发送提醒信息和空调的定位信息，以使服务器控制与空调距离小于预设距离的智能设备发出提醒信息；和/或，

当火源像素比例大于第三预设比例且小于第四预设比例时发出提醒信息，并且向消防部门发出报警信息和空调的定位信息；

其中，第一预设比例<第二预设比例<第三预设比例<第四预设比例。

本申请提出了一种空调和空调的控制方法，其中空调具有火灾报警功能，通过拍摄目标环境图像并对目标环境图像进行识别判断是否有火源，在有火源时发出提醒信息，因此无需额外安装火灾报警器，节省了空间，同时因为不用在天花板等位置上安装火灾报警器，所以不会破坏室内整体的美观性，从而改善用户的视觉体验。

附图说明

图1为本申请实施例中一种空调的组成图；

图2为本申请实施例中一种深度卷积神经网络的组成图；

图3为本申请实施例中一种卷积编码网络的组成图；

图4为本申请实施例中一种反卷积解码网络的组成图；

图5为本申请实施例中一种图像识别单元的组成图；

图6为本申请实施例中一种空调的控制方法的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或空调不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或空调固有的其它步骤或单元。

在现有技术中，空调和火灾报警器是两个独立的装置，分别安装空调和火灾报警器需要占据较大的空间，而且火灾报警器往往安装在天花板上破坏了室内整体的美观性，为了解决上述问题，如图1所示，本申请提出了一种空调，包括：

图像采集单元10，用于采集空调所在区域的目标环境图像；

图像识别单元20，用于确定目标环境图像中是否显示有火源；

报警单元30，用于在目标环境图像中显示有火源时发出提醒信息。

具体的，图像采集单元10例如可以是设置在空调上的摄像头，优选设置多个摄像头，从而全方位拍摄空调所在区域的目标环境图像，空调所在区域是指空调安装的位置区域，例如空调安装在客厅，则空调所在区域就是客厅。图像识别单元20采用图像处理技术确定目标环境图像中是否显示有火源，在显示有火源时，报警单元30发出提醒信息，例如报警单元30可以包括蜂鸣器，蜂鸣器通过发出警报声音的方式发出提醒信息。本实施例中，空调具有火灾报警功能，因此无需额外安装火灾报警器，节省了空间，同时因为不用在天花板上安装火灾报警器，所以不会破坏室内整体的美观性，从而改善用户的视觉体验。

在一些实施例中，所述图像识别单元用于采用神经网络模型确定所述目标环境图像中是否显示有火源，其中所述目标环境图像为所述神经网络模型的输入值。

具体的，目标环境图像为神经网络模型的输入值，图像识别单元10中存储有预先建立的神经网络模型，在建立神经网络模型时，预先输入大量的图像并先给出识别结果，识别结果包括图像中是否显示有火源，然后对神经网路模型进行训练，从而建立图像与识别结果之间的联系，即确定神经网络模型的各个中间层，在本实施例中，神经网络模型的输出值包括所述目标环境图像中是否显示有火源。可选的，神经网络模型为深度卷积神经网络、残差神经网络或bp神经网络中的任意一个。

在一些可选的实施例中，神经网络模型为深度卷积神经网络；

如图2所示深度卷积神经网络包括依次连接的输入层、n个卷积编码网络、n个反卷积解码网络和输出层；

如图3所示，卷积编码网络包括第一卷积层、第一批正则化层、第一激活函数层和最大池化层；

如图4所示，反卷积解码网络包括上采样层、第二卷积层、第二批正则化层和第二激活函数层；其中，n大于等于1。

具体的，在本实施例中，输入层用于输入目标环境图像、卷积编码网路和反卷积解码网络用于对目标环境图像进行处理，输出层用于输入处理结果，处理结果包括目标环境图像中是否包括火源，本实施例中深度卷积神经网络模型中采用了n层的卷积编码网络和对应有相同层数的反卷积编码网络，其中，n优选等于16。在n优选不小于2时，深度卷积神经网络包括多层卷积编码网络和多层反卷积解码网络，需要注意的是，本实施中多层卷积编码网络中没有使用传统神经网络中的全连接层，这样有利于在最深层(第n层)的卷积编码网络中输出高分辨率的特征图，并且减少了卷积编码网络的参数，从而减少训练卷积编码网络的训练时间。当n不小于2时，第一层卷积编码网络的输入为目标环境图像，位于第一层卷积编码网络之后的其他层的卷积编码网络在编码过程中的输入值都是上一层卷积编码网络的输出特征图，第一卷积层是通过3×3的卷积核对输出特征图进行特征提取(第一层卷积编码网络是对目标环境图像进行特征提取)，然后第一批正则化层对提取的特征进行批正则化操作(batchnormalization)，然后第一激活函数层利用激活函数(优选采用relu激活函数)对批正则化操作后的特征进行非线性映射，最后进行最大池化处理输出特征图像，最大池化处理可以获取目标环境图像在小空间位移变化上的平移不变性，因为n不小于2，即进行了多次最大池化处理，而多次最大池化处理可以获得具有更高的鲁棒性的特征图像。但不断的进行池化下采样，会造成目标环境图像不断失真，边界信息丢失，而本申请中优选需要对目标环境图像的像素点进行像素类别分类从而判断是否显示或火源，在像素类别分类时需要对像素点进行分割，而边界信息丢失并不利于对目标环境图像的分割。所以相对应的，在本申请中在卷积编码网络后设置了反卷积解码网络，以还原目标环境图像中的信息。可选的，为了尽可能的还原目标环境图像中的信息，在最大池化层进行最大池化处理的过程中记录最大特征值的特征索引。在反卷积编码网络解码的过程中，上采样层使用最大池化处理过程中记录的特征索引对输入特征进行上采样，第二卷积层使用一个卷积核对上采样得到的稀疏特征图进行卷积操作得到稠密的特征图，然后第二批正则化层对稠密的特征图进行批正则化处理，然后第二激活函数层对批正则化处理后的特征进行非线性映射并输出特征图像。在本实施例中，在第一卷积层和第二卷积层后都对应设置了批正则化层，从而克服了深度卷积神经网络难以训练的缺点并加速了神经网络的训练过程，防止了深度卷积神经网络在训练过程中容易出现的梯度消失问题，有助于提高训练的收敛速度和模型精度。

可选的，卷积编码网络还包括设置在第一激活函数层和最大池化层之间可的失活层(即神经网络领域中的dropout层)，失活层的用途在于防止过拟合，提高神经网络模型的泛化能力，在设计神经网络模型时，设定的每层神经元代表一个学习到的中间特征(即几个权值的组合)，神经网络模型中所有的神经元共同作用来表征输入数据(目标环境图像)的特定属性。在训练神经网络模型的过程中，当相对于网络的复杂程度而言输入数据过小时，就会出现过拟合，显然这时各神经元表示的特征相互之间存在许多重复和冗余。失活层的直接作用是减少中间特征的数量，从而减少冗余，即增加每层各个特征之间的正交性。

在一些实施例中，如图5所示，图像识别单元20包括：类别子单元21和判断子单元22；

类别子单元21，用于确定目标环境图像中各个像素的像素类别，其中，像素类别包括火源像素和非火源像素。判断子单元22，用于当目标环境图像中的火源像素比例大于第一预设比例时确定目标环境图像中显示有火源；

其中，火源像素比例为火源像素的像素个数与目标环境图像的总像素个数的比值。

具体的，任一图片都是由有限个像素组成，其中当目标环境图像中显示有火源时，显示火源的像素就是火源像素，其他像素就是非火源像素，当图像识别单元采用神经网络模型确定目标环境图像中是否显示有火源时，神经网络模型可以存储在类别子单元21中，在建立了神经网络模型后需要对神经网络模型进行训练，训练时，先采集一些图片，图片分为包含火源和没有火源的，并对擦剂的图片进行手工标注，将每个像素点分为2种像素类别:火源像素、非火源像素，为了方便计算机读取数据，分别标记为0(非火源像素)和1(火源像素)，然后开始训练，具体的训练方法可以采用任何现有的神经网络训练方法，本申请对此不作限定。训练出的神经网络的输出层输出各个像素点的像素类别和火源像素比例，从而确定目标环境图像中是否显示有火源。

需要注意的是，图像采集单元10的个数可以是多个，不同的图像采集单元10拍摄的区域不同，所以不同的图像采集单元拍摄的目标环境图像中显示的火源与实际火源的大小比例也不同，因此，第一比例是与图像采集单元相绑定的，不同的图像采集单元对应的第一比例不同。设置第一比例的目的在于防止误判，因为用户使用燃气灶做饭或是用打火机点烟时也会产生火源，但这些并不是会火灾的火源，在检测到这些火源时不应当发出报警信息。

可选的，报警单元30具体用于：

当火源像素比例大于第一预设比例且小于第二预设比例时发出提醒信息且向与空调绑定的终端发送提醒信息；和/或，

当火源像素比例大于第二预设比例且小于第三预设比例时发出提醒信息，并且向与空调绑定的服务器发送提醒信息和空调的定位信息，以使服务器控制与空调距离小于预设距离的智能设备发出提醒信息；和/或，

当火源像素比例大于第三预设比例且小于第四预设比例时发出提醒信息，并且向消防部门发出报警信息和空调的定位信息；

其中，第一预设比例<第二预设比例<第三预设比例<第四预设比例。

如果没有火源则报警单元30不做出动作，当显示有火源时，火源像素比例越大表明火势越大，如果有火源的话则对火势大小做出判断，并根据火势大小来决定使用哪种提醒方式。需要注意的是，第一比例、第二比例、第三比例和第四比例都是与图像采集单元相绑定的，不同的图像采集单元因为拍摄的区域不同，所以对应的第一比例、第二比例、第三比例和第四比例不同。

可选的报警单元具体用于，在第一次检测到显示有火源的目标环境图像时，采用蜂鸣器的声音提醒和对用户手机发送警报。当持续采集到显示有火源的目标环境图像，且持续第一时间没有人解除蜂鸣器的声音提醒时，空调会向远端服务器发送提醒信息和空调的定位信息，服务器接受到提醒信息和定位信息后会向空调周边的智能设备发送控制指令，控制智能设备发出警报。当持续采集到显示有火源的目标环境图像并且火势呈现为增大的趋势，且持续第二时间没有人解除蜂鸣器的声音提醒时，空调自动的拨打火警电话，并告知火灾发生地点。

如图6所示，本申请还提出一种空调的控制方法，空调包括图像采集单元、图像识别单元和报警单元，其特征在于，包括：

图像采集单元采集空调所在区域的目标环境图像；

图像识别单元确定目标环境图像中是否显示有火源；

报警单元在目标环境图像中显示有火源时发出提醒信息。

本申请任一中的空调的控制方法中的空调，可以是本申请提出的任意一个空调，即本申请提出的空调的控制方法可以是用于本申请提出的任一空调上。本申请提出的控制方法通过采集目标环境图像并识别目标环境图像中是否有火源，从而可以使得空调能够识别火源，并且能够根据火源的状况自动的发出警报，使得空调更加智能，提高用户使用空调时的安全系数。

可选的，所述图像识别单元采用神经网络模型确定所述目标环境图像中是否显示有火源，其中所述目标环境图像为所述神经网络模型的输入值。具体的，图像识别单元10中存储有预先建立的神经网络模型，在建立神经网络模型时，预先输入大量的图像并先给出识别结果，识别结果包括图像中是否显示有火源，然后对神经网路模型进行训练，从而建立图像与识别结果之间的联系，训练神经网络模型的方法可以是任意现有的方法，本申请对此不作限定，在本实施例中，神经网络模型的输出值包括所述目标环境图像中是否显示有火源。可选的，神经网络模型为深度卷积神经网络、残差神经网络或bp神经网络中的任意一个。可选的，神经网络模型为深度卷积神经网络、残差神经网络或bp神经网络中的任意一个。

可选的，神经网络模型为深度卷积神经网络；

深度卷积神经网络包括依次连接的输入层、n个卷积编码网络、n个反卷积解码网络和输出层；任一卷积编码网络包括第一卷积层、第一批正则化层、第一激活函数层和最大池化层；反卷积解码网络包括上采样层、第二卷积层、第二批正则化层和第二激活函数层；其中，n大于等于1。n也可以大于等于2，优选n等于16。

具体的，在本实施例中，深度卷积神经网络模型中采用了n层的卷积编码网络和对应有相同层数的反卷积编码网络，在n不小于2时，深度卷积神经网络包括多层卷积编码网络和多层反卷积解码网络，需要注意的是，本实施中多层卷积编码网络中没有使用传统神经网络中的全连接层，这样有利于在最深层的卷积编码网络中输出高分辨率的特征图，并且减少了卷积编码网络的参数，从而减少卷积编码网络的训练时间。当n不小于2时，第一层卷积编码网络的输入为目标环境图像，位于第一层卷积编码网络之后的其他层的卷积编码网络在编码过程中，每一次第一卷积层都是通过3×3的卷积核对上一层卷积编码网络的输出进行特征提取，然后第一批正则化层对提取的特征进行批正则化操作(batchnormalization)，然后第一激活函数层利用激活函数(优选采用relu激活函数)对批正则化操作后的特征进行非线性映射，最后进行最大池化处理，最大池化处理可以获取目标环境图像在小空间位移变化上的平移不变性，因为n不小于2，即进行了多次最大池化处理，而多次最大池化处理可以获得具有更高的鲁棒性的特征。但不断的进行池化下采样，会造成目标环境图像不断失真，边界信息丢失，并不利于对目标环境图像的分割任务。所以相对应的，在本申请中在卷积编码网络后设置了反卷积解码网络，以还原目标环境图像中的信息。可选的，为了尽可能的还原目标环境图像中的信息，在最大池化层进行最大池化处理的过程中记录最大特征值的特征索引。在反卷积编码网络解码的过程中，上采样层使用池化处理过程中记录的特征索引对输入特征进行上采样得到稀疏特征图，第二卷积层使用一个卷积核对上采样得到的稀疏特征图进行卷积操作得到稠密的特征图，然后第二批正则化层对稠密的特征图进行批正则化处理，然后第二激活函数层对批正则化处理后的特征进行非线性映射。在本实施例中，在第一卷积层和第二卷积层后都对应设置了批正则化层，从而克服了深度卷积神经网络难以训练的缺点并加速了神经网络的训练过程，防止了深度卷积神经网络在训练过程中容易出现的梯度消失问题，有助于提高训练的收敛速度和模型精度。

可选的，所述卷积编码网络还包括：设置在所述第一激活函数层和最大池化层之间的失活层(即神经网络领域中的dropout层)，失活层的用途在于防止过拟合，提高神经网络模型的泛化能力，在设计神经网络模型时，设定的每层神经元代表一个学习到的中间特征(即几个权值的组合)，神经网络模型中所有的神经元共同作用来表征输入数据(目标环境图像)的特定属性。在训练神经网络模型的过程中，当相对于网络的复杂程度而言输入数据过小时，就会出现过拟合，显然这时各神经元表示的特征相互之间存在许多重复和冗余。失活层的直接作用是减少中间特征的数量，从而减少冗余，即增加每层各个特征之间的正交性。

可选的，图像识别单元确定目标环境图像中是否显示有火源包括：

确定目标环境图像中各个像素的像素类别，其中，像素类别包括火源像素和非火源像素。

当目标环境图像中的火源像素比例大于第一预设比例时确定目标环境图像中显示有火源；

其中，火源像素比例为像素类别为火源像素的像素个数与目标环境图像的总像素个数的比值。

可选的，报警单元在目标环境图像中有火源时发出提醒信息，包括：

当火源像素比例大于第一预设比例且小于第二预设比例时发出提醒信息且向与空调绑定的终端发送提醒信息；和/或，

当火源像素比例大于第二预设比例且小于第三预设比例时发出提醒信息，并且向与空调绑定的服务器发送提醒信息和空调的定位信息，以使服务器控制与空调距离小于预设距离的智能设备发出提醒信息；和/或，

当火源像素比例大于第三预设比例且小于第四预设比例时发出提醒信息，并且向消防部门发出报警信息和空调的定位信息；

其中，第一预设比例<第二预设比例<第三预设比例<第四预设比例。

可选的报警单元发出提醒信息具体包括：在第一次检测到显示有火源的目标环境图像时，采用蜂鸣器的声音提醒和对用户手机发送警报。当持续采集到显示有火源的目标环境图像，且持续第一时间没有人解除蜂鸣器的声音提醒时，空调会向远端服务器发送提醒信息和空调的定位信息，服务器接受到提醒信息和定位信息后会向空调周边的智能设备发送控制指令，控制智能设备发出警报。当持续采集到显示有火源的目标环境图像并且火势呈现为增大的趋势，且持续第二时间没有人解除蜂鸣器的声音提醒时，空调自动的拨打火警电话，并告知火灾发生地点。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。