家用电器的控制方法、控制装置、家用电器及存储装置与流程

本申请涉及家用电器技术领域，特别是涉及一种家用电器的控制方法、控制装置、家用电器及存储装置。

背景技术：

在家居场景下，家用电器可以通过人脸识别系统识别出当前家居场景内的人员是否为家庭成员，然后根据家庭成员的指令执行相应的操作。其中，人脸识别是上述步骤中至关重要的一个环节，因为只有准确检测到人脸，才能进行后续环节。

但是，在家居场景中，家庭成员经常处在复杂多变的光照环境以及距离家用电器相对较远的位置，例如，处在距离家用电器4m处的位置，摄像头所采集的原始图像中的人脸较小，很难精确识别出人脸。因此，如何有效且精确检测出人脸是目前需要解决的技术问题。

技术实现要素：

本申请主要解决的技术问题是提供一种家用电器的控制方法、控制装置、家用电器及存储装置，能够提高人脸检测的精确度，进而提升家用电器控制的精确度。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种家用电器的控制方法，所述控制方法包括：获得原始图像；利用头肩检测模型从所述原始图像中获得人物的头肩图像；利用人脸检测模型从所述头肩图像中获得人物的脸部图像；响应于所述脸部图像符合预设鉴权条件的判断结果，获得符合所述预设鉴权条件的所述脸部图像对应的人物的控制指令；根据所述控制指令控制所述家用电器执行相应的操作。

其中，所述获得原始图像的步骤之前，还包括：预设基于深度学习算法的所述头肩检测模型和所述人脸检测模型。

其中，所述预设基于深度学习算法的所述头肩检测模型/所述人脸检测模型的步骤包括：将yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理，以形成多个yolov2裁剪网络模型；对多个所述yolov2裁剪网络模型分别进行训练和测试；根据各所述yolov2裁剪网络模型的测试结果，从多个所述yolov2裁剪网络模型中选择其中一个作为所述头肩检测模型/所述人脸检测模型。

其中，所述将yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理的步骤包括：将所述yolov2原始网络模型作为待裁剪网络模型；将所述待裁剪网络模型中除最后一层卷积层外的最靠近所述最后一层卷积层的预定数量的卷积层删除，以获得已裁剪网络模型；对所述已裁剪网络模型进行训练和测试；响应于所述已裁剪网络模型的测试结果符合预期的判断结果，将所述已裁剪网络模型作为所述待裁剪网络模型，并返回所述将所述待裁剪网络模型中除最后一层卷积层外的最靠近所述最后一层卷积层的预定数量的卷积层删除的步骤；响应于所述已裁剪网络模型的测试结果不符合预期的判断结果，以不同的缩小方式将最后获得的满足预期的已裁剪网络模型中除最后一层卷积层外的其他卷积层做通道缩小处理，以形成多个所述yolov2裁剪网络模型。

其中，所述将yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理的步骤之前，还包括：利用k-means聚类算法获得不同k值对应的锚框值，其中，所述k值为聚类中心的数量；利用获得的多个锚框值分别调整所述yolov2原始网络模型；对多个调整后的所述yolov2原始网络模型分别进行训练和测试；根据各调整后的所述yolov2原始网络模型的测试结果选择最符合预期的调整后的所述yolov2原始网络模型。

其中，所述获得符合所述预设鉴权条件的所述脸部图像对应的人物的控制指令的步骤包括：获得符合所述预设鉴权条件的所述脸部图像对应的整体人物图像；从所述整体人物图像中获得对应人物的手势类型；根据所述手势类型生成对应的所述控制指令。

其中，所述根据所述控制指令控制所述家用电器执行相应的操作的步骤包括：根据所述控制指令控制所述家用电器进行温度调节。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种家用电器的控制装置，包括处理器和存储器，所述处理器耦接所述存储器，所述存储器中存储有程序指令，所述处理器执行所述程序指令，通过所述程序指令实现上述任一实施例所述的控制方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种家用电器，包括上述任一实施例中所述的控制装置以及摄像头。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种具有存储功能的装置，所述装置存储有程序数据，所述程序数据能够被执行以实现上述任一实施例中所述的控制方法。

本申请的有益效果是：本申请中通过两步法检测获得人物的脸部图像，具体为：先通过头肩检测模型从原始图像中粗定位获得人物的头肩图像；然后针对头肩图像再采用人脸检测模型精确定位获得人物的脸部图像。后续响应于脸部图像符合预设鉴权条件的判断结果，获得符合预设鉴权条件的脸部图像对应的人物的控制指令，根据控制指令控制家用电器执行相应的操作。本申请采用级联的思想，利用从粗到细的方式可以检测出家居场景下(例如，灯光复杂多变的家居场景下)的脸部图像；由于头肩区域相比脸部区域大，检测头肩区域相对于检测脸部区域而言，更为容易；在检测到头肩图像后，再根据头肩图像检测获得脸部图像，可以有效地检测出复杂光照下及远距离下(例如，距离家用电器4m以内)的人脸，其人脸识别精确度提高，降低漏检、误检的概率。后续将检测到的人脸送入到识别以及控制环节，提升家用电器控制的精确度，以及提高在复杂多变的光照环境下及远距离时候的用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1为本申请家用电器的控制方法一实施方式的流程示意图；

图2a为原始图像一实施方式的结构示意图；

图2b为头肩图像一实施方式的结构示意图；

图2c为脸部图像一实施方式的结构示意图；

图3为图1中步骤s104中获得符合预设鉴权条件的脸部图像对应的人物的控制指令一实施方式的流程示意图；

图4为图1中步骤s101之前预设基于深度学习算法的头肩检测模型/人脸检测模型一实施方式的流程示意图；

图5为图4中步骤s301一实施方式的流程示意图；

图6为图4中步骤s301之前本申请所提供的家用电器的控制方法一实施方式的流程示意图；

图7为本申请家用电器的控制装置一实施方式的结构示意图；

图8为本申请家用电器一实施方式的结构示意图；

图9为本申请具有存储功能的装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请家用电器的控制方法一实施方式的流程示意图，该家用电器可以是空调、风扇等，该控制方法包括：

s101：获得原始图像。

具体地，如图2a所示，图2a为原始图像一实施方式的结构示意图。在本实施例中，上述步骤s101具体包括：获得家用电器上的摄像头拍摄获得的包含人物的原始图像。家用电器上的摄像头(例如，720p高清摄像头等)可以一直处于工作状态，摄像头可以实时对其周围的家居环境进行拍摄并将拍摄到的原始图像发送至处理器中。其中，处理器对原始图像中是否包含人物进行识别和判断的过程可采用相关技术中任意一种，例如，opencv等，本申请对此不作过多说明。当然，在其他实施例中，家用电器上或者家用电器周围还可设置有红外感应器，响应于红外感应器感应到周围有人物存在，摄像头对周围的环境进行拍摄；响应于红外感应器未感应到周围有人物存在，摄像头处于休眠状态。

此外，在本实施例中，摄像头可以位于家用电器的正前方，其可拍摄家用电器前方以及周边预设角度范围内的原始图像，且原始图像中所包含的人物可以面向摄像头、侧向摄像头或背向摄像头。

s102：利用头肩检测模型从原始图像中获得人物的头肩图像。

具体地，如图2b所示，图2b为头肩图像一实施方式的结构示意图。在该步骤s102或上述步骤s101之前，本申请所提供的控制方法还包括：预设基于深度学习算法的头肩检测模型。上述步骤s102具体实现过程为：头肩检测模型会先从原始图像中提取出特征图，然后在提取的特征图中采用目标检测机制检测获得头肩图像、以及头肩图像在原始图像中的坐标。上述基于深度学习算法的头肩检测模型准确度较高，且较为成熟，该头肩检测模型可以采用相关技术中任一一种，或者采用下述本申请所提供的新型头肩检测模型，具体模型结构参见下方。

s103：利用人脸检测模型从头肩图像中获得人物的脸部图像。

具体地，如图2c所示，图2c为脸部图像一实施方式的结构示意图。在该步骤s103或上述步骤s101之前，本申请所提供的控制方法还包括：预设基于深度学习算法的人脸检测模型。上述步骤s103具体实现过程为：人脸检测模型先从头肩图像中提取出特征图，然后在提取的特征图中采用目标检测机制检测获得脸部图像、以及脸部图像在原始图像中的坐标。上述基于深度学习算法的人脸检测模型准确度较高，且较为成熟，该人脸检测模型可以采用相关技术中任一一种，或者采用下述本申请所提供的新型人脸检测模型，具体模型结构参见下方。

s104：响应于脸部图像符合预设鉴权条件的判断结果，获得符合预设鉴权条件的脸部图像对应的人物的控制指令。

具体地，预设鉴权条件可以为预设身份信息，在上述步骤s104之前，本申请所提供的控制方法还包括：预设家庭成员的面部图像。上述步骤s104中响应于脸部图像符合预设鉴权条件的判断结果具体包括：响应于步骤s103中获得的脸部图像与预设家庭成员的面部图像吻合。

此外，请参阅图3，图3为图1中步骤s104中获得符合预设鉴权条件的脸部图像对应的人物的控制指令一实施方式的流程示意图。上述步骤s104中获得符合预设鉴权条件的脸部图像对应的人物的控制指令的步骤具体包括：

s201：获得符合预设鉴权条件的脸部图像对应的整体人物图像。

具体地，在上述步骤s103中获得脸部图像时可以一并获得脸部图像在原始图像中的坐标，可以根据该坐标从原始图像中定位获得其对应的整体人物图像。

s202：从整体人物图像中获得对应人物的手势类型。

s203：根据手势类型生成对应的控制指令。

具体地，在一个应用场景中，手势类型可由左右手和所伸的手指根数决定，其中左手代表升高温度，右手代表下降温度，升高或者下降温度的数值由所伸的手指根数决定；例如，升高或者下降的温度数值等于δt*n，其中，δt为预设温度差，n为手指根数。举例而言，若此时对应的人物手势类型为左手伸2个手指，则其对应的控制指令为升高2δt温度值。

当然，其他实施例中，上述步骤s104中获得符合预设鉴权条件的脸部图像对应的人物的控制指令的方法也可为其他；例如，对复合预设鉴权条件的脸部图像对应的人物进行跟踪，获得预设时间范围内的该人物的肢体动作，根据该肢体动作生成对应的控制指令。举例而言，若此时肢体动作为手臂连续下摆n次，则对应的控制指令为降低n*δt温度值；若此时肢体动作为手臂连续上扬n次，则对应的控制指令为升高n*δt温度值。

此外，在某些情况下，从原始图像中可以获得多个符合预设鉴权条件的脸部图像，此时上述步骤s104具体为：响应于多个脸部图像符合预设鉴权条件的判断结果，按优先级顺序判断多个脸部图像对应的人物是否包含控制指令；将包含控制指令且优先级顺序最高的脸部图像对应的控制指令输出。例如，从原始图像中可以获得a、b、c、d四个符合预设鉴权条件的脸部图像，且经分析获得优先级顺序依次为a＞b＞c＞d；若此时仅b和d对应的人物包含控制指令，则将b对应的控制指令输出。

s105：根据控制指令控制家用电器执行相应的操作。

例如，上述步骤s105具体包括：根据控制指令控制家用电器进行温度调节。该温度调节的方式较为便捷，用户体验较好。又例如，上述步骤s105具体包括：根据控制指令控制家用电器进行摆风角度调节、摆风开始设置、摆风停止设置等。

本申请采用级联的思想，利用从粗到细的方式可以检测出家居场景下(例如，灯光复杂多变的家居场景下)的脸部图像；由于头肩区域相比脸部区域大，检测头肩区域相对于检测脸部区域而言，更为容易；在检测到头肩图像后，再根据头肩图像检测获得脸部图像，可以有效地检测出复杂光照下及远距离下(例如，距离家用电器4m以内)的人脸，其人脸识别精确度提高，降低漏检、误检的概率。后续将检测到的人脸送入到识别以及控制环节，提升家用电器控制的精确度，以及提高在复杂多变的光照环境下及远距离时候的用户体验。

下面请参阅图4，图4为图1中步骤s101之前预设基于深度学习算法的头肩检测模型/人脸检测模型一实施方式的流程示意图。上述所提及的预设基于深度学习算法的头肩检测模型/人脸检测模型的具体过程包括：

s301：将yolov2原始网络模型中除最后一层卷积层外的其余卷积层进行通道缩小和/或部分删除处理，以形成多个yolov2裁剪网络模型。

在一个实施方式中，请参阅图5，图5为图4中步骤s301一实施方式的流程示意图，上述步骤s301具体包括：

s401：将yolov2原始网络模型作为待裁剪网络模型。

具体地，可选择现有的yolov2原始网络模型作为最开始的待裁剪网络模型，例如，现有的yolov2原始网络模型包括级联的：卷积层(通道数为32)、池化层、卷积层(通道数为64)、池化层、卷积层(通道数为128)、卷积层(通道数为64)、卷积层(通道数为128)、池化层、卷积层(通道数为256)、卷积层(通道数为128)、卷积层(通道数为256)、池化层、卷积层(通道数为512)、卷积层(通道数为256)、卷积层(通道数为512)、卷积层(通道数为256)、卷积层(通道数为512)、池化层、卷积层(通道数为1024)、卷积层(通道数为512)、卷积层(通道数为1024)、卷积层(通道数为512)、卷积层(通道数为1024)、卷积层(通道数为1024)、卷积层(通道数为1024)、特征桥接层、卷积层(通道数为64)、特征重组层、特征桥接层、卷积层(通道数为1024)、卷积层(通道数为35)、目标区域层。

s402：将待裁剪网络模型中除最后一层卷积层外的最靠近最后一层卷积层的预定数量的卷积层删除，以获得已裁剪网络模型。

具体地，预定数量可以为1个、2个、3个等。

s403：对已裁剪网络模型进行训练和测试。

具体地，当需要获得头肩检测模型时，可采用头肩图像对应的测试集和训练集进行训练；然后对训练后的模型采用验证集进行测试。当需要获得人脸检测模型时，可采用人脸图像对应的测试集和训练集进行训练；然后对训练后的模型采用验证集进行测试。

s404：响应于已裁剪网络模型的测试结果符合预期的判断结果，将已裁剪网络模型作为待裁剪网络模型，并返回将待裁剪网络模型中除最后一层卷积层外的最靠近最后一层卷积层的预定数量的卷积层删除的步骤。

s405：响应于已裁剪网络模型的测试结果不符合预期的判断结果，以不同的缩小方式将最后获得的满足预期的已裁剪网络模型中除最后一层卷积层外的其他卷积层做通道缩小处理，以形成多个yolov2裁剪网络模型。

具体地，在本实施例中，上述最后获得的满足预期的已裁剪网络模型相对于现有的yolov2原始网络模型而言，删除了所有通道数为1024的卷积层，且从后往前数，删除3个通道数为512的卷积层。上述步骤s405可以为将除最后一层卷积层外的其他卷积层的通道数分别缩小为原来的1/2、1/4、1/8等，以获得多个yolov2裁剪网络模型。

上述获得多个yolov2裁剪网络模型的方法较为简单。当然，在其他实施例中，上述步骤s103的实现方式也可为其他，例如，可先对yolov2原始网络模型进行不同方式的通道缩小处理，并分别对通道缩小处理后的yolov2原始网络模型进行测试和训练；将测试结果最优的通道缩小处理后的yolov2原始网络模型作为待裁剪网络模型；将待裁剪网络模型中除最后一层卷积层外的最靠近最后一层卷积层的预定数量的卷积层删除，以形成多个yolov2裁剪网络模型。

此外，为了提高网络模型的运算速度，在进行上述步骤s301时，也可一并将现有的yolov2原始网络模型中的特征重组层、特征桥接层删除。

s302：对多个yolov2裁剪网络模型分别进行训练和测试。

具体地，当需要获得头肩检测模型时，可采用头肩图像对应的测试集和训练集进行训练；然后对训练后的模型采用验证集进行测试。当需要获得人脸检测模型时，可采用人脸图像对应的测试集和训练集进行训练；然后对训练后的模型采用验证集进行测试。

s303：根据各yolov2裁剪网络模型的测试结果，从多个yolov2裁剪网络模型中选择其中一个作为头肩检测模型/人脸检测模型。

具体地，可根据各yolov2裁剪网络模型的测试结果，将测试结果最符合预期即准确率最高的yolov2裁剪网络模型作为头肩检测模型/人脸检测模型。例如，在本实施例中，当通道数缩小为原来的1/4的yolov2裁剪网络模型为准确率最高的网络模型，可将其作为头肩检测模型/人脸检测模型。

由上述方式获得的头肩检测模型/人脸检测模型大小约4kb左右，占用设备内存少，计算量少，响应时间快，可以直接植入家用电器的设备系统中。

在又一个实施方式中，为了进一步提高模型精确度，请参阅图6，图6为图4中步骤s301之前本申请所提供的家用电器的控制方法一实施方式的流程示意图。上述步骤s301之前，还包括：

s501：利用k-means聚类算法获得不同k值对应的锚框值，其中，k值为聚类中心的数量。

例如，上述步骤s501包括：采用k-means算法，k的值选取为4，聚类完成后得到4组锚框值，每组锚框值表示为目标框的长和宽；采用采用k-means算法，k的值选取为5，聚类完成后得到5组锚框值，每组锚框值表示为目标框的长和宽；采用k-means算法，k的值选取为6，聚类完成后得到6组锚框值，每组锚框值表示为目标框的长和宽。

s502：利用获得的多个锚框值分别调整yolov2原始网络模型。

例如，上述步骤s502具体包括：将yolov2原始网络模型中目标区域层的锚框值分别设置为上述步骤s501中获得的锚框值，以获得三个调整后的yolov2原始网络模型。

s503：对多个调整后的yolov2原始网络模型分别进行训练和测试。

s504：根据各调整后的yolov2原始网络模型的测试结果选择最符合预期的调整后的yolov2原始网络模型。

当然，在其他实施例中，也可先采用步骤s301-s303获得裁剪后准确率最高的yolov2裁剪网络模型，然后对准确率最高的yolov2裁剪网络模型进行步骤s501-s504对应的方法流程。或者，为了降低模型的运算数量，上述步骤s501-s504之前，可以先对网络模型进行部分裁剪和/或通道缩小处理，然后在进行步骤s501-s504获得准确率最高的网络模型后，再对准确率最高的网络模型进行裁剪和/或通道缩小处理。

此外，在上述步骤s303之后，还可以对选定的头肩检测模型/人脸检测模型进行微调，微调一些卷积层中的通道数量，并进行训练测试，比较准确率情况，以获得最佳的头肩检测模型/人脸检测模型。

在一个具体的应用场景中，本申请最终获得的头肩检测模型为：卷积层(通道数量8)、池化层、卷积层(通道数量12)、池化层、卷积层(通道数量16)、卷积层(通道数量8)、卷积层(通道数量16)、池化层、卷积层(通道数量32)、卷积层(通道数量16)、卷积层(通道数量32)、池化层、卷积层(通道数量64)、卷积层(通道数量32)、卷积层(通道数量64)、卷积层(通道数量32)、卷积层(通道数量64)、卷积层(通道数量30)、目标区域层(锚框值：2.79721,1.64512；3.89052,2.00835；4.90126,2.02109；6.17308,3.05613；10.91047,6.15195)。

本申请最终获得的人脸检测模型为：卷积层(通道数量8)、池化层、卷积层(通道数量12)、池化层、卷积层(通道数量16)、卷积层(通道数量8)、卷积层(通道数量16)、池化层、卷积层(通道数量32)、卷积层(通道数量16)、卷积层(通道数量32)、池化层、卷积层(通道数量64)、卷积层(通道数量32)、卷积层(通道数量64)、卷积层(通道数量32)、卷积层(通道数量64)、卷积层(通道数量30)、目标区域层(锚框值：0.72213,1.12904；1.27083,2.02340；2.213495,3.44419；3.60766,5.54824；5.538638,8.54274)。

请参阅图7，图7为本申请家用电器的控制装置一实施方式的结构示意图，该控制装置10包括处理器100和存储器102，处理器100耦接存储器102，存储器102中存储有程序指令，处理器100执行程序指令，通过程序指令实现上述任一实施例中的控制方法。在本实施例中，该控制装置10可以集成于家用电器上，也可以独立于家用电器，只要其与家用电器之间产生关联即可。

上述所提及的耦接表示两个对象间的一个或多个对应端口形成连接，具有系统性，即处理器100和存储器102间通过一个或多个对应端口连接。

请参阅图8，图8为本申请家用电器一实施方式的结构示意图，该家用电器20可包括上述任一实施例中的控制装置(图未示)以及摄像头200。在本实施例中，当家用电器20为空调或风扇时，该摄像头200可以设置于家用电器20设置有出风口一侧表面。该摄像头200可以在家用电器20出厂时即设置在其表面，也可以由用户自行安装；当用户自行安装该摄像头200，可以经过绑定操作以使得该摄像头200与家用电器20的控制装置发生关联。

请参阅图9，图9为本申请具有存储功能的装置一实施方式的结构示意图，该具有存储功能的装置30存储有程序数据300，程序数据300能够被执行以实现上述任一实施例中的控制方法。即上述家用电器的控制方法可以以软件形式实现并作为独立的产品销售或使用时，可存储在一个电子设备可读取的具有存储功能的装置30中。具有存储功能的装置30可以是u盘、光盘或者服务器。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。