一种人脸检测控制系统及其应用的制作方法

文档序号：20786938发布日期：2020-05-19 21:47阅读：136来源：国知局

本发明涉及一种人脸检测控制系统及其应用，属于人脸检测与智能家居的结合技术。

背景技术：

随着计算机应用技术的发展，物联网和智能家居的概念已经逐渐普及。市面上也涌现出了多种智能家居产品，例如：智能音箱、智能电视、智能空调等等，常见的智能家居产品普遍采用按键交互或触屏交互，部分产品也在尝试语音交互或视频交互方式等。

然而，按键交互或触屏交互方式对于老年人、儿童、残障人士等特殊人群，显得较为复杂，一般情况下，上述人群的控制需求较为固定，例如：儿童会在某一段时间内持续喜欢看某个电视频道，老年人会在某一个时间内持续喜欢听某个音乐节目，因此，使用按键或触屏效率不高。

同时，现有语音交互或视频交互方式也只是做了初步的改良，详细的操作步骤还是需要用户用肢体或语言表达出来，例如：语音交互中，需要用普通话说出打开返回主菜单—打开x程序—选择a频道—进入等等，还是需要一定的操作技巧和门槛。

面对上述技术背景，目前急需设计一种新的交互方式，一方面要能够降低交互成本，适用于老年人、儿童、残障人士等特殊人群；另一方面需要极大提升控制效率，基于用户特征，快速锁定对应的控制参数，完成个性化的服务匹配，满足不同场合的实际应用。

技术实现要素：

面对上述技术背景和技术问题，本发明提出了一种人脸检测控制系统及其应用，该系统一方面可以极大的降低交互成本，适用于老年人、儿童、残障人士等特殊人群；另一方面可以极大提升控制效率，基于用户的脸部特征，快速锁定对应的控制参数，完成个性化的服务匹配，满足不同场合的实际应用。

为达到上述目的，本发明的实施例采用如下技术方案：

一种人脸检测控制系统包括处理器以及与所述处理器分别连接的图像采集电路、通讯电路、无线控制电路、电源电路、指示电路和存储电路，其中：所述图像采集电路用于采集用户的人脸照片、且包括ccd或cmos摄像头；所述通讯电路用于连接上位机、完成处理器的数据设置，通讯电路采用无线方式或有线方式，所述无线方式包括wifi、无线hdmi、4g移动通信网络、5g移动通信网络或rf射频通信，所述有线方式包括usb、csi、rj45、mipi或dvp接口；所述无线控制电路用于向执行器发射无线控制信号，所述无线控制信号包括wifi信号、zigbee信号、红外信号或sub-1ghz信号；所述电源电路用于向系统供电；所述指示电路用于向用户反馈处理器的工作状态，所述指示电路包括led、蜂鸣器或显示器；所述存储电路用于储存授权用户人脸数据、无线控制信号集和控制数据，所述每个授权用户人脸均存在对应的无线控制信号集；所述处理器针对图像采集电路获取的人脸照片进行处理和判断，并基于授权用户人脸通过无线控制电路向执行器发出对应的无线控制信号集。

优选的，该系统还包括壳体、连接件和座体，其中：所述壳体作为安装主体通过连接件设置在座体上，所述连接件包括球接头、万向管或万节管，所述座体包括底座或夹座；所述壳体的正面设置有摄像头，壳体的背面设置有弯管，所述弯管的末端安装有无线收发头，所述摄像头通过壳体内部电路连接处理器，无线收发头通过壳体内部电路连接处理器；壳体上还设置有指示装置和接口，指示装置包括led和/或音箱。具体的，还包括设置在座体底部的粘连体，所述粘连体包括磁铁、尼龙扣或双面胶。

优选的，该系统包括如下控制流程：

a1）判断设备是否授权；

a2）当设备已授权时，判断无线控制是否设置；当设备未授权时，对设备进行授权，授权后返回步骤a1；

a3）当无线控制已设置时，进入步骤a4；当无线控制未设置时，设置无线控制，设置后返回步骤a1；

a4）通过图像采集电路采集当前用户的人脸照片；

a5）基于采集的人脸照片判断画面或人脸检测是否正常；

a6）当画面检测正常和/或人脸检测正常时，判断当前识别人脸是否是已授权用户人脸；当画面检测非正常且人脸检测检测非正常时，返回步骤a4；

a7）如果当前识别人脸已授权时，判断人脸定位是否在授权区域且为正常状态；如果当前识别人脸未授权时，返回步骤a4；

a8）当人脸定位在授权区域且为正常状态时，进入步骤a9；当人脸定位不在授权区域或非正常状态时，返回步骤a4；

a9）基于当前授权人脸，采用自动匹配处理算法，确定出对应的无线控制信号，通过无线控制电路向执行器发射对应的无线控制信号；

a10）返回步骤a4。

优选的，所述步骤6中还设置有srcnns处理步骤，其中：

a6.1）当画面检测正常和/或人脸检测正常时，判断图片分辨率是否正常；当画面检测非正常且人脸检测检测非正常时，返回步骤a4；

a6.2）当图片分辨率正常时，判断当前识别人脸是否是已授权用户人脸；当图片分辨率非正常时，采用srcnns处理后再判断当前识别人脸是否是已授权用户人脸。

优选的，所述步骤2包括如下操作：

a2.1）基于图像采集电路的拍摄区域设置授权区域；

a2.2）利用人脸识别算法通过图像采集电路获取用户人脸信息，并经过人脸训练算法，确定授权的用户人脸。

优选的，所述步骤3包括如下操作：

a3.1）将无线控制电路的发出信号匹配成执行器能够识别的无线控制信号；

a3.2）基于已匹配的无线控制信号和已授权用户人脸信息，建立信号控制表，所述信号控制表包括多组记录位置、已匹配无线控制信号集和已授权用户人脸。

优选的，所述步骤7和步骤8包括如下操作：：

a7.1）如果当前识别人脸为已授权用户人脸时，获取当前授权人脸的轮廓；如果当前识别人脸未授权时，返回步骤a4；

a7.2）获取授权区域轮廓，并判断当前授权人脸是否位于授权区域内；

a7.3）如果当前授权人脸位于授权区域内，判断当前授权人脸是否为正常状态；如果当前授权人脸没有位于授权区域内，返回步骤a4；

a8）如果当前授权人脸是为正常状态，则进入到步骤a9；如果当前授权人脸是为非正常状态，返回步骤a4；

优选的，所述步骤a7.3和步骤a8包括如下操作：

a7.3.1）如果当前授权人脸位于授权区域内，判断当前授权人脸的尺寸是否为正常数据；

a7.3.2）如果当前授权人脸的尺寸是正常数据，判断当前授权人脸是远离授权区域还是靠近授权区域；如果当前授权人脸的尺寸不是正常数据，返回步骤a4；

a7.3.3）如果当前授权人脸靠近授权区域，则判断当前授权人脸是否为真脸；如果当前授权人脸远离授权区域，返回步骤a4；

a8）如果当前授权人脸是真脸，则进入到步骤a9；如果当前授权人脸是假脸，返回步骤a4。

优选的，所述自动匹配处理算法包括如下步骤：

a9.1）基于当前授权人脸在信号控制表中查询，确定对应的第i记录位置和第i已匹配无线控制信号集；

a9.2）通过无线控制电路向执行器发射第i已匹配无线控制信号集；

a9.3）在信号控制表中，将原第i记录位置对应的原第i授权人脸和原第i已匹配无线控制信号集更新至第1记录位置对应的第1授权人脸和第1已匹配无线控制信号集，并将原第1至（i-1）记录位置对应的原第1至（i-1）授权人脸和原第1至（i-1）已匹配无线控制信号集依次更新为第2至i记录位置对应的第2至i授权人脸和第2至i已匹配无线控制信号集。

基于上述人脸检测控制系统，可以广泛的应用于电视、空调、遥控音箱、遥控led、遥控大门中，具体的包括如下操作步骤：

b1）判断设备是否授权；

b2）当设备未授权时，基于图像采集电路的拍摄区域设置授权区域，利用人脸识别算法通过图像采集电路获取用户人脸信息，并经过人脸训练算法，确定授权的用户人脸，授权后返回步骤b1；当设备已授权时，判断无线控制是否设置；

b3）当无线控制未设置时，将无线控制电路的发出信号匹配成执行器能够识别的无线控制信号，所述执行器包括电视、空调、遥控音箱、遥控led或遥控大门中的一种或多种，所述无线控制信号包括红外、wifi、bt、z-wave、射频（433m）或zigbee信号，基于已匹配的无线控制信号和已授权用户人脸信息，建立信号控制表，所述信号控制表包括多组记录位置、已匹配无线控制信号集和已授权用户人脸，设置后返回步骤b2；当无线控制已设置时，进入步骤b4；

b4）通过图像采集电路采集当前用户的人脸照片；

b5）基于采集的人脸照片判断画面或人脸检测是否正常；

b6）当画面检测正常和/或人脸检测正常时，判断当前识别人脸是否是已授权用户人脸；当画面检测非正常且人脸检测检测非正常时，返回步骤b4；

b7.1）如果当前识别人脸为已授权用户人脸时，获取当前授权人脸的轮廓；如果当前识别人脸未授权时，返回步骤b4；

b7.2）获取授权区域轮廓，并判断当前授权人脸是否位于授权区域内；

b7.3.1）如果当前授权人脸位于授权区域内，判断当前授权人脸的尺寸是否为正常数据；

b7.3.2）如果当前授权人脸的尺寸是正常数据，判断当前授权人脸是远离授权区域还是靠近授权区域；如果当前授权人脸的尺寸不是正常数据，返回步骤b4；

b7.3.3）如果当前授权人脸靠近授权区域，则判断当前授权人脸是否为真脸；如果当前授权人脸远离授权区域，返回步骤b4；

b8）如果当前授权人脸是真脸，则进入到步骤b9；如果当前授权人脸是假脸，返回步骤b4。

b9.1）基于当前授权人脸在信号控制表中查询，确定对应的第i记录位置和第i已匹配无线控制信号集；

b9.2）通过无线控制电路向执行器发射第i已匹配无线控制信号集；

b9.3）在信号控制表中，将原第i记录位置对应的原第i授权人脸和原第i已匹配无线控制信号集更新至第1记录位置对应的第1授权人脸和第1已匹配无线控制信号集，并将原第1至（i-1）记录位置对应的原第1至（i-1）授权人脸和原第1至（i-1）已匹配无线控制信号集依次更新为第2至i记录位置对应的第2至i授权人脸和第2至i已匹配无线控制信号集；

b10）返回步骤b4。

本发明提出的人脸检测控制系统具有以下有益效果：

（1）与现有交互方式相比，基于人脸轮廓直接进行控制，能够极大的降低交互成本，通过人脸特征，提供对应的服务，适用于老年人、儿童、残障人士等特殊人群的简单需求，而且具备更高的安全性，例如：通过采集儿童用户的人脸信息，直接匹配到对应的电视节目、空调温度等，也可以直接开启大门、开启led等。

（2）与现有人脸识别系统相比，该系统的算法考虑了检测人脸的方位、距离等要素，能够有效避免误操作，提升操作的准确性，例如：避免用户路过电视就打开了、避免离开电视后再主动关闭电视等。

（3）该系统配置了srcnns处理技术、人脸状态判断算法、自动匹配处理算法等，能够极大的提升控制效率，基于用户的脸部特征，快速锁定对应的控制参数，完成个性化的服务匹配，满足不同场合的实际应用。

附图说明

图1为本发明中内部电路第一结构示意图；

图2为本发明中内部电路第二结构示意图；

图3为本发明中第一外部结构正面示意图；

图4为本发明中第一外部结构背面示意图；

图5为本发明中第一局部结构背面示意图；

图6为本发明中第二结构背面示意图；

图7为本发明中第三结构正面示意图；

图8为本发明中第四结构正面示意图；

图9为本发明中第五结构正面示意图；

图10为本发明中第一系统控制流程图；

图11为本发明中第二系统控制流程图；

图12为本发明中设备授权流程示意图；

图13为本发明中无线控制信号设置流程示意图；

图14为本发明中人脸状态判断流程示意图；

图15为本发明中人脸状态判断的具体操作示意图；

图16为本发明中自动匹配处理算法示意图；

图17为本发明中信号控制表的结构示意图；

图18为本发明中信号控制表的更新示意图。

图中，1-壳体、101-摄像头、102-弯管、103-无线收发头、104-指示装置、105-接口、2-连接件、3-座体、4-粘连体。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

根据附图所示，对本发明进行进一步说明：

实施例一

如图1所示，该人脸检测控制系统包括处理器以及与处理器分别连接的图像采集电路、通讯电路、无线控制电路、电源电路、指示电路和存储电路，图中，图像采集电路用于采集用户的人脸照片、且包括ccd或cmos摄像头；通讯电路用于连接上位机、完成处理器的数据设置，通讯电路采用无线方式或有线方式，无线方式包括wifi、无线hdmi、4g移动通信网络、5g移动通信网络或，有线方式包括usb、csi、rj45、mipi或dvp接口；无线控制电路用于向执行器发射无线控制信号，无线控制信号包括wifi信号、zigbee信号、红外信号或sub-1ghz信号；电源电路用于向系统供电，一般采用用+5v电源适配器；指示电路用于向用户反馈处理器的工作状态，指示电路包括led、蜂鸣器或显示器；存储电路用于储存授权用户人脸数据、无线控制信号集和控制数据，控制数据包括算法参数、初始化参数等等，每个授权用户人脸均存在对应的无线控制信号集；处理器针对图像采集电路获取的人脸照片进行处理和判断，并基于授权用户人脸通过无线控制电路向执行器发出对应的无线控制信号集。

具体工作时，存储电路预存了信号控制表，信号控制表包括多组对应的授权用户人脸和无线控制信号，当图像采集电路采集到的人脸为授权用户人脸时，处理器通过查表，确定出对应的无线控制信号，并通过无线控制信号向执行器发出无线控制信号，完成远程控制。需要说明的是，处理器内部配置有人脸训练模块和人脸识别模块，该模块可以采用现有技术或开源程序。需要说明的是，也可以采用现场学习的方式获取对应的无线控制信号。

实施例二

图2中，该人脸检测控制系统可以直接使用树莓派4集成板，集成板上配置有bcm2711型处理器和wifi模块，，bcm2711型处理器通过usb连接有罗技c920摄像头、通过gpio连接有彩色led、通过uart连接有yirx02型红外控制电路，实施例采用了红外方式完成执行器的远程控制，该电路具备红外学习能力。

具体工作时，彩色led发出红色代表采集数据，彩色led发出黄灯代表训练数据，绿色代表系统正常运行。红色闪烁3次/秒代表采集数据中，红色闪烁1次/秒代表采集数据完成。黄灯闪烁3次/次代表训练数据中，闪烁1次/秒代表训练数据完成。

需要说明的是，实施例一至二所示的电路结构只是一种示意结构，该系统还可以与现有电路融合，例如与现有遥控器结合，共同设计相关电路。

实施例三

如图3和图4所示，该系统的外部结构包括壳体1、连接件2和座体3，图中，壳体1作为安装主体通过连接件2设置在座体3上，本实施例中，连接件2为球接头，座体3包括底座。壳体1的正面设置有摄像头101，壳体1的背面设置有弯管102，弯管102的末端安装有无线收发头103，摄像头101通过壳体1内部电路连接处理器，无线收发头103通过壳体1内部电路连接处理器；壳体1的正面还设置有指示装置104，壳体1的背面还设置有接口105，本实施例中，指示装置104为彩色led。

需要说明的是，壳体1整体采用水滴造型，简单美观，壳体1通过球接头可以灵活旋转调整摄像头101的拍摄角度，同时，通过背面的弯管102调整无线收发头103的角度，弯管102可以为金属多节管，具有一定的支撑力，两端通过螺纹连接，如图5所示。

实施例四

如图6所示，在实施例三的基础上，壳体1的背面还设置有音箱104，音箱104可以配合彩色led工作，也可以替换彩色led。

实施例五

如图7所示，在实施例三的基础上，在座体3底部设置有粘连体4，粘连体4包括磁铁、尼龙扣或双面胶。这种设计，能够可靠的固定在茶几或电视柜上。

实施例六

如图8所示，图中，座体3为夹座，采用夹座固定可以方便的夹在已有的柜体、床头等地。

实施例七

如图9所示，连接件2为万向管或万节管，采用万向管或万节管替换球接头，在个别场景下能够更加方便的调节角度。

需要说明的是，实施例三至七所示的结构只是一种示意结构，该系统还可以具备其他结构，例如与现有遥控器结合，直接在现有遥控器上安装摄像头101和无线收发头103等。

实施例八

如图10所示，该人脸检测控制系统包括如下控制流程：

a1）判断设备是否授权；

a2）当设备已授权时，判断无线控制是否设置；当设备未授权时，对设备进行授权，授权后返回步骤a1；

具体的，通过设备授权环节采集和存储用户人脸信息、以及授权区域等信息。

a3）当无线控制已设置时，进入步骤a4；当无线控制未设置时，设置无线控制，设置后返回步骤a1；

具体的，通过无线控制环节存储与执行器匹配的无线信号库，或者，通过现场学习，匹配执行器可以认可的信号。

a4）通过图像采集电路采集当前用户的人脸照片；

具体的，系统可以设置一个采集周期，定时采集进入拍摄区域的人脸照片，本实施例中人脸检测或人形检测算法均采用现有算法，例如：人脸识别算法可以使用openface框架、或opencv自带的facerecognizer来人脸训练和识别。

a5）基于采集的人脸照片判断画面或人脸检测是否正常；

具体的，判断是光线、角度等是否正常，如果不正常通过指示电路进行反馈。其中，画面检测算法可以采用backgroundsubtraction算法、或其他现有算法。

a6）当画面检测正常和/或人脸检测正常时，判断当前识别人脸是否是已授权用户人脸；当画面检测非正常且人脸检测检测非正常时，返回步骤a4；

a7）如果当前识别人脸已授权时，判断人脸定位是否在授权区域且为正常状态；如果当前识别人脸未授权时，返回步骤a4；

a8）当人脸定位在授权区域且为正常状态时，进入步骤a9；当人脸定位不在授权区域或非正常状态时，返回步骤a4；

a9）基于当前授权人脸，采用自动匹配处理算法，确定出对应的无线控制信号，通过无线控制电路向执行器发射对应的无线控制信号；

a10）返回步骤a4。

实施例九

如图11所示，基于实施例八，在步骤6中还设置有srcnns处理步骤，其中：

a6.1）当画面检测正常和/或人脸检测正常时，判断图片分辨率是否正常；当画面检测非正常且人脸检测检测非正常时，返回步骤a4；

需要说明的是，srcnns为超分辨率技术（superresolutionconvolutionalneuralnetworks），能够把低分辨率照片还原成高分辨率的照片，也可以把高分辨率变成超高分辨率。需要进一步说明的是，srcnns处理是选配功能，在实际算法应用中，需要判断是否需要srcnns处理。

实施例十

如图12所示，设备授权包括如下操作细节：

a2.1）基于图像采集电路的拍摄区域设置授权区域；

具体的，授权区域可以通过上位机进行，例如：浏览器输入遥控基体的ip或域名或扫外壳上的二维码，选择设置授权区域，浏览器看到图像采集电路采集到的照片，点击照片出现矩形框代表授权区域，对矩形框进行拖曳来调整大小和位置，一般情况下选择拍摄照片的中间区域作为授权区域，以确保用户进入到画面中部区域。

a2.2）利用人脸识别算法通过图像采集电路获取用户人脸信息，并经过人脸训练算法，确定授权的用户人脸。

具体的，通过该步骤在系统中完成用户信息的存储。

实施例十一

如图13所示，无线控制信号设置包括如下具体操作：

a3.1）将无线控制电路的发出信号匹配成执行器能够识别的无线控制信号；

具体的，常见遥信号都有数据库可以预存，如果是非常见信号可以采用现场学习的方式保存无线控制信号。

a3.2）基于已匹配的无线控制信号和已授权用户人脸信息，建立信号控制表，信号控制表包括多组记录位置、已匹配无线控制信号集和已授权用户人脸。

需要说明的是，无线控制信号集是指多个基本无线控制信号的集合，例如：第1记录位置对应第1授权人脸和第1已匹配无线控制信号集，第1授权人脸为用户a，用户a近期的观看兴趣在于英语频道，此时，第1已匹配无线控制信号集为打开英语频道的多个基础无线控制信号，如：开机—频道13—声音15等等。无线控制信号集可以通过上位机提前预存，也可以基于用户习惯进行机器学习。

实施例十二

如图14所示，在判断人脸定位是否在授权区域且为正常状态时，采用如下操作：：

a7.1）如果当前识别人脸为已授权用户人脸时，获取当前授权人脸的轮廓；如果当前识别人脸未授权时，返回步骤a4；

a7.2）获取授权区域轮廓，并判断当前授权人脸是否位于授权区域内；

a7.3）如果当前授权人脸位于授权区域内，判断当前授权人脸是否为正常状态；如果当前授权人脸没有位于授权区域内，返回步骤a4；

具体的，正常状态主要是基于脸宽轮廓判断，避免脸部轮廓过大或过小。

a8）如果当前授权人脸是为正常状态，则进入到步骤a9；如果当前授权人脸是为非正常状态，返回步骤a4。

实施例十三

如图15所示，判断人脸是否为正常状态时，包括如下操作：

a7.3.1）如果当前授权人脸位于授权区域内，判断当前授权人脸的尺寸是否为正常数据；

具体的，人脸的尺寸的是根据人脸的宽度或长度进行的，人脸训练数据集中存储了人脸宽度的最小值和最大值，当检测人脸尺寸位于最小值和最大值之间时为正常状态。实际应用时，可以在最值数据上乘以变化系数r，通过调整变化系数r的数值可以灵活适应摄像头等的位置变化。

具体的，远离或靠近判断是基于前后两个状态下的检测人脸的尺寸变化，当检测人脸的尺寸不断增加时，则判断是靠近授权区域，当检测人脸的尺寸不断减小时，则判断是远离授权区域。

a7.3.3）如果当前授权人脸靠近授权区域，则判断当前授权人脸是否为真脸；如果当前授权人脸远离授权区域，返回步骤a4；

a8）如果当前授权人脸是真脸，则进入到步骤a9；如果当前授权人脸是假脸，返回步骤a4。

具体的，真脸检测可以采用现有算法。需要说明的是，现有的算法包含textureanalysis、frequencyanalysis、variablefocusinganalysis、heuristic-basedalgorithms、opticalflowalgorithms、3dfaceshape等，上述算法的一种或多种组合可以解决一般的假脸技术，比如图片或者照片等假脸。部分产品也可以使用binaryclassification深度学习技术，以便解决用真实的视频蒙混过关的问题。

实施例十三

如图16所示，自动匹配处理算法包括如下步骤：

a9.1）基于当前授权人脸在信号控制表中查询，确定对应的第i记录位置和第i已匹配无线控制信号集，如图17所示。

a9.2）通过无线控制电路向执行器发射第i已匹配无线控制信号集；

a9.3）将原第i记录位置对应的原第i授权人脸和原第i已匹配无线控制信号集更新至第1记录位置对应的第1授权人脸和第1已匹配无线控制信号集，并将原第1至（i-1）记录位置对应的原第1至（i-1）授权人脸和原第1至（i-1）已匹配无线控制信号集依次更新为第2至i记录位置对应的第2至i授权人脸和第2至i已匹配无线控制信号集，如图18所示。

需要说明的是，上述更新算法是为了保证系统中的数据与执行器中的数据同步，例如：在遥控电视时，电视内部的历史数据在调台后会自动更新，将被选中的频道信息更新至第一位置，其他位置信息做适应性下移。

实施例十四

该人脸检测控制系统可以广泛应用于智能遥控电视、遥控空调、遥控音箱、遥控led或遥控大门中，具体包括如下操作步骤：