基于分级手势识别的空调控制装置及方法与流程

本发明涉及家电控制领域，具体涉及一种基于分级手势识别的空调控制装置及方法。

背景技术：

现在空调的控制是通过遥控器来控制的，用了遥控器后人们通过空调上的指示灯或显示面板来知道空调的运行状态。另外也有一些空调机身上带有按键可以通过机身上的按键来对空调进行操作。也就是说，目前的空调控制必须通过一个独立于人体外的媒介（如遥控器、空调机身上的按键）才能实现，用户想操作空调要先去找遥控器或者跑到空调面前去按按键，操作很不方便。

技术实现要素：

本发明的目的在于提供一种基于分级手势识别的空调控制装置及方法，其可提高用户对空调的使用便利性。

为实现上述目的，本发明采用的技术方案是：

一种基于分级手势识别的空调控制装置，其包括图像采集模块、图像处理模块、图像识别模块、手势指令匹配模块、指令存储模块和指令解释模块，其中，

所述图像采集模块，用于采集室内的图像；所述图像处理模块，用于对图像进行处理以除去图像中的噪声；

图像识别模块，用于储存预设的一级手势和二级手势，并对图像进行手势识别；

所述手势指令匹配模块，用于用于存储预设指令，并查找与识别出的手势相匹配的指令，该指令包括一级指令和二级指令，一级指令与一级手势相对应，其用于对空调温度、风速、空调模式的选择；二级指令与二级手势相对应，其包括加、减、上一项、下一项，用于对温度高低、风速大小、空调模式选项的控制；

所述指令存储模块，用于存储手势指令匹配模块中查找到的一级指令和二级指令，该指令存储模块包括一级指令存储单元和二级指令存储单元；

所述指令解释模块，用于将存储的指令解释为空调控制信号。

所述图像采集模块包括红外摄像头和红外补光灯。

一种基于分级手势识别的空调控制方法，采用上述空调控制装置，具体包括以下步骤：

步骤1、手势识别模型训练

通过采集各种人在室内的图片和视频，然后人工标定出手势区域，将标定好的数据送入深度卷积神经网络中进行训练，得到手势识别模型；

手势通过手掌朝向、手指朝向以及手指的弯曲与否，结合手臂的姿态来定义；

步骤2、在图像识别模块中预设一级手势和二级手势，在手势指令匹配模块中预设与一级手势和二级手势匹配的一级指令和二级指令；

步骤3、通过图像采集模块获取室内图像，并将图像送往图像处理模块；通过图像处理模块对图像进行小波变换，然后用中值滤波器和高斯滤波器对图像进行处理以去除图像中的噪声，将处理过的图像送往图像识别模块；

步骤4、通过图像识别模块开辟两个并行的线程分别对图像进行一级手势识别和二级手势识别；

步骤4.1、一级手势识别

步骤4.1.1、根据步骤1中得到的手势识别模型，对图像进行手势识别处理，输出为手势X 或者无手势；如果输出为无手势或手势X不是一级手势，则放弃图片继续识别下一帧图像；如果手势X为一级手势，将手势X 送往手势指令匹配模块；

步骤4.1.2、手势指令匹配模块根据手势X的类型查找与之匹配的一级指令command_1_X，并将一级指令command_1_X写入指令存储模块的一级指令存储单元，并开启定时器Timer；当定时器Timer到时后，清除指令存储模块的一级指令存储单元中存储的一级指令存；

步骤4.2、二级手势识别

步骤4.2.1、根据步骤1中得到的手势识别模型，对图像进行手势识别处理，输出为手势Y 或者无手势；如果输出为无手势或手势Y不是二级手势，则放弃图片继续识别下一帧；如果手势Y为二级手势，将手势Y 送往手势指令匹配模块；

步骤4.2.2、手势指令匹配模块根据手势Y的类型查找与之匹配的指令command_2_Y，并将command_2_Y写入指令存储模块的二级指令存储单元中；

步骤4.2.3、判断指令存储单元存储的指令是否完整，即是否同时存在一级指令和二级指令；如果完整则将完整的指令command_1_X + command_2_Y送往指令解释模块，清除指令存储模块中存储的二级指令，并刷新一级指令存留时间的定时器Timer；如果不完整，直接清空指令存储模块的二级指令存储单元中存储的二级指令；

步骤4.2.4、指令解释模块根据收到的指令command_1_X + command_2_Y，计算出指令所对应的控制信号，并将控制信号发送到空调。

本发明将手势定义为一级手势和二级手势，其中，一级手势用于选择需要调节的项目即空调温度、风速、模式，二级手势用于调节具体项目的大小，如温度高低、风速大小、模式选项；并通过图像识别模块开辟两个并行线程对室内图像进行一级手势识别和二级手势识别，若识别出一级手势或二级手势时，存储与之相匹配的一级指令或二级指令；只有当一级指令和二级指令同时存储在指令存储模块中时，且一级指令和二级指令结合在一起才能够实现对空调的控制。与现有技术相比，本发明通过人的不同手势来实现对空调的温度高低、风速大小、模式选择等控制，使用户与空调的交互方式更加智能，使用空调更加方便。此外，本发明通过两级手势结合在一起来实现对空调的控制，使得空调的控制更加稳定。

附图说明

图1为本发明结构框图；

图2为本发明一级手势识别流程图；

图3为本发明一级手势示意图；

图4为本发明二级手势识别流程图；

图5为本发明二级手势示意图。

具体实施方式

参照图1至图5所示，本发明揭示了一种基于分级手势识别的空调控制装置，其包括图像采集模块1、图像处理模块2、图像识别模块3、手势指令匹配模块4、指令存储模块5和指令解释模块6，其中，

图像采集模块1，用于采集室内的图像，其由红外摄像头和红外补光灯组成；

图像处理模块2，用于对图像进行处理以除去图像中的噪声；

图像识别模块3，用于储存预设的一级手势和二级手势，并对图像进行手势识别；

手势指令匹配模块4，用于查找与识别出的手势相匹配的指令，该指令包括一级指令和二级指令，一级指令与一级手势相对应，其用于对空调温度、风速、空调模式的选择；二级指令与二级手势相对应，其包括加、减、上一项、下一项，用于对温度高低、风速大小、空调模式选项的控制；

指令存储模块5，用于存储手势指令匹配模块中查找到的一级指令和二级指令，该指令存储模块包括一级指令存储单元和二级指令存储单元；；

指令解释模块6，用于将存储的指令解释为空调控制信号。

一条完整的指令包括一级指令和二级指令，一级指令如温度、风速、空调模式等；二级指令包括加、减、上一项、下一项等。

基于上述装置，本发明还揭示了一种基于分级手势识别的空调控制方法，其包括以下步骤：

步骤1、手势识别模型训练

通过采集各种人在室内的图片和视频，然后人工标定出精准的手势区域（包括手掌、手指和手臂），将标定好的数据送入深度卷积神经网络（CNN，Convolution Neural Network）中进行训练，得到手势识别模型；

手势通过手掌朝向、手指朝向以及手指的弯曲与否，结合手臂的姿态来定义。手势定义中的角度、朝向都是相对摄像头的视角而言的，手掌的朝向即为掌心或掌被朝向摄像头的方向；手指的朝向包括上下左右四个方向；手臂的姿态包括大臂与人体所成角度以及小臂与大臂之间的角度。

步骤2、在图像识别模块3中预设一级手势和二级手势，并在手势指令匹配模块4中预设与一级手势和二级手势匹配的一级指令和二级指令；

步骤3、通过图像采集模块1获取室内图像，并将图像送往图像处理模块2；通过图像处理模块2对图像进行小波变换，然后用中值滤波器和高斯滤波器对图像进行处理以去除图像中的噪声，将处理过的图像送往图像识别模块3；

步骤4、通过图像识别模块3开辟两个并行的线程分别对图像进行一级手势识别和二级手势识别；

步骤4.1、一级手势识别

步骤4.1.1、根据步骤1中得到的手势识别模型，对图像进行手势识别处理，输出为手势X 或者无手势；如果输出为无手势或手势X不是一级手势，则放弃图片继续识别下一帧图像；如果手势X为一级手势，将手势X 送往手势指令匹配模块4；

步骤4.1.2、手势指令匹配模块4根据手势X的类型查找与之匹配的一级指令command_1_X，并将一级指令command_1_X写入指令存储模5块的一级指令存储单元，并开启定时器Timer；当定时器Timer到时后，清除指令存储模块5的一级指令存储单元中存储的一级指令存；

步骤4.2、二级手势识别

步骤4.2.1、根据步骤1中得到的手势识别模型，对图像进行手势识别处理，输出为手势Y 或者无手势；如果输出为无手势或手势Y不是二级手势，则放弃图片继续识别下一帧；如果手势Y为二级手势，将手势Y 送往手势指令匹配模块4；

步骤4.2.2、手势指令匹配模块4根据手势Y的类型查找与之匹配的指令command_2_Y，并将command_2_Y写入指令存储模块5的二级指令存储单元中；

步骤4.2.3、判断指令存储模块5存储的指令是否完整，即是否同时存在一级指令和二级指令；如果完整则将完整的指令command_1_X + command_2_Y送往指令解释模块6，清除指令存储模块5中存储的二级指令，并刷新一级指令存留时间的定时器Timer；如果不完整，直接清空指令存储模块5的二级指令存储单元中存储的二级指令；

步骤4.2.4、指令解释模块6根据收到的指令command_1_X + command_2_Y，计算出指令所对应的控制信号，并将控制信号发送到空调。

本发明的关键在于，本发明将手势定义为一级手势和二级手势，并通过图像识别模块开辟两个并行线程对室内图像进行一级手势识别和二级手势识别，若识别出一级手势或二级手势时，存储与之相匹配的一级指令或二级指令；只有当一级指令和二级指令同时存储在指令存储模块中时，且一级指令和二级指令结合在一起才能够实现对空调的控制。与现有技术相比，本发明通过人的不同手势来实现对空调的温度高低、风速大小、模式选择等控制，使用户与空调的交互方式更加智能，使用空调更加方便。此外，本发明通过两级手势结合在一起来实现对空调的控制，使得空调的控制更加稳定。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。