面向残疾人士的手势便利控制系统的制作方法

本发明涉及智能家居领域，具体涉及一种面向残疾人士的手势便利控制系统。

背景技术：

近年来，由各种各样的灾难和残病造成的残障人士逐渐增加，如何利用现代信息技术扩大残疾人的生活空间，提高他们的生活质量，给他们带来舒适的生活环境成为近几年来国际学术界和企业界关注的热点问题，也是政府十分关注的焦点。在家居场景下通过识别用户手势，达到控制家居电气设备的效果，用户仅仅使用简单的手势就能控制灯光、空调、电视等设备的运行，为他们提供更多的方便和自由。

而在家居场景下由于用户手势存在复杂性与多变性，易受背景、光照(尤其是日间与夜间图像的差别)与拍摄角度等因素的影响，导致实时手势识别更为复杂。并且当今市场上，具有手势识别功能的智能家居设备还较为少见，且存在小样本的问题。

技术实现要素：

针对上述问题，本发明提供了一种面向智残疾人士的手势便利控制系统，可以智能地识别用户的手势，控制家居内的电气设备地运行。该系统由图像采集模块、手势识别模块、手势控制模块和指令设定模块组成，所述图像采集模块采用kinect传感器获取残疾人士的手势图像信息，图像采集模块输出端与手势识别模块输入端连接，所述的手势识别模块中设计了一个结合二次迁移学习的卷积神经网络(stl-cnn)模型对图像中的人物手势进行识别，解决了日间与夜间手势图像识别以及小样本的问题，其输出端与手势控制模块连接，所述的手势控制模块用于对家居内的电气设备进行控制，其通过局域网与指令设定模块连接，所述的指令设定模块用于对获取的手势图像信息中的人物手势与电气设备建立对应的指令关系。

本发明的技术方案是：面向残疾人士的手势便利控制系统，包括通过无线信号相互连接的图像采集模块、手势识别模块、手势控制模块及指令设定模块；

所述图像采集模块的输出端与手势识别模块的输入端相连接，所述手势识别模块的输出端与手势控制模块的输入端相连接，所述手势控制模块的输出端通过局域网与指令设定模块的输出端相连接。

进一步的，所述图像采集模块利用kinect传感器的深度信息获取残疾人士的手势图像信息。

进一步的，所述手势识别模块用于对获取的手势图像信息中的人物手势进行识别；其具体操作步骤如下：

步骤(1)、对获取到的手势图像进行预处理，将图像从rgb颜色空间转换到ycbcr颜色空间，再通过全局固定阈值二值化法对图像进行肤色分割，得到二值化图像；

步骤(2)、对得到的二值化图像采用rce神经网络进行手部区域分割；

步骤(3)、针对得到的手部区域，设计一个结合二次迁移学习的卷积神经网络模型进行手势识别。

进一步的，所述手势控制模块安置在家居电气设备中，通过获取家居电气设备的信息和实现对家居电气设备的控制。

进一步的，所述指令设定模块用于对获取的手势图像信息中的人物手势与家居电气设备建立对应的指令关系，并把指令通过局域网发送给手势控制模块。

本发明的有益效果：本发明提出的面向智残疾人士的手势便利控制系统，可以智能地识别用户的手势，控制家居内的电气设备地运行。该系统由图像采集模块、手势识别模块、手势控制模块和指令设定模块组成，所述图像采集模块采用kinect传感器获取残疾人士的手势图像信息，图像采集模块输出端与手势识别模块输入端连接，所述的手势识别模块设计了一个结合二次迁移学习的卷积神经网络(stl-cnn)模型对图像中的人物手势进行识别，解决了日间与夜间手势图像识别以及小样本的问题，其输出端与手势控制模块连接，所述的手势控制模块用于对家居内的电气设备进行控制，其通过局域网与指令设定模块连接，所述的指令设定模块用于对获取的手势图像信息中的人物手势与电气设备建立对应的指令关系。本发明能够得到完整的手势图像并快速准确地对图像中的手势进行分割、识别，给用户带来舒适安全的享受。

附图说明

图1是本发明的结构流程图；

图2是本发明提供的对获取的手势图像进行手部区域分割的结构框图；

图3是本发明实施例手势识别模块中结合二次迁移学习的卷积神经网络(stl-cnn)模型进行手势识别的结构框图；

图4是本发明的实施例示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所述；面向残疾人士的手势便利控制系统，包括通过无线信号相互连接的图像采集模块、手势识别模块、手势控制模块及指令设定模块；

所述图像采集模块的输出端与手势识别模块的输入端相连接，所述手势识别模块的输出端与手势控制模块的输入端相连接，所述手势控制模块的输出端通过局域网与指令设定模块的输出端相连接。

进一步的，所述图像采集模块利用kinect传感器的深度信息获取残疾人士的手势图像信息；

其中，kinect传感器与传统的二维摄像头相比具有很大的优势，它不仅具有传统摄像头能获取物体颜色信息的功能，还可以同时获取物体的深度信息，从而能够帮助数字设备更好地感知外界；故可以利用kinect传感器的深度信息获取手势图像信息。

进一步的，所述的手势识别模块的输入端与图像采集模块的输出端连接，其输出端与手势控制模块的的输入端连接，并嵌入到树莓派服务器设备中，对采集到的手势图像进行预处理，手部区域分割，手势识别；用于对获取的手势图像信息中的人物手势进行识别；其具体操作步骤如下：

步骤(1)、对获取到的手势图像进行预处理，将图像从rgb颜色空间转换到ycbcr颜色空间，再通过全局固定阈值二值化法对图像进行肤色分割，得到二值化图像；

步骤(2)、对得到的二值化图像采用rce神经网络进行手部区域分割；

步骤(3)、针对得到的手部区域，设计一个结合二次迁移学习的卷积神经网络(stl-cnn)模型进行手势识别。

进一步的，所述手势控制模块安置在家居电气设备中，通过获取家居电气设备的信息和实现对家居电气设备的控制；

并且通过局域网与指令设定模块连接，可通过无线路由器组建局域网。

进一步的，所述指令设定模块用于对获取的手势图像信息中的人物手势与家居电气设备建立对应的指令关系，并把指令通过局域网发送给手势控制模块，从而实现对电气设备的控制。

具体工作原理：

如图2所述，其提供了一种对获取的手势图像进行手部区域分割，主要包括以下步骤：

一、获取手势图像；

利用kinect传感器的深度信息获取手势图像信息；kinect光学部分有红外线发射装置、rgbvga彩色摄像头组和3d深度感应器3个摄像头；红外线发射装置发出一道“激光”覆盖了整个kinect的可视范围，摄像头组接收反射光线用来识别用户；红外摄像头识别的图像是一个“深度场”(depthfield)，其中每一像素的颜色代表该点物体到摄像头的距离，比如离摄像头近的身体部位呈现亮红色、绿色等，而离摄像头远的身体部位则呈暗灰色；通过vga摄像头和rgb摄像头的配合，kinect可将实物的3d影像投放到屏幕之中，同时拍摄彩色图像和红外图像，从而捕捉到用户的手势动作图像；

二、从rgb颜色空间转换到ycbcr颜色空间：

对获取到的手势图像进行预处理，将图像从rgb颜色空间转换到ycbcr颜色空间；ycbcr颜色空间是视频图像和数字图像中常用的色彩空间；包含三个分量：y(luma，亮度)，表示的是图像的亮暗程度，取值范围为0～255；cb分量表示的是rgb颜色空间中蓝色分量与rgb颜色空间中亮度值之间差异，取值范围为0～255；cr分量表示的是rgb颜色空间中红色分量的值与rgb颜色空间中亮度之间的差异，取值范围为0～255；其中cb分量和cr分量是相互独立的，并且与y分量能有效地分离；

rgb颜色空间到ycbcr颜色空间的转换公式如下：

转化为矩阵形式为：

三、使用全局固定阈值二值化法对每个像素与阈值进行比较，得到二值化图像；

其中每个像素与阈值进行比较具体为：人的肤色的y，cb，cr值大约为[0:256,130:174,77:128]，如果图像中像素的ycbcr值属于这个区间，则该像素值置为255，否则置为0，则可得到二值化图像；

四、用rce神经网络进行手部区域分割；

rce神经网络是由输入层、原型层和输出层构成；其中输入层和原型层是全连接，即每一个输入层的节点与原型层的所有节点都是相连的，原型层的节点与输出层的节点部分连接；原型层的每个节点都定义了颜色空间中的一个球体，对每一个待识别像素点，如果该像素点落在某个原型层节点的球体区域内，则该像素点属于手区域，否则属于背景区域，从而分割出手部区域。

如图3所述，其提供了提供的结合二次迁移学习的卷积神经网络(stl-cnn)模型进行手势识别，主要包括以下步骤：

一、训练卷积神经网络(cnn)；

本发明的卷积神经网络(cnn)由4个卷积层、2个池化层、1个dropout层和1个全连接层组成，在imagenet数据集上进行训练，其中每2个卷积层后接1个池化层；卷积层用于对手势图像进行卷积操作从而实现特征提取，卷积公式为：

其中，“*”表示2维卷积，表示在第i个隐含层的第j个特征图输出，表示在第i-1层隐含层的第k个通道输出，表示在第i个层的第j个特征图的第k个滤波器权重系数，表示第i层的相应偏置项；在经过卷积操作之后，需要对提取出来的特征进行降维以降低计算复杂度；常见的方法有最大池化、平均池化等；最大池化是取局部区域值最大的点，其优点是保留了特征区域里影响最大的因子，有效避免了信息丢失，故本发明使用最大池化；

在深度学习中，对于一些样本量较小的数据集，最大问题就是容易过拟合，为了解决这个问题，本发明使用dropout技术，移除一些结点及其相关的输入、输出连接；全连接层可以认为是一种特殊的卷积运算；全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来；

二、对训练后的cnn进行一次迁移学习；

将训练后的cnn网络中部分层的参数迁移至目标网络一中，移除原网络中最后1个全连接层fc，在迁移后的网络最后部分添加全连接层fc1，构成新的网络；利用日间拍摄手势图像数据集微调网络，完成整个网络的一次迁移；此时采用imagenet大规模数据集训练完成的目标网络一具备强大的、可泛化的图像特征提取能力，可用于日间手势图像的特征提取，从而达到日间手势图像有效识别的目的；

三、对目标网络一进行二次迁移学习；

将训练后的目标网络一中部分层的参数迁移至目标网络二中，移除目标网络一中最后1个全连接层fc1，在迁移后的网络最后部分添加全连接层fc2，构成新的网络；利用夜间拍摄手势图像数据集微调网络，完成整个网络的二次迁移，实现了对夜间手势图像的有效识别。

具体实施例：kinect传感器获取手势图像信息，并将手势图像传送到手势识别模块中，手势识别模块通过对手势图像的预处理、手势分割以及手势识别，最终识别出手势含义，如图4所示，识别出手势为剪刀，可能性0.93，只有当手势识别可能性大于等于0.8时，手势识别模块才将手势含义信息传输到手势控制模块中，同时手势控制模块将这一信息通过局域网传输到指令设定模块中，由于在指令设定模块中已经设定好剪刀手势对应电灯的打开，指令设定模块便把打开电灯这一指令传输给手势控制模块，手势控制模块收到指令后便打开电灯。

通过这一实例，表面该面向残疾人士的手势便利控制系统可以智能地识别用户的手势，控制家居内的电气设备地运行，给用户带来极大的便利。

应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。