本发明属于手语识别技术领域；涉及一种连续手语的识别方法；具体的是一种利用dtw和pnn进行连续手语识别的方法；本发明还提供了一种连续手语的识别装置。
背景技术：
手语作为表达信息的一种方式，是聋哑人与外界交流的最主要途径。因此，利用计算机技术进行手语识别，可以使正常人通过计算机的翻译看懂手语，方便聋哑人与正常人之间的交流。另外，手语识别可以实现更加智能化，更加自然流畅的人机交互，是计算机人工智能的另外一种可能性。
技术实现要素：
本发明提供了一种连续手语的识别方法；实现了连续手语的识别，提高了手语识别的准确率。
本发明还提供了一种连续手语的识别装置，该装置能够通过上述方法实现连续手语的识别。
本发明的技术方案是：一种连续手语的识别方法，包括以下步骤：
步骤1，拍摄手语动作，并得到手语动作的深度图像和彩色图像；
步骤2，对深度图像和彩色图像进行目标手形分割处理，得到深度图像和彩色图像中的目标手形部分；
步骤3，提取目标手形部分的轮廓特征和几何特征，并且将其进行融合，得到手语特征序列；
步骤4，使用动态时间归整算法将手语的特征序列与手语模板特征库进行比对识别，具体的包括计算待识别连续手语与手语模板特征库中所有手语模板的距离，输出距离最近的手语模板的含义为待识别连续手语的含义。
更进一步的，本发明的特点还在于：
其中步骤1中使用kinect拍摄手语动作，得到待识别连续手语的深度图像和彩色图像。
其中步骤1中将深度图像和彩色图像分别按照时间顺序存储。
其中步骤2的具体过程是：首先对对深度图像进行阈值分割，得到前景目标区域和背景部分；将背景部分对应到相应的彩色图像中，并进行配准，然后对配准后的图像进行肤色分割得到手形部分。
其中步骤2中对手形部分还进行去噪平滑处理，以及去除分割结果中的小连通区域，得到标准的理想目标手形部分。
其中步骤3的具体过程是：步骤3.1，首先提取目标手形部分轮廓的傅里叶特征，并且描绘出目标手形部分的边缘，根据边缘的坐标进行傅里叶变换，得到目标手形的轮廓特征；步骤3.2，通过计算图像灰度加权值，计算出图像的大小、质心和形状的几何特征；步骤3.3，将几何特征和轮廓特征进行融合得到手语特征序列。
其中步骤4中手语模板特征库为：通过概率神经网络进行模板训练，识别每一个关键帧手形的含义，并对该手形进行标识，多个标识组合形成的特征向量标识一个连续的手语。
其中步骤4中计算待识别连续手语与手语模板特征库中所有手语模板的距离的具体过程是：步骤4.1将手语特征序列中的关键帧手语与手语模板特征库中的手语模板之间的差值计算，并输出相似度
本发明还提供了一种连续手语的识别装置，包括kinect拍摄模块，kinect拍摄模块包括深度图像存储单元和彩色图像存储单元；目标手形分割单元，对彩色图像和深度图像进行处理，得到图像中的目标手形部分；特征整合单元，对目标手形部分的几何特征和轮廓特征进行整合，得到手语特征序列；匹配模块，将手语特征序列与手语模板库中的手语模板进行对比识别，得到与待识别连续手语识别相匹配的连续手语模板，并输出连续手续模板的含义。
更进一步的，本发明的特点还在于：
其中匹配模块还包括dtw单元，dtw单元载入手语模板库和手语特征序列，并通过计算手语特征序列与模板特征库中所有手语模板的距离，并排序输出手语特种工序列的识别含义。
与现有技术相比，本发明的有益效果是：利用kinect获取手语运动的深度图像和彩色图像用于目标分割，得到更为准确的分割效果；在此基础上进行特征提取，分别提取手形的hu距特征和傅里叶特征进行特征融合，得到新的特征序列表示手形；最后利用dtw和pnn进行手语分类器的设计，用于手语识别，输出识别的结果，根据识别的结果做出进一步的调整，最终达到使客户满意的效果。
附图说明
图1为本发明的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步说明。
本发明提供了一种连续手语的识别方法，包括以下步骤：
步骤1，使用kinect拍摄手语运动，并获得手语动作及其关键帧的深度图像和彩色图像，构建有n个类别的深度图像数据库和彩色图像数据库；具体的使用kinect设备接受视频流，并且将深度图像存储在深度图像数据库中，将彩色图像存储在彩色图像数据库中。
步骤2，对深度图像和彩色图像进行处理，分割出图像中的目标手形部分；具体的首先对对深度图像进行阈值分割，得到前景目标区域和背景部分；将背景部分对应到相应的彩色图像中，并进行配准，然后对配准后的图像进行肤色分割得到手形部分；然后在对其进行去噪平滑处理，然后再去除分割结果中的小连通区域得到标准的理想手形。
步骤3，基于手形图像进行特征提取。首先提取目标手形的轮廓特征，然后提取它的几何特征，将两者按照一定的权值进行特征融合。具体按照以下步骤实施：
步骤3.1首先提取描述手形轮廓的傅里叶特征，描绘出该目标图像的边缘，然后从图像边缘的一点开始，遍历图像边缘，将边缘每一点的坐标记录下来，将每一个坐标(x0,y0),(x1,y1),…,(xk-1,yk-1)看做一个复数xk+jyk，其中，k＝0,1,…,k-1。对这些复数做离散傅里叶变换，得到的就是目标图像的傅里叶特征；
步骤3.2，接下来提取目标手形的几何特征，通过计算图像灰度加权值计算出图像的大小，质心，形状等几何特征；
步骤3.3设定一个权值将两个特征向量进行融合得到新的特征向量，它融合了表示目标轮廓的手形特征与代表目标几何特征，所含信息量更大。
步骤4，使用动态时间归整算法将手语的特征序列与手语模板特征库进行比对识别，具体的包括计算待识别连续手语与手语模板特征库中所有手语模板的距离，输出距离最近的手语模板的含义为待识别连续手语的含义，具体为：
步骤4.1将手语特征序列中的关键帧手语与手语模板特征库中的手语模板之间的差值计算，并输出相似度
步骤4.2然后根据相似度计算出一个手语模板的竞争函数
步骤4.3，重复步骤4.1-4.2，依次完成手语特征序列中所有关键帧的识别，并将得到的手语模板组合成连续手语含义，并输出为待识别连续手语的含义。
本发明还提供了一种连续手语的识别装置，如图1所示，包括kinect拍摄模块，包括获取待识别连续手语动作的关键帧图像的彩色图像和深度图像，并且将其分别存储在深度图像存储单元和彩色图像存储单元中。目标手形分割单元，包括对深度图像进行阈值分割，然后将其与彩图图像进行配配准，并对配准后的图像进行肤色分割得到手形部分，然后在经过去燥平滑处理，以及去除分割结果中的小连通区域，得到标准的理想目标手形部分。特征整合模块对目标手形部分进行处理得到傅里叶特征提取和轨迹特征提取，即轮廓特征和几何特征，并将两种特征向量进行融合得到手语特征序列；最后通过匹配模块，将手语特征序列与手语模板库中的手语模板进行对比识别，得到与待识别连续手语识别相匹配的连续手语模板，并输出连续手续模板的含义。
其中匹配模块还包括dtw单元，dtw单元载入手语模板库和手语特征序列，并通过计算手语特征序列与模板特征库中所有手语模板的距离，并排序输出手语特种工序列的识别含义；其具体过程是：首先载入手语模板库和待识别连续手语的特征序列；然后分别计算待识别连续手语与模板特征库中所有手语的距离，对所有的距离进行排序，输出距离最近的第一位手语的含义即为当前识别的含义。