专利名称：一种基于红外图像的手势识别系统及方法
技术领域：
本发明涉及手势识别系统及方法，特别涉及一种基于红外图像的手势识别系统及方法。
背景技术：
随着人机交互技术的飞速发展，各种新型的人机交互方式不断涌现，基于手势识别的人机交互方式作为其中一个分支，随着各种新算法的提出及改进，其重要性日益凸显，并将在不远的将来走进千家万户，成为家庭中人机交互的主要方式。然而，手势识别这类基于数字图像处理的人机交互方式，一直面临着一个难以解决的问题，即摄像头场景中各种光照环境对于数字图像质量的影响，其中包括低照度情况下图像细节的呈现，各种色光照明对图像中特定物体色彩的干扰，图像传感器对于光照强度变化不适应导致的图像整体过亮或过暗现象等。针对这样的一些问题，学术界提出了许多的解决方法，其中包括各种颜色恒常性算法、自适应颜色分类器等。颜色恒常性是这一预处理领域运用得较为广泛的理论，其基本定义是，当照射在物体表面的颜色光发生变化时，人们对该物体表面颜色的直觉仍然保持不变，物体的颜色不是由入射光决定的，而是由物体本身的反射属性决定的。基于这样一个定义，人们提出了许多方法，其中包括Retinex算法、灰色世界理论算法、色谱映射算法、颜色相关性算法、Bayesian决策算法、神经网络颜色恒常性算法、基于参考色的颜色恒常性算法等。而自适应的颜色分类器则是在原有特定颜色训练的基础上，实时的根据场景状况调节分类器的相关参数，保证分类器对于色彩的分类能够完全适应场景光照的变化，做到各种光照环境下特定物体色彩的提取。然而这样的一些方法都是基于数字图像处理的，且其较好的处理效果都只针对特定的操作环境。而本方法从前端入手，在视频获取电路上做改进，保证了后端手势提取及跟踪算法输入图像的质量，减小了后端算法的负担，同时针对红外照明环境下成像的特点，选用相应的处理算法进行人手分割，降低了其计算复杂度，使其在工程上的实现成为可能。
发明内容
为了克服现有技术的上述不足，本发明的目的在于提供一种基于红外图像的手势识别系统，本发明的另一目的在于提供上述系统的手势识别方法。本发明的目的通过以下技术方案实现—种基于红外图像的手势识别系统，包括红外照明模块、前端图像处理模块和数字图像手势分割及跟踪模块，其特征在于，所述前端图像处理模块包括相互连接的红外视频采集单元、FPGA控制及输出单元，所述红外视频采集单元包括可调节参考电压的CMOS光学传感芯片和镜头组件，所述CMOS光学传感芯片集成有DSP (数字信号处理器)芯片；所述镜头组件安装在CMOS光学传感芯片的前方；
所述FPGA(现场可编程门阵列)控制及输出单元包括依次连接的图像质量评估模块、参考电压调节模块和输出模块，所述图像质量评估模块用于判断手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，则控制参考电压调节模块调节CMOS光学传感芯片中A/D转换器的参考电压VREFl和VREF2 ;若否，则通过输出单元直接输出数字图像。所述红外照明模块由4个红外LED灯管组成，所述4个红外LED灯管均匀分布在镜头组件的镜头周围，与镜头中心的距离小于或等于3cm，各LED灯管与镜头中心的连线之间夹角为90。。所述LED灯管的直径参数为8mm，发射角大于45°。 所述镜头的前方安装有滤波片，所述滤波片的透光波段与红外LED灯管的发光波段对应。上述的基于红外图像的手势识别系统的手势识别方法，包括以下步骤(I)红外照明模块照亮手势操作区域；(2)红外视频采集单元采集红外图像，具体包括以下步骤(2-1) CMOS光学传感芯片获得像素点的模拟电压V。；(2-2)根据CMOS光学传感芯片的参考电压VREFl和VREF2，通过A/D转换器和DSP芯片处理，对CMOS光学传感芯片获取的数字图像各像素点模拟电压Vtl进行量化，将每一帧图像像素点的电压量化为8bit数据VREF1 ^ V0^ VREF2，得到数字图像；(2-3)图像质量评估模块判断能否手势能否被识别手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，则控制参考电压调节模块调节A/D转换器的参考电压VREFl和VREF2，重复步骤(2_2) (2_3);若否，则通过输出单元直接输出数字图像；(3)对数字图像进行手势分割及跟踪。步骤(3)所述对数字图像进行手势分割及跟踪，具体包括以下步骤(3-1)对红外视频采集单元采集到的红外图像Itl，提取其RGB中任一色层或将其灰度化得到图像I1 ;(3-2)使用预先训练好的分类器对I1图像进行处理，找到图像中人手区域，并确定人手在图像中出现的位置P及范围S ；(3-3)依据范围S内数字图像数据，统计区域内出现概率最高的灰度值，以此灰度值作为阈值T ;(3-4)用阈值T估计人手区域的灰度值范围，确定全局二值化阈值，获得二值化图像Ib ；(3-5)对I1灰度图像使用巾贞差法，确定人手运动巾贞差图像If ；(3-6)在Ib图像能够正常分割出人手的情况下，确定人手质心位置坐标，更新P并重新确定范围S位置，对人手进行跟踪；在Ib图像不能正常分割出人手的情况下，使用帧差图像If，确定人手质心坐标，更新P并重新确定范围S位置，对人手进行跟踪。与现有技术相比，本发明具有以下优点和有益效果本发明通过利用红外照明，保证场景照明的唯一性和稳定性，能够有效解决低照度或光照变化环境下识别算法不稳定的问题。同时，通过介入前端视频数据的获取，自适应的对视频数据进行量化，使得红外图像中感兴趣区域(人手位置)的细节更加清晰和突出，进一步提高了红外数字视频数据的质量，保证了后端识别算法的识别率。另一方面，针对本发明现有红外成像的特点，对现有的手势识别方法进行了改进，使得算法能够跟整个系统更好地协同合作，保证系统的稳定性。
图I为本发明基于红外图像的手势识别系统的构成示意图。图2为红外照明模块的示意图，其中I为红外LED，2为含滤光片镜头。图3为图像质量评估模块判断手势能否被识别的流程图。图4为对数字图像进行手势分割及跟踪的流程图。
具体实施例方式下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。实施例如图I所示，基于红外图像的手势识别系统，包括红外照明模块、前端图像处理模块、数字图像手势分割及跟踪模块，所述前端图像处理模块包括相互连接的红外视频采集单元和FPGA控制及输出单元。所述红外视频采集单元包括可调节参考电压的CMOS光学传感芯片和镜头组件，所述CMOS光学传感芯片集成有DSP芯片；所述镜头组件安装在CMOS光学传感芯片的前方。如图2所示，所述红外照明模块由4个红外LED灯管I组成，所述4个红外LED灯管均匀分布在镜头组件的镜头2周围，与镜头中心的距离小于或等于3cm，各LED灯管与镜头中心的连线之间夹角为90° ;LED灯管的直径参数为为8mm，发射角大于45°。所述FPGA控制及输出单元包括依次连接的图像质量评估模块、参考电压调节模块和输出模块，所述图像质量评估模块用于判断手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，则控制参考电压调节模块调节CMOS光学传感芯片中A/D转换器的参考电压VREFl和VREF2 ;若否，则通过输出单元直接输出数字图像。上述基于红外图像的手势识别系统的手势识别方法，包括以下步骤(I)红外照明模块照亮手势操作区域；(2)红外视频采集单元采集红外图像，具体包括以下步骤(2-1) CMOS光学传感芯片获得像素点的模拟电压Vtl,依CMOS半导体器件光电效应，理论上，像素点获得的光子能量越高，模拟电压Vtl值越大；(2-2)根据CMOS光学传感芯片的参考电压VREFl和VREF2，通过A/D转换器和DSP芯片处理，对CMOS光学传感芯片获取的数字图像各像素点模拟电压Vtl进行量化，将每一帧图像像素点的电压量化为8bit数据VREF1 ^ V0^ VREF2，得到数字图像；(2-3)图像质量评估模块判断手势能否被识别，如图3所示，具体为手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，则认为不能被识别，控制参考电压调节模块调节A/D转换器的参考电压VREFl和VREF2 :分析原因，若人手区域像素灰度值较高，可以认为其对应模拟电压值较高，则调高参考电压VREFl和VREF2，使人手区域模拟电压在VREFl VREF2数值范围内；同理，若人手区域像素灰度值较低，可以认为其对应模拟电压值较低，则调低参考电压VREFl和VREF2，使人手区域模拟电压在VREFl VREF2数值范围内；得到校正的参考电压VREFl和VREF2后，重复步骤(2_2) (2_3);若不相同，则认为能被识别，通过输出单元直接输出数字图像；例如，假定CMOS是在默认参考电压VREFl = OV和VREF2 = 5V情况下工作的，手和其周围区域物体在红外灯的照射下亮度虽然有区别，如手对应像素的模拟电压为5V，人手周边区域物体对应像素的模拟电压为4. 99V，则它们像素值经A/D转换后十进制数值均为255，数字量化后两 者无差别。通过图像质量评估模块分析，在上述情况下硬件动态调整参考电压VREFl和VREF2分别为4V和5V，反馈作用于CMOS，此时由于A/D转换结果十进制数值分别为255及252，因此上次得到的衣服和手的相等的像素经过反馈调节参考电压得到了不同的像素值。同样的道理，当图像中手部及周边区域物体数字像素值相同而实际两者亮度有区别时，通过FPGA的反馈，动态调整CMOS参考电压VREFl和VREF2，都可以将手部和周围环境亮度的细微差别在数字图像中显现出来，从而使得后端算法能够轻松地提取人手并实现手势识别，输出的数字图像仍然是8bit数据，同时质量不符合算法要求的图像将进行丢弃。(3)对数字图像进行手势分割及跟踪，如图4所示，具体包括以下步骤(3-1)对红外视频采集单元采集到的红外图像Itl,提取其RGB中任一色层或将其灰度化得到图像I1 ;(3-2)使用预先训练好的分类器对I1图像进行处理，找到图像中人手区域，并确定人手在图像中出现的位置P及范围S ；(3-3)依据范围S内数字图像数据，统计区域内出现概率最高的灰度值，以此灰度值作为阈值T ;(3-4)用阈值T估计人手区域的灰度值范围，确定全局二值化阈值，获得二值化图像Ib ；(3-5)对I1灰度图像使用巾贞差法，确定人手运动巾贞差图像If ；(3-6)在Ib图像能够正常分割出人手的情况下，确定人手质心位置坐标，更新P并重新确定范围S位置，对人手进行跟踪；在Ib图像不能正常分割出人手的情况下，使用帧差图像If，确定人手质心坐标，更新P并重新确定范围S位置，对人手进行跟踪。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
权利要求
1.一种基于红外图像的手势识别系统，包括红外照明模块、前端图像处理模块和数字图像手势分割及跟踪模块，其特征在于，所述前端图像处理模块包括相互连接的红外视频采集单元、FPGA控制及输出单元， 所述红外视频采集单元包括可调节参考电压的CMOS光学传感芯片和镜头组件，所述CMOS光学传感芯片集成有DSP芯片；所述镜头组件安装在CMOS光学传感芯片的前方； 所述FPGA控制及输出单元包括依次连接的图像质量评估模块、参考电压调节模块和输出模块，所述图像质量评估模块用于判断手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，则控制参考电压调节模块调节CMOS光学传感芯片中A/D转换器的参考电压VREFl和VREF2 ;若否，则通过输出单元直接输出数字图像。
2.根据权利要求I所述的基于红外图像的手势识别系统，其特征在于，所述红外照明模块由4个红外LED灯管组成，所述4个红外LED灯管均匀分布在镜头组件的镜头周围，与镜头中心的距离小于或等于3cm，各LED灯管与镜头中心的连线之间夹角为90°。
3.根据权利要求2所述的基于红外图像的手势识别系统，其特征在于，所述LED灯管的直径参数为8mm，发射角大于45°。
4.根据权利要求2所述的基于红外图像的手势识别系统，其特征在于，所述镜头的前方安装有滤波片，所述滤波片的透光波段与红外LED灯管的发光波段对应。
5.如权利要求I 4任一项所述的基于红外图像的手势识别系统的手势识别方法，其特征在于，包括以下步骤 (1)红外照明模块照亮手势操作区域； (2)红外视频采集单元采集红外图像，具体包括以下步骤 (2-1)CMOS光学传感芯片获得像素点的模拟电压V。； (2-2)根据CMOS光学传感芯片的参考电压VREFl和VREF2，通过A/D转换器和DSP芯片处理，对CMOS光学传感芯片获取的数字图像各像素点模拟电压Vtl进行量化，将每一帧图像像素点的电压量化为8bit数据VREF1 ^ V0^ VREF2，得到数字图像； (2-3)图像质量评估模块判断能否手势能否被识别手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，则控制参考电压调节模块调节A/D转换器的参考电压VREFl和VREF2，重复步骤(2_2) (2_3);若否，则通过输出单元直接输出数字图像； (3)对数字图像进行手势分割及跟踪。
6.根据权利要求5所述的基于红外图像的手势识别系统的手势识别方法，其特征在于，步骤(3)所述对数字图像进行手势分割及跟踪，具体包括以下步骤 (3-1)对红外视频采集单元采集到的红外图像Itl，提取其RGB中任一色层或将其灰度化得到图像I1; (3-2)使用预先训练好的分类器对I1图像进行处理，找到图像中人手区域，并确定人手在图像中出现的位置P及范围S ； (3-3)依据范围S内数字图像数据，统计区域内出现概率最高的灰度值，以此灰度值作为阈值T ； (3-4)用阈值T估计人手区域的灰度值范围，确定全局二值化阈值，获得二值化图像Ib ；(3-5)对I1灰度图像使用帧差法，确定人手运动帧差图像If ； (3-6)在Ib图像能够正常分割出人手的情况下，确定人手质心位置坐标，更新P并重新确定范围S位置，对人手进行跟踪；在Ib图像不能正常分割出人手的情况下，使用帧差图像If，确定人手质心坐标，更新P并重新确定范围S位置，对人手进行跟踪。
全文摘要
本发明公开了一种基于红外图像的手势识别系统，包括红外照明模块、前端图像处理模块和数字图像手势分割及跟踪模块，红外视频采集单元包括CMOS光学传感芯片和镜头组件；前端图像处理模块包括红外视频采集单元和FPGA控制及输出单元，FPGA控制及输出单元包括图像质量评估模块、参考电压调节模块和输出模块，图像质量评估模块用于判断手部区域与手部周围区域是否在数字图像中呈现相同或相近的像素值，若是，调节CMOS光学传感芯片的参考电压；若否，直接输出数字图像。本发明还公开了上述系统的手势识别方法。与现有技术相比，本发明有效解决了低照度或光照变化环境下识别不稳定的问题，提高了红外数字视频数据的质量及系统的稳定性。
文档编号G06K9/00GK102629314SQ20121003684
公开日2012年8月8日 申请日期2012年2月17日 优先权日2012年2月17日
发明者崔东顺, 徐向民, 翁俊武, 苗捷 申请人:华南理工大学