基于立体视觉的手势体感控制系统的制作方法
【专利摘要】本发明提供了一个基于立体视觉的手势体感控制系统，包括：双目视频探头(1)，手势体感识别单元(2)和控制单元(3)；其中，双目视频探头(1)采集手势体感动作，输出图像给手势体感识别单元(2)；手势体感识别单元(2)检测和识别手势体感动作，输出识别结果给控制单元(3)；而控制单元(3)转换手势体感动作为控制指令，实现对应操作。采用双目视频探头，获取手势体感动作的深度信息，利用手势体感动作的Hu矩不变特征及其深度信息作为训练样本，利用成熟的SVM分类器实现动态手势体感动作的识别及分类匹配。
【专利说明】基于立体视觉的手势体感控制系统
【技术领域】
[0001]本发明涉及人机交互【技术领域】、视频图像处理领域，具体是基于立体视觉的手势体感控制系统。
【背景技术】
[0002]人机交互技术目前主要有基于数据手套的手势识别，基于触摸屏的手势识别，基于加速度传感器的手势识别，基于超声波传感器的手势识别和基于视觉的手势识别。基于数据手套的方法具有快速准确等优点，但该方法要求使用者穿戴复杂的数据手套和位置跟踪器，不符合自然人机交互的要求，并且数据手套的价格昂贵，不适合大量推广。基于触摸屏的手势输入和识别非常直观，但是这种方法需要用户接触屏幕，相比之下，非接触的方式能够提供更为自然的人机交互。基于加速度传感器的手势输入，用户需要拿着输入设备，并且这种输入很容易受到干扰，需要用户做出配合。基于超声波传感器的手势识别存在诸如易受干扰、速度慢等问题。基于视觉的手势识别，具有操作便捷、人机交互自然的优点。但是目前的情况是，单目视频无法进行测距和定位，只能识别静态手势，用户不能自定义手势，芯片植入设备造成成本过高，无法移植等缺陷，以致难以商业化普及推广。
【发明内容】
[0003]本发明的至少一个目的在于提供一个基于立体视觉的手势体感控制系统，以解决测距定位、用户自定义手势体感动作、多手势体感动作识别、动态手势体感动作识别、嵌入式独立控制等技术问题。
[0004]本发明要解决的上述技术问题所采用的新的技术方案是这样实现的:
[0005]一个基于立体视觉的手势体感控制系统，包括:双目视频探头，手势体感识别单元和控制单元。其中，双目视频探头采集手势体感动作，输出图像给手势体感识别单元；手势体感识别单元检测和识别手势体感动作，输出识别结果给控制单元；而控制单元转换手势体感动作为控制指令，实现对应操作。
[0006]优选地，双目视频探头能够立体采集静态的手势体感动作和捕捉动态的手势体感轨迹，获取手势体感动作距离双目视频探头的深度信息，进行立体成像，输出成像结果。
[0007]优选地，手势体感识别单元为支持多通道输入/输出的图形界面单元，包括:图像增强单元、图像分割单元、图像检测单元、图像识别单元、图像数据库、和图像设置单元，图像增强单元能够对双目视频探头采集的图像进行增强，图像分割单元能够将经过图像增强单元增强的手势体感动作从整体图像中分割出来，图像检测单元能够对经过图像分割单元分割出的手势体感动作进行筛选，提取特征动作，图像识别单元将图像检测单元提取的手势体感特征动作与图像数据库中预存的手势体感特征动作进行匹配，输出匹配结果，图像设置单元将图像检测单元提取的手势体感特征动作存入图像数据库。
[0008]优选地，控制单元包括指令转换单元、和指令数据库，指令转换单元将图像识别单元输出的匹配结果转换为控制指令，并与指令数据库中预存的控制指令进行匹配，执行对应操作。
[0009]优选地，双目视频探头与手势体感识别单元之间的通讯连接为以下方式中的至少一种:TCP/IP、2G、3G、4G、Wif1、Zigbee、和 Wlan0
[0010]优选地，手势体感识别单元与控制单元之间的通讯连接为以下方式中的至少一种:TCP/IP、2G、3G、4G、Wif1、Zigbee、和 Wlan0
[0011]本发明的技术效果在于:
[0012]采用双目视频探头，获取手势体感动作的深度信息，利用手势体感动作的Hu矩不变特征及其深度信息作为训练样本，利用成熟的SVM分类器实现动态手势体感动作的识别及分类匹配。采用特定的手势体感动作开启及关闭控制系统，防止在不需要的情况下进行的误操作。采用图像增强技术，对于在复杂背景及不同光照条件下的图像进行增强，以实现复杂背景及不同光照条件下的手势体感动作的提取及检测。采用图像分割技术及手势先验知识，对实景中手势体感动作进行检测、分割和识别，实现多手势体感动作控制。采用在线学习技术，实现用户自定义手势体感动作的输入和管理。采用现代通信技术，实现手势体感识别单元与控制单元之间的通讯，解决芯片植入设备造成无法移植的缺陷。
【专利附图】
【附图说明】
[0013]图1:是基于立体视觉的手势体感控制系统的架构图。
[0014]图2:是基于立体视觉的手势体感控制系统的流程图。
[0015]示意图中的标号说明:
[0016]I双目视频探头，2手势体感识别单元，3控制单元，4图像增强单元、5图像分割单元、6图像检测单元、7图像识别单元、8图像数据库、9图像设置单元，10指令转换单元、11指令数据库。
【具体实施方式】
[0017]下面结合附图，对本发明的基于立体视觉的手势体感控制系统为实现解决测距定位、用户自定义手势体感动作、多手势体感动作识别、动态手势体感动作识别、嵌入式独立控制等技术问题所采取的技术方案的优选方式作进一步说明:
[0018]参见图1和2，本发明提供一种基于立体视觉的手势体感控制系统，包括:双目视频探头1，手势体感识别单元2和控制单元3 ;其中，双目视频探头I采集手势体感动作，输出图像给手势体感识别单元2 ;手势体感识别单元2检测和识别手势体感动作，输出识别结果给控制单元3 ;而控制单元3转换手势体感动作为控制指令，实现对应操作。
[0019]具体地，双目视频探头I能够立体采集静态的手势体感动作和捕捉动态的手势体感轨迹，获取手势体感动作距离双目视频探头I的深度信息，进行立体成像，输出成像结果O
[0020]具体地，手势体感识别单元2为支持多通道输入/输出的图形界面单元，包括:图像增强单元4、图像分割单元5、图像检测单元6、图像识别单元7、图像数据库8、和图像设置单元9 ;其中，图像增强单元4能够对双目视频探头I采集的图像进行增强，图像分割单元5能够将经过图像增强单元4增强的手势体感动作从整体图像中分割出来，图像检测单元6能够对经过图像分割单元5分割出的手势体感动作进行筛选，提取特征动作，图像识别单元7将图像检测单元6提取的手势体感特征动作与图像数据库8中预存的手势体感特征动作进行匹配，输出匹配结果，图像设置单元9将图像检测单元6提取的手势体感特征动作存入图像数据库8。
[0021]具体地，控制单元3包括指令转换单元10、和指令数据库11 ;其中，指令转换单元10将图像识别单元7输出的匹配结果转换为控制指令，并与指令数据库11中预存的控制指令进行匹配，执行对应操作。
[0022]优选地，双目视频探头I与手势体感识别单元2之间的通讯连接为以下方式中的至少一种:TCP/IP、2G、3G、4G、Wif1、ZigbeeJP Wlan0
[0023]优选地，手势体感识别单元2与控制单元3之间的通讯连接为以下方式中的至少一种:TCP/IP、2G、3G、4G、Wif1、ZigbeeJP Wlan0
[0024]以下是本发明提供的一种基于立体视觉的手势体感控制系统的优选操作流程。
[0025]步骤1:双目视频探头(I)立体采集静态的手势体感动作和捕捉动态的手势体感轨迹，获取手势体感动作距离双目视频探头(I)的深度信息，进行立体成像，输出成像结果，良好光照条件下，转到步骤3 ；
[0026]步骤2:双目视频探头(I)立体采集静态的手势体感动作和捕捉动态的手势体感轨迹，获取手势体感动作距离双目视频探头(I)的深度信息，进行立体成像，输出成像结果，不好光照条件下，转到步骤4 ;
[0027]步骤3图像分割单元(5)将经过图像增强单元(4)增强的手势体感动作从整体图像中分割出来，图像检测单元(6)对经过图像分割单元(5)分割出的手势体感动作进行筛选，提取特征动作，图像识别单元⑵将图像检测单元(6)提取的手势体感特征动作与图像数据库(8)中预存的手势体感特征动作进行匹配，输出匹配结果，转到步骤5;
[0028]步骤4:图像增强单元(4)对双目视频探头(I)采集的图像进行增强，转到步骤3 ；
[0029]步骤5:符合开启动作，开启控制单元(3)，进入手势体感控制环节，实现动态手势体感动作识别和多手势体感动作识别，转到步骤7 ；
[0030]步骤6:符合开启动作，开启控制单元(3)，进入用户自定义手势体感动作环节，转到步骤8 ；
[0031]步骤7:指令转换单元(10)将图像识别单元(7)输出的匹配结果转换为控制指令，并与指令数据库(11)中预存的控制指令进行匹配，执行对应操作，操作完成后退出控制系统；
[0032]步骤8:用户输入特定手势体感动作，图像设置单元(9)将图像检测单元(6)提取的手势体感特征动作存入图像数据库(8)，实现动作匹配，操作完成后退出控制系统，再次进入可用。
【权利要求】
1.一种基于立体视觉的手势体感控制系统，包括: 双目视频探头(I)，手势体感识别单元⑵和控制单元⑶； 其中，双目视频探头(I)采集手势体感动作，输出图像给手势体感识别单元(2);手势体感识别单元(2)检测和识别手势体感动作，输出识别结果给控制单元(3);而控制单元(3)转换手势体感动作为控制指令，实现对应操作。
2.根据权利要求1所述的系统，其特征在于所述的双目视频探头(I)能够立体采集静态的手势体感动作和捕捉动态的手势体感轨迹，获取手势体感动作距离双目视频探头(I)的深度信息，进行立体成像，输出成像结果。
3.根据权利要求1所述的系统，其特征在于所述的手势体感识别单元(2)为支持多通道输入/输出的图形界面单元，包括:图像增强单元(4)、图像分割单元(5)、图像检测单元(6)、图像识别单元(7)、图像数据库(8)、和图像设置单元(9)； 其中，图像增强单元(4)能够对双目视频探头(I)采集的图像进行增强，图像分割单元(5)能够将经过图像增强单元(4)增强的手势体感动作从整体图像中分割出来，图像检测单元(6)能够对经过图像分割单元(5)分割出的手势体感动作进行筛选，提取特征动作，图像识别单元(7)将图像检测单元(6)提取的手势体感特征动作与图像数据库(8)中预存的手势体感特征动作进行匹配，输出匹配结果，图像设置单元(9)将图像检测单元(6)提取的手势体感特征动作存入图像数据库(8)。
4.根据权利要求1所述的系统，其特征在于所述的控制单元(3)包括指令转换单元(10)、和指令数据库(11)； 其中，指令转换单元(10)将图像识别单元(7)输出的匹配结果转换为控制指令，并与指令数据库(11)中预存的控制指令进行匹配，执行对应操作。
5.根据权利要求1所述的系统，其特征在于所述的双目视频探头(I)与手势体感识别单元(2)之间的通讯连接为以下方式中的至少一种:TCP/IP、2G、3G、4G、Wif1、Zigbee、和Wlan。
6.根据权利要求1所述的系统，其特征在于所述的手势体感识别单元(2)与控制单元(3)之间的通讯连接为以下方式中的至少一种:TCP/IP、2G、3G、4G、Wif1、Zigbee、和Wlan。
【文档编号】G06F3/01GK103576840SQ201210257560
【公开日】2014年2月12日 申请日期:2012年7月24日 优先权日:2012年7月24日
【发明者】夏椒波, 金朝汇, 龚晖 申请人:上海辰戌信息科技有限公司