一种基于2d视频序列的手势识别及人机交互方法和系统的制作方法

文档序号:9274916阅读:1036来源:国知局
一种基于2d视频序列的手势识别及人机交互方法和系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于2D视频序列的手势识别及人机交互方法和系统,属于人机 交互技术领域。
【背景技术】
[0002] 基于手势识别的体感控制技术,已经成为目前一种重要的人机交互手段。其通过 普通摄像头采集用户的动作画面,通过模式识别算法,对图像中的手部特征进行检测和定 位,再通过识别出人手的姿态和运动轨迹等,将这种识别信息转化为操作信号,反馈给智能 终端,并触发相应的操作命令,如电视节目的切换,音量的调节,图片、网页的放大、缩小,简 单的体感游戏的操控,如切水果、打球、驾驶类等游戏。手势识别技术基于智能终端所配备 的摄像头,在终端安装相应的识别软件,即可完成以上操作,因而在硬件成本和操作方式上 都具有极大的优势,该技术可以用来操控电视、个人电脑、平板电脑和智能手机等消费电子 设备。
[0003] 根据手势识别的研宄和应用的发展过程,大致可以划分为以下几种技术手段:
[0004] (1)基于数据手套或佩戴物:通过用户佩戴特制的手套或者标识物,通过摄像头 来进行识别,手套本身是特殊设计的,具有明显的特征,因而可以降低检测和识别算法的复 杂性,但是这种佩戴式的操作方式,显然难以满足自然的人机交互的需要,因而该方法始终 未得到广泛的应用;
[0005] (2)基于3D深度相机:代表技术为微软的KINECT产品,其通过三维扫描设备,获 取操作者的动态三维模型,因为其工作在3D空间,因而避免了 2D空间中存在的颜色干扰、 图像分割等大量的难题。但是3D扫描设备体积较大,硬件成本较高,所需的运算能力更高, 因而难以集成并应用到大众化的智能终端如电视、手机等设备上;
[0006] (3)基于普通摄像头2D图像识别的技术:由于这种技术是基于普通摄像头来实现 的,因而也是最具有大规模应用潜力的技术。本申请人所提交的申请号为201310481745. X的专利申请公开了"一种基于单目视频序列的目标人手势交互方法",其通过对人手静止 姿态或单手手势进行识别,从而可以应用于低运算能力的嵌入式平台进行人机交互。但是 该申请仍然存在以下缺点:a)由于缺乏深度信息,在复杂环境中人手的提取会比较困难; b)普通的2D摄像头对光线很敏感,并且要实现对于像人手这种非刚性、少纹理的目标进行 高精度跟踪,在复杂环境下将会面临很大的挑战;c)由于噪声、距离、还有每个人习惯的不 同,也会导致对人手的各种姿态和手势的识别造成一定的影响;d)无法实现人手的双手姿 态及手势的识别;e)对于双手识别而言,如何处理两只手交叉等问题,也是一个难题。因 而,仍然需要发明人继续进行研宄改进。

【发明内容】

[0007] 本发明的目的在于,提供一种基于2D视频序列的手势识别及人机交互方法和系 统,它可以有效解决现有技术中存在的问题,尤其是普通的2D摄像头对光线很敏感,要实 现对人手这种非刚性、少纹理的目标进行高精度跟踪,将会面临很大挑战的问题。
[0008] 为解决上述技术问题,本发明采用如下的技术方案:一种基于2D视频序列的手势 识别及人机交互方法,包括以下步骤:
[0009]S1,获取单目2D视频帧序列图像,并提取该图像中的运动前景(从而可以剔除静 止物体,初步挑选出人手可能出现的区域,减少人手定位的计算量);
[0010] S2,在所述的运动前景中检测人手,并构建人手的联合特征模型;
[0011] S3,预测人手目标出现的位置区域,并在该位置区域中利用人手的联合特征模型 搜索、定位人手目标,获得人手在当前帧中的位置;
[0012] S4,根据人手在当前帧中的位置判断当前的操作模式类型;
[0013] S5,对人手进行跟踪,识别当前操作模式下人手的姿态和手势;将所述的姿态和手 势转换为相应的指令,实现人机交互。
[0014] 对于步骤S2中的联合特征模型,可采用直接融合更新、多样本库更新或在线学习 等方式进行模型更新,尤其是采用直接融合的方式进行更新,更新时的权重计算函数采用 模型匹配相似度的线性函数,从而可以及时的反映目标模型在短时间内的快速变化,能够 实时的匹配人手的快速移动的特点。
[0015] 本发明的步骤S1中,可通过GMM运动检测算法对图像中的运动前景进行提取,使 得运动前景的提取更高效、更稳定,同时本发明对于运动检测模块的模型更新策略采用了 局部更新速率自适应调整的方式。
[0016] 本发明的步骤S2中,在所述的运动前景中通过Haar与LBP的联合特征检测人手, 分类器采用Adaboost,采用此联合特征进行检测,从而可以在提升检测率的同时,使得计算 速度也非常快,满足实时的要求,适合移植到嵌入式系统中。
[0017] 本发明的步骤S2中,所述的联合特征模型由颜色、形状、纹理、结构、梯度特征模 型中的任意两种或多种融合而成,相对于单颜色模型,使得人手的识别与跟踪更加稳定可 靠,精度更高,且能够克服复杂环境以及人手的快速运动产生的形变干扰。
[0018] 优选的,步骤S2中,所述的联合特征模型由颜色和纹理特征模型通过核函数融合 而成,从而可以进一步增加中心部分的权重,减小边缘部分的权重的方式,减少背景的干 扰,提尚了跟踪的稳定性与精确度。
[0019] 此外,本发明通过neon、OpenMP、多线程优化算法对硬件进行加速,使得本发明采 用联合特征模型进行跟踪与检测,不仅人手的识别与跟踪更加稳定可靠,精度更高,而且计 算时间大大减少,在移动平台上运行非常流畅。
[0020] 所述的核函数可以为高斯核函数、多项式核函数、径向基核函数等,尤其是采用高 斯核函数对颜色和纹理特征进行融合,可以进一步减少背景的干扰,提高跟踪的稳定性与 精确度。
[0021] 具体的,采用高斯核函数对颜色和纹理特征进行融合包括以下步骤:
[0022] (1)加权提取颜色直方图特征模型和LBP纹理直方图特征模型;
[0023] (2)利用所述的颜色直方图特征模型和LBP纹理直方图特征模型分别对人手目标 进行搜索,获得两个搜索结果;
[0024] (3)将所述的两个搜索结果通过线性方式进行融合,相似度为权值,相似度大的权 重大,相似度小的权重小,得联合特征模型(即颜色直方图+LBP纹理直方图的联合特征直 方图),具体的,所述的联合特征模型为:
[0025]
[0026] 其中,Rectresult为最终融合的结果;colorSim为颜色跟踪的相似度(0~1), lbpSim为纹理跟踪的相似度(0~1),RectralOT为颜色跟踪的结果,Rectlbp为纹理跟踪的结 果。
[0027] 步骤S3中,采用均值漂移的搜索方式对目标人手进行搜索,相对于逐像素搜索、 粒子群搜索速度更快,更适合本发明中实时应用。
[0028] 前述的基于2D视频序列的手势识别及人机交互方法中,步骤S3具体包括以下步 骤:通过对目标人手的轨迹分析,预测人手在当前帧中的位置,以该位置为中心确定目标可 能存在的区域;遍历该区域中所有目标人手大小的矩形框,提取每个矩形框的联合特征,与 样本库中的样本进行匹配,获得人手在当前帧中的位置,并利用人手特征和轨迹更新模型 样本库。
[0029] 其中,步骤S3中所述的通过对目标人手的轨迹分析,预测人手在当前帧中的位 置,以该位置为中心确定目标可能存在的区域具体包括:假设目标在短时间内匀速运动,利 用目标的前3帧运动信息计算出其运动的平均速度和方向;再根据计算出的平均速度和方 向预测下一帧中目标可能出现的位置;以预测出的下一帧中目标可能出现的位置为中心, 并根据目标当前的平均运动速度确定搜索区域,在该搜索区域中精确跟踪定位人手的实际 位置。
[0030] 另外,
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1