步骤S3中所述的与样本库中的样本进行匹配是指根据提取的联合特征模 型（即LPB+颜色的联合特征直方图）与样本库中的直方图进行匹配。
[0031] 优选的，遍历该区域中所有目标大小的矩形框时，若该矩形框包含运动前景像素， 则提取该矩形框中的联合特征，与样本库中的样本进行匹配，获得人手在当前帧中的位置， 并更新模型样本库；否则继续检测下一个矩形框。
[0032] 本发明的步骤S4具体包括：检测人体的其他部位，并根据人手在当前帧中的位 置，区分左右手并预测另一只手出现的位置区域；在该位置区域中利用人手的联合特征模 型搜索、定位另一只手；根据搜素、定位结果确定当前的操作为双手模式或单手模式。
[0033] 具体的说，可先用人脸检测方法检测出人脸，再判断当前人手与人脸的位置关系， 如果当前人手在人脸的左侧则为左手，当前人手在人脸的右侧则为右手；当确定了当前人 手为左手或右手后，从而即可预测另一只手出现的位置区域，方便快捷。
[0034] 进一步的，本发明通过以下方法实现双手交叉的识别与处理：
[0035] (1)对每只手分别进行跟踪，根据产生的运动轨迹判断当前手为左手或右手；
[0036] (2)对每只手分别建立联合特征模型，并将其与当前采集到的联合特征模型进行 对比，判断当前手为左手或右手；
[0037] (3)根据当前人手与人脸的位置关系判断当前手为左手或右手；
[0038] (4)根据步骤（1)、（2)、（3)，获得最终的判断结果。
[0039] 通过上述方法实现双手交叉的识别与处理，系统操作的稳定性和可靠性较高，同 时可以节省大量的计算时间。
[0040] 步骤S5包括：根据当前的操作模式，计算人手在图像中的运动量，并按照非线性 映射的方式，映射为当前显示器分辨率下鼠标或键盘的运动量（即将计算得到的手的运动 位置坐标采用非线性的方式映射到显示屏的坐标位置上），实现对鼠标或键盘的操控。
[0041] 上述方法中，步骤S5具体包括：对人手进行跟踪，获取每只手的位置和轨迹，并进 行姿态和手势识别；其中，进行姿态识别时，以所述的人手位置为中心，在手掌的最小外接 矩形框内，检测当前人手的姿态，并将其与样本库中的姿态进行匹配，若匹配，则输出与该 姿态对应的命令，实现人机交互；进行手势识别时，缓存每只手在多帧图像中的位置信息， 并进行重采样；将采样得到的轨迹与标准手势模型进行匹配，若相似度大于设定的阈值，则 输出该手势对应的命令，实现人机交互。
[0042] 一种基于2D视频序列的手势识别及人机交互系统，包括：
[0043] 运动前景提取模块：用于获取单目2D视频帧序列图像，并提取该图像中的运动前 景；
[0044] 人手甄选模块：用于在所述的运动前景中检测人手；
[0045] 目标人手建模模块：用于构建人手的联合特征模型；
[0046] 目标人手跟踪模块：用于预测人手目标出现的位置区域，在该位置区域中利用人 手的联合特征模型搜索、定位人手目标，获得人手在当前帧中的位置；
[0047] 操作模式识别模块：用于根据人手在当前帧中的位置判断当前的操作模式类型；
[0048] 姿态、手势识别模块：用于对人手进行跟踪，识别当前操作模式下人手的姿态和手 势；
[0049] 人机交互模块：用于将所述的姿态和手势转换为相应的指令，实现人机交互。
[0050] 优选的，所述的目标人手跟踪模块还包括：
[0051] 位置区域预测模块：用于通过对目标人手的轨迹分析，预测人手在当前帧中的位 置，以该位置为中心确定目标可能存在的区域；
[0052] 人手位置确定模块：用于遍历该区域中所有目标人手大小的矩形框，提取每个矩 形框的联合特征，与样本库中的样本进行匹配，获得人手在当前帧中的位置；
[0053] 模型样本库更新模块：用于更新模型样本库。
[0054] 本发明中，所述的人手位置确定模块还包括：
[0055] 运动前景像素检测模块：用于检测矩形框是否包含运动前景像素。
[0056] 上述系统中，所述的操作模式识别模块还包括：
[0057] 左右手区分模块：用于检测人体的其他部位，并根据人手在当前帧中的位置，区分 左右手；
[0058] 单双手识别模块：用于预测另一只手出现的位置区域；在该位置区域中利用人手 的联合特征模型搜索、定位另一只手；根据搜素、定位结果确定当前的操作为双手模式或单 手模式。
[0059] 前述的基于2D视频序列的手势识别及人机交互系统中，所述的人机交互模块还 包括：
[0060] 映射鼠标或键盘模块：用于根据当前的操作模式，计算人手在图像中的运动量，并 按照非线性映射的方式，映射为当前显示器分辨率下鼠标或键盘的运动量，实现对鼠标或 键盘的操控。
[0061] 本发明中，所述的姿态、手势识别模块还包括：
[0062]姿态匹配模块：用于进行姿态识别时，以所述的人手位置为中心，在手掌的最小外 接矩形框内，检测当前人手的姿态，并将其与样本库中的姿态进行匹配；
[0063]手势匹配模块：用于进行手势识别时，缓存每只手在多帧图像中的位置信息，并进 行重采样；将采样得到的轨迹与标准手势模型进行匹配。
[0064]与现有技术相比，本发明通过提取该图像中的运动前景，并在所述的运动前景中 检测人手，构建人手的联合特征模型，再利用人手的联合特征模型搜索、定位人手目标，获 得人手在当前帧中的位置，再识别人手的姿态和手势；将所述的姿态和手势转换为相应的 指令，实现人机交互，不仅实现了在复杂背景下的目标人手甄选，而且还可以实现对人手的 尚精度、尚稳定性的跟踪；另外，本发明还可以进彳丁单手、双手的检测和跟踪，并准确的区分 左右手，实现利用更多的手势和姿态进行人机交互。此外，本发明通过利用核函数对颜色、 形状、纹理、结构、梯度特征进行融合，从而可以增加中心部分的权重，减小边缘部分的权重 的方式，进一步减少了背景的干扰，进一步提高了跟踪的稳定性与精确度。另外，本发明中 的人手模拟鼠标模式，可以方便的扩充为遥控器模式、触屏模式等。本发明采用GMM的更新 方式对背景模型进行更新，同时对于运动检测模块的模型更新策略采用了局部更新速率自 适应的方式，从而能够更精确的提取人手这种快速运动中的目标。
[0065]此外，本发明采用了联合特征跟踪结合检测的思想，使得人手分割更精确，减小了 对人手的各种姿态和手势识别的干扰，进而使得人手的识别与跟踪更加稳定可靠，精度更 高；同时本发明通过算法逻辑上的并行优化以及硬件加速（如NEON，OpenMP、多线程优化算 法）使得计算量满足实时性要求，在移动平台上运行也非常流畅；另外，本发明中采用了局 部更新速率自适应的运动检测方式结合联合特征跟踪（指采用颜色与纹理模型融合后的 联合特征模型）、联合特征检测（指权利要求2中的Haar+LBP的联合特征）及双手识别的 算法思想，保证了系统稳定可靠快速的运行在嵌入式系统中。此外，本发明采用联合特征检 测，检测器本身就具有克服一定光照和噪声的影响；而且跟踪器中采用的联合特征模型也 具有抗光照，形变的特性，再加上跟踪模型的及时学习更新以及结合运动分析和轨迹分析， 从而增强了对非刚性、少纹理的目标跟踪的鲁棒性，提高了跟踪的精确度；此外，对于不同 的距离操作，本发明根据人手的大小自适应调整鼠标映射系数，从而减小了距离给操作带 来的影响。
【附图说明】
[0066] 图1是本发明的一种实施例的方法流程图；
[0067] 图2为人手检测的方法流程图；
[0068] 图3为人手联合特征模型的构建方法流程图；
[0069]图4为人手在图像中的位置确定方法流程图；
[0070] 图5为手势系统的启动