一种运动手势轨迹获取方法及系统的制作方法
【专利摘要】本发明适用于人机交互领域，提供了一种运动手势轨迹获取方法及系统，所述方法包括：获取当前帧视频图像；对所述当前帧视频图像进行分析，获取所述当前帧视频图像的肤色掩膜图像；将所述当前帧视频图像的肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进行比对，获取肤色掩膜差分图像；根据所述肤色掩膜差分图像获取第一手部区域；对所述第一手部区域进行诊断，并从最终手部位置获取运动手势轨迹。本发明实施例，获取当前帧视频图像和参照帧视频图像的肤色掩膜差分图像，在该肤色掩膜差分图像中获取计算手部区域的种子区域，使种子区域生长为整个手部区域，计算效率快速，提高了运动手势获取的稳定性。
【专利说明】一种运动手势轨迹获取方法及系统
【技术领域】
[0001] 本发明属于人机交互领域，尤其涉及一种运动手势轨迹获取方法及系统。
【背景技术】
[0002] 近年来，动态手势识别技术在人机交互领域有了越来越广泛的应用。例如，在智能 电视终端上，用户可以通过手部运动来改变智能电视的鼠标光标位置，进行游戏控制或者 网页浏览，可以用手势模拟键盘行为来切换电视频道和调节音量等。这些应用中所涉及到 的一个核心是运动手部跟踪问题，即，如何稳定而流畅地跟踪操作者手部并获得规范的运 动轨迹。现有的基于计算机视觉的手部跟踪方法，普遍存在着以下问题：1、计算效率低，基 于运动检测的跟踪容易受到背景扰动和光照波动等因素干扰，而基于特征匹配的跟踪，一 般需要提取复杂特征，还需进行多轮匹配，算法复杂度高，庞大的运算量使其难以在嵌入式 平台（如：智能电视、智能手机等）上流畅地运行；2、稳定性差，由于运动所导致的视角变 换和运动形变，以及环境噪声（包括其他目标运动、人体局部运动、手肘的伴随运动等）的 影响，运动手势跟踪中容易发生丢失、漂移等错误。
【发明内容】
[0003] 本发明实施例的目的在于提供一种人机交互命令的获取方法及系统，以解决现有 技术的计算效率低，稳定性差的问题。
[0004] 本发明实施例是这样实现的，一种运动手势轨迹获取方法，所述方法包括以下步 骤：
[0005] 获取当前帧视频图像；
[0006] 对所述当前帧视频图像进行分析，获取所述当前帧视频图像的肤色掩膜图像；
[0007] 将所述当前帧视频图像的肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图 像进行比对，获取肤色掩膜差分图像；
[0008] 根据所述肤色掩膜差分图像获取第一手部区域；
[0009] 对所述第一手部区域进行诊断，并从诊断的结果获取运动手势轨迹，包括：
[0010] 如果诊断结果表明第一区域为正常，则以所述第一手部区域的最高点作为代表点 组成运动手势轨迹；或者，
[0011] 如果诊断结果显示异常，则以所述参照帧视频图像的表观特征为依据获取所述当 前帧视频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势 轨迹。
[0012] 本发明实施例的另一目的在于提供一种运动手势轨迹获取系统，所述系统包括：
[0013] 当前帧视频图像获取单元，用于获取当前帧视频图像；
[0014] 肤色掩膜图像获取单元，用于对所述当前帧视频图像获取单元获取的当前帧视频 图像进行分析，获取所述当前帧视频图像的肤色掩膜图像；
[0015] 肤色掩膜差分图像获取单元，用于将所述肤色掩膜图像获取子单元获取的当前帧 视频图像的肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进行比对，获取肤色掩 膜差分图像；
[0016] 第一手部区域获取单元，用于根据所述肤色掩膜差分图像获取单元获取的肤色掩 膜差分图像获取第一手部区域；
[0017] 运动手势轨迹获取单云，用于对所述第一手部区域获取单元获取的第一手部区域 进行诊断，并从最终手部位置获取运动手势轨迹，包括：
[0018] 如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手势 轨迹；或者，
[0019] 如果诊断结果为异常，则以所述参照帧视频图像的表观特征为依据获取所述当前 帧视频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨 迹。
[0020] 本发明实施例，获取当前帧视频图像和参照帧视频图像的肤色掩膜差分图像，在 该肤色掩膜差分图像中获取计算手部区域的种子区域，通过区域生长法，使种子区域生长 为整个手部区域，计算效率快速，而且在获得手部区域后，通过错误诊断方案对手部区域进 行诊断，并使用视频图像的表观特征对出现异常的手部区域进行修正，提高了运动手势获 取的稳定性。
【专利附图】
【附图说明】
[0021] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些 实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些 附图获得其他的附图。
[0022] 图1是本发明实施例提供的运动手势轨迹获取方法的流程图；
[0023] 图2是本发明实施例提供的肤色掩膜差分图像的示意图；
[0024] 图3是本发明实施例提供的以种子区域形成手部区域的示意图；
[0025] 图4是本发明实施例提供的经过诊断和纠错后获取的手部区域的示意图；
[0026] 图5是本发明实施例提供的以手部区域的最高点作为代表点组成运动手势轨迹 的不意图；
[0027] 图6是本发明实施例提供的运动手轨迹获取系统的结构图。
【具体实施方式】
[0028] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0029] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0030] 实施例一
[0031] 如图1所示为本发明实施例提供的运动手势轨迹获取方法的流程图，所述方法包 括以下步骤：
[0032] 在步骤S101中，获取当前帧视频图像。
[0033] 在本发明实施例中，进行运动手势获取的终端首先获取当前帧的视频图像，终端 可以通过摄像头等视频获取工具获取视频图像。
[0034] 在步骤S102中，对所述当前帧视频图像进行分析，获取所述当前帧视频图像的肤 色掩膜图像。
[0035] 在本发明实施例中，进行运动手势获取的终端在获取了视频图像之后，对该视频 图像进行计算，获取该视频图像的肤色掩膜图像。所述对所述当前帧视频图像进行分析，获 取所述当前帧视频图像的肤色掩膜图像的步骤，包括：
[0036] 1、获取所述当前帧视频图像每个点的像素值。
[0037] 在本发明实施例中，视频图像是由点组成的，每个点都有其像素值，进行运动手势 获取的终端首先获取这些点的像素值。获取像素值的方法使用现有技术，在此不做赘述。
[0038] 2、将所述每个点的像素值与预设的肤色模型进行比对，获取所述当前帧视频图像 的肤色掩膜图像。
[0039] 在本发明实施例中，在比对过程中，与肤色模型相符合的点记为1，与肤色模型不 想符合的点记为〇,这样可以方便进行运动手势获取的终端快速生成肤色掩膜图像。
[0040] 作为本发明的一个可选实施例，在所述将所述每个点的像素值与预设的肤色模型 进行比对，获取所述当前帧视频图像的肤色掩膜图像的步骤之前，所述方法还包括以下步 骤：
[0041] 预设肤色模型。
[0042] 在本发明实施例中，预设的肤色模型可以是线下训练的肤色模型，也可以使在线 设计的肤色模型。若使用在线肤色模型，需要有一个准备阶段来初始化在线肤色模型；模型 初始化完成之后，对每幅新获取的视频图像使用肤色模型进行检测，得到肤色掩膜图像。
[0043] 在步骤S103中，将所述当前帧视频图像的肤色掩膜图像与预设的参照帧视频图 像的肤色掩膜图像进行比对，获取肤色掩膜差分图像。
[0044] 在本发明实施例中，进行运动手势获取的终端在获取了当前帧视频图像的肤色掩 膜图像之后，将该肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进行比对（在某 个点，若当前帧掩膜图像在该点的标记为1，而参照帧在该点的标记为〇,则肤色掩膜差分 图像在该点的标记为1 ;其余情况下，肤色掩膜差分图像在该点的标记都为〇)，即可得到肤 色掩膜差分图像。如图2所示为肤色掩膜差分图像的示意图。
[0045] 需要指出的是：参照帧的选择要根据设备的计算速度来定，因此如果终端处理速 度快，应选择相隔当前帧较远的视频图像，如果终端处理速度慢，应选择相隔当前帧较近的 视频图像，这里的"远近"通过当前帧与参照帧之间相隔的帧数来定。
[0046] 在步骤S104中，根据所述肤色掩膜差分图像获取第一手部区域。
[0047] 在本发明实施例中，进行运动手势获取的终端可以根据肤色掩膜差分图像获取手 部区域。所述根据所述肤色掩膜差分图像获取第一手部区域的步骤包括：
[0048] 1、对所述肤色掩膜差分图像做形态学开运算，去除所述肤色掩膜差分图像中的噪 声前景；
[0049] 2、对去除噪声后的所述肤色掩膜差分图像进行联通区域分析，将所述肤色掩膜差 分图像中区域参数与预设的运动区域约束条件匹配度最高的区域，设置为手部运动前景区 域，所述区域参数包括：所述区域面积和所述区域的长宽比；
[0050] 在本发明实施例中，运动区域约束条件，与"参照帧相隔帧数"、"操作者-摄像头距 离范围"、"用户手部运动速度取值范围"等因素有关，这些因素可以称为独立参数。为了确 定运动区域约束条件中的相关取值，首先线下这些取值与独立参数之间的变化关系，这一 关系可以通过线下实验并统计数据来获得；在实际应用中，依据线上所用具体的独立参数 值，来确定约束关系中的相关取值。
[0051] 3、以所述手部运动前景区域为种子区域，使用区域生长法，在所述当前帧视频图 像的肤色掩膜图像中获取包含所述手部运动前景区域的第一手部区域。
[0052] 需要指出的是，之所以要在运动前景区域的基础上通过区域生长法，将运动前景 区域进一步扩展，是因为：受制于手势运动速度，用于做肤色掩膜差分的两帧视频图像中手 部可能有重叠的部分，因此对应的肤色掩膜差分图像可能无法包含整个手部前景区域，但 是由掩膜差分图像的定义可知差分所得手部前景是整个手部区域的一部分。
[0053] 如图3所示为以种子区域形成手部区域的示意图。
[0054] 在步骤S105中，对所述第一手部区域进行诊断，并从最终手部位置获取运动手势 轨迹，包括：如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手 势轨迹；或者，
[0055] 如果诊断结果为异常，则以所述参照帧视频图像的表观特征为依据获取所述当前 帧视频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨 迹。
[0056] 在本发明实施例中，当手部在运动过程中经过人脸或者类肤色物体时，肤色掩膜 图像中的手部前景与人脸/类肤色物体前景会重叠在一起或者连接到一起，这会出现以下 情况：在肤色掩膜差分图像上找不到符合运动区域约束条件的区域；或者，通过区域生长 法得到的手部区域包括人脸前景/类肤色前景。因此在获得第一手部区域后，需要对该第 一手部区域进行诊断，包括：
[0057] 如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手势 轨迹；或者，
[0058] 如果诊断结果异常，则以所述参照帧视频图像的表观特征为依据获取所述当前帧 视频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨 迹。
[0059] 如图4所示即为经过诊断和纠错后后获取手部区域的示意图。
[0060] 图4中第1行代表第t帧的跟踪结果，这一帧因为诊断过程中没发现异常，因此只 做了基于运动+肤色信息的跟踪；第2行代表在第t+Ι帧使用运动+肤色所得的跟踪结果， 即第一手部区域，但是经过诊断后发现异常，因此需要进一步使用表观信息来跟踪；第3行 展示的是在纠错过程中，分别使用原始图和过滤图所得的结果，前两幅图展示了基于原始 彩色图像进行跟踪的结果，红色框标记了第t+Ι帧的位置，可以看出与实际目标位置存在 显著差异，后两幅显示的是以肤色过滤图为源数据进行跟踪的结果，可以看出第t+Ι帧中， 跟踪的结果得到了改善；
[0061] 如图5所示为以手部区域的最高点作为代表点组成运动手势轨迹的示意图。
[0062] 图5中作为对比，同时列出了以手部中心点为代表点组成的运动轨迹示意图；左 边一列的两个是以手部中心点为代表点组成的轨迹，右边一列的两个是以手部最高点为代 表点组成的轨迹，可以看出若以中心点为代表点，在手部最初进入视场时，会存在轨迹点挤 压在一起的情况，所得的轨迹总长度也比较小，证据不如以端点形成曲线的办法充足。
[0063] 本发明实施例，获取当前帧视频图像和参照帧视频图像的肤色掩膜差分图像，在 该肤色掩膜差分图像中获取计算手部区域的种子区域，通过区域生长法，使种子区域生长 为整个手部区域，计算效率快速，而且在获得手部区域后，通过与历史数据的比较对手部区 域进行诊断，并在出现异常的情况下使用视频图像的表观特征对手部区域进行修正，提高 了运动手势获取的稳定性。
[0064] 作为本发明的一个可选实施例，在所述将所述当前帧视频图像的肤色掩膜图像与 预设的参照帧视频图像的肤色掩膜图像进行比对，获取肤色掩膜差分图像的步骤之前，所 述方法还包括以下步骤：
[0065] 预设参照帧视频图像。
[0066] 实施例二
[0067] 如图6所示为本发明实施例提供的运动手轨迹获取系统的结构图，为了便于说 明，仅不出与本发明实施例相关的部分，包括：
[0068] 当前帧视频图像获取单元601，用于获取当前帧视频图像。
[0069] 在本发明实施例中，当视频图像获取单元601首先获取当前帧的视频图像，终端 可以通过摄像头等视频获取工具获取视频图像。
[0070] 肤色掩膜图像获取单元602,用于对所述当前帧视频图像获取单元601获取的当 前帧视频图像进行分析，获取所述当前帧视频图像的肤色掩膜图像。
[0071] 在本发明实施例中，肤色掩膜图像获取单元602在获取了视频图像之后，对该视 频图像进行计算，获取该视频图像的肤色掩膜图像。所述肤色掩膜图像获取单元602,包 括：
[0072] 像素值获取子单元6021，用于获取所述当前帧视频图像每个点的像素值。
[0073] 在本发明实施例中，视频图像是由点组成的，每个点都有其像素值，进行运动手势 获取的终端首先获取这些点的像素值。获取像素值的方法使用现有技术，在此不做赘述。
[0074] 肤色掩膜图像获取子单元6022,用于将所述像素值获取子单元6021获取的每个 点的像素值与预设的肤色模型进行比对，获取所述当前帧视频图像的肤色掩膜图像。
[0075] 在本发明实施例中，在比对过程中，与肤色模型相符合的点记为1，与肤色模型不 想符合的点记为〇,这样可以方便进行运动手势获取的终端快速生成肤色掩膜图像。
[0076] 作为本发明的一个可选实施例，在所述肤色掩膜图像获取子单元6022获取肤色 掩膜图像之前，所述肤色掩膜图像获取单元602还包括 ：
[0077] 肤色模型预设子单元6023,用于预设肤色模型。
[0078] 在本发明实施例中，预设的肤色模型可以是线下训练的肤色模型，也可以使在线 设计的肤色模型。若使用在线肤色模型，需要有一个准备阶段来初始化在线肤色模型；模型 初始化完成之后，对每幅新获取的视频图像使用肤色模型进行检测，得到肤色掩膜图像。
[0079] 肤色掩膜差分图像获取单元603,用于将所述肤色掩膜图像获取子单元602获取 的当前帧视频图像的肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进行比对，获 取肤色掩膜差分图像。
[0080] 在本发明实施例中，进行运动手势获取的终端在获取了当前帧视频图像的肤色掩 膜图像之后，将该肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进行比对（在某 个点，若当前帧掩膜图像在该点的标记为1，而参照帧在该点的标记为0,则肤色掩膜差分 图像在该点的标记为1 ;其余情况下，肤色掩膜差分图像在该点的标记都为〇)，即可得到肤 色掩膜差分图像。如图2所示为肤色掩膜差分图像的示意图。
[0081] 需要指出的是：参照帧的选择要根据设备的计算速度来定。因此如果终端处理速 度快，应选择相隔当前帧较远的视频图像，如果终端处理速度慢，应选择相隔当前帧较近的 视频图像。这里的"远近"通过当前帧与参照帧之间相隔的帧数来定。
[0082] 第一手部区域获取单元604,用于根据所述肤色掩膜差分图像获取单元603获取 的肤色掩膜差分图像获取第一手部区域。
[0083] 在本发明实施例中，进行运动手势获取的终端可以根据肤色掩膜差分图像获取手 部区域。所述第一手部区域获取单元604,包括：
[0084] 噪声前景去除子单元6041，用于对所述肤色掩膜差分图像做形态学开运算，去除 所述肤色掩膜差分图像中的噪声前景；
[0085] 手部运动前景区域设置子单元6042,用于对所述噪声前景去除子单元6041去除 噪声后的肤色掩膜差分图像进行联通区域分析，将所述肤色掩膜差分图像中区域参数与预 设的运动区域约束条件匹配度最高的区域，设置为手部运动前景区域，所述区域参数包括： 所述区域面积和所述区域的长宽比。
[0086] 在本发明实施例中，运动区域约束条件，与"参照帧相隔帧数"、"操作者-摄像头距 离范围"、"用户手部运动速度取值范围"等因素有关，这些因素可以称为独立参数。为了确 定运动区域约束条件中的相关取值，首先线下这些取值与独立参数之间的变化关系，这一 关系可以通过线下实验并统计数据来获得；在实际应用中，依据线上所用具体的独立参数 值，来确定约束关系中的相关取值。
[0087] 第一手部区域获取子单元6043,用于以所述手部运动前景区域设置子单元6042 设置的手部运动前景区域为种子区域，使用区域生长法，在所述当前帧视频图像的肤色掩 膜图像中获取包含所述手部运动前景区域的第一手部区域。
[0088] 需要指出的是，之所以要在运动前景区域的基础上通过区域生长法，将运动前景 区域进一步扩展，是因为：：受制于手势运动速度，用于做肤色掩膜差分的两帧视频图像中 手部可能有重叠的部分，因此对应的肤色掩膜差分图像可能无法包含整个手部前景区域， 但是由掩膜差分图像的定义可知差分所得手部前景是整个手部区域的一部分。
[0089] 运动手势轨迹获取单云605,用于对所述第一手部区域获取单元604获取的第一 手部区域进行诊断，并从最终手部位置获取运动手势轨迹，包括：
[0090] 如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手势 轨迹；或者，
[0091] 如果诊断结果为异常，则以所述参照帧视频图像的表观特征为依据获取所述当前 帧视频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨 迹。
[0092] 在本发明实施例中，当手部在运动过程中经过人脸或者类肤色物体时，肤色掩膜 图像中的手部前景与人脸/类肤色物体前景会重叠在一起或者连接到一起，这会出现以下 情况：在肤色掩膜差分图像上找不到符合运动区域约束条件的区域；或者，通过区域生长 法得到的手部区域包括人脸前景/类肤色前景。因此在获得第一手部区域后，需要对该第 一手部区域进行诊断或者进一步纠错，包括：
[0093] 如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手势 轨迹；或者，
[0094] 如果诊断结果为异常，则以所述参照帧视频图像的表观特征为依据获取所述当前 帧视频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨 迹。
[0095] 如图4所示为经过诊断和纠错后获取的手部区域的示意图。
[0096] 图4中第1行代表第t帧的跟踪结果，这一帧因为诊断过程中没发现异常，因此只 做了基于运动+肤色信息的跟踪；第2行代表在第t+Ι帧使用运动+肤色所得的跟踪结果， 即第一手部区域，但是经过诊断后发现异常，因此需要进一步使用表观信息来跟踪；第3行 展示的是在纠错过程中，分别使用原始图和过滤图所得的结果，前两幅图展示了基于原始 彩色图像进行跟踪的结果，红色框标记了第t+Ι帧的位置，可以看出与实际目标位置存在 显著差异，后两幅显示的是以肤色过滤图为源数据进行跟踪的结果，可以看出第t+Ι帧中， 跟踪的结果得到了改善。
[0097] 如图5所示为以手部区域的最高点作为代表点组成运动手势轨迹的示意图。
[0098] 作为对比，图5中同时列出了以手部中心点为代表点组成的运动轨迹示意图；左 边一列的两个是以手部中心点为代表点组成的轨迹，右边一列的两个是以手部最高点为代 表点组成的轨迹，可以看出若以中心点为代表点，在手部最初进入视场时，会存在轨迹点挤 压在一起的情况，所得的轨迹总长度也比较小，证据不如以端点形成曲线的办法充足。
[0099] 本发明实施例，获取当前帧视频图像和参照帧视频图像的肤色掩膜差分图像，在 该肤色掩膜差分图像中获取计算手部区域的种子区域，通过区域生长法，使种子区域生长 为整个手部区域，计算效率快速，而且在获得手部区域后，通过与历史数据的比较对手部区 域进行诊断，并在出现异常的情况下使用视频图像的表观特征对手部区域进行修正，提高 了运动手势获取的稳定性。
[0100] 作为本发明的一个可选实施例，在所述肤色掩膜差分图像获取单元603获取肤色 掩膜差分图像之前，所述系统还包括：
[0101] 参照帧视频图像预设单元606,用于预设参照帧视频图像。
[0102] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能 单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功 能单元、模块完成，即所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述 的全部或者部分功能。实施例中的各功能单元或模块可以集成在一个处理单元中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单 元或模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能 单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系 统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0103] 本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质 中，所述的存储介质，包括R0M/RAM、磁盘、光盘等。
[0104] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1. 一种运动手势轨迹获取方法，其特征在于，所述方法包括： 获取当如巾贞视频图像； 对所述当前帧视频图像进行分析，获取所述当前帧视频图像的肤色掩膜图像； 将所述当前帧视频图像的肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进 行比对，获取肤色掩膜差分图像； 根据所述肤色掩膜差分图像获取第一手部区域； 对所述第一手部区域进行诊断，并从最终手部位置获取运动手势轨迹，包括： 如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手势轨 迹；或者， 如果诊断结果为异常，则以所述参照帧视频图像的表观特征为依据获取所述当前帧视 频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨迹。
2. 如权利要求1所述的方法，其特征在于，在所述将所述当前帧视频图像的肤色掩膜 图像与预设的参照帧视频图像的肤色掩膜图像进行比对，获取肤色掩膜差分图像的步骤之 前，所述方法还包括以下步骤： 预设参照帧视频图像。
3. 如权利要求1?2任一项所述的方法，其特征在于，所述对所述当前帧视频图像进行 分析，获取所述当前帧视频图像的肤色掩膜图像的步骤，包括： 获取所述当前帧视频图像每个点的像素值； 将所述每个点的像素值与预设的肤色模型进行比对，获取所述当前帧视频图像的肤色 掩膜图像。
4. 如权利要求3所述的方法，其特征在于，在所述将所述每个点的像素值与预设的肤 色模型进行比对，获取所述当前帧视频图像的肤色掩膜图像的步骤之前，所述方法还包括 以下步骤： 预设肤色模型。
5. 如权利要求1?2任一项所述的方法，其特征在于，所述根据所述肤色掩膜差分图像 获取第一手部区域的步骤包括： 对所述肤色掩膜差分图像做形态学开运算，去除所述肤色掩膜差分图像中的噪声前 景； 对去除噪声后的所述肤色掩膜差分图像进行联通区域分析，将所述肤色掩膜差分图像 中区域参数与预设的运动区域约束条件匹配度最高的区域，设置为手部运动前景区域，所 述区域参数包括：所述区域面积和所述区域的长宽比； 以所述手部运动前景区域为种子区域，使用区域生长法，在所述当前帧视频图像的肤 色掩膜图像中获取包含所述手部运动前景区域的第一手部区域。
6. -种运动手轨迹获取系统，其特征在于，所述系统包括： 当前帧视频图像获取单元，用于获取当前帧视频图像； 肤色掩膜图像获取单元，用于对所述当前帧视频图像获取单元获取的当前帧视频图像 进行分析，获取所述当前帧视频图像的肤色掩膜图像； 肤色掩膜差分图像获取单元，用于将所述肤色掩膜图像获取子单元获取的当前帧视频 图像的肤色掩膜图像与预设的参照帧视频图像的肤色掩膜图像进行比对，获取肤色掩膜差 分图像； 第一手部区域获取单元，用于根据所述肤色掩膜差分图像获取单元获取的肤色掩膜差 分图像获取第一手部区域； 运动手势轨迹获取单云，用于对所述第一手部区域获取单元获取的第一手部区域进行 诊断，并从最终手部位置获取运动手势轨迹，包括： 如果诊断结果为正常，则以所述第一手部区域的最高点作为代表点组成运动手势轨 迹；或者， 如果诊断结果为异常，则以所述参照帧视频图像的表观特征为依据获取所述当前帧视 频图像的第二手部区域，并以所述第二手部区域的最高点作为代表点组成运动手势轨迹。
7. 如权利要求6所述的系统，起特征在于，在所述肤色掩膜差分图像获取单元获取肤 色掩膜差分图像之前，所述系统还包括： 参照帧视频图像预设单元，用于预设参照帧视频图像。
8. 如权利要求6?7任一项所述的系统，其特征在于，所述肤色掩膜图像获取单元，包 括： 像素值获取子单元，用于获取所述当前帧视频图像每个点的像素值； 肤色掩膜图像获取子单元，用于将所述像素值获取子单元获取的每个点的像素值与预 设的肤色模型进行比对，获取所述当前帧视频图像的肤色掩膜图像。
9. 如权利要求8所述的系统，其特征在于，在所述肤色掩膜图像获取子单元获取肤色 掩膜图像之前，所述肤色掩膜图像获取单元还包括： 肤色模型预设子单元，用于预设肤色模型。
10. 如权利要求6?7任一项所述的系统，其特征在于，所述第一手部区域获取单元，包 括： 噪声前景去除子单元，用于对所述肤色掩膜差分图像做形态学开运算，去除所述肤色 掩膜差分图像中的噪声前景； 手部运动前景区域设置子单元，用于对所述噪声前景去除子单元去除噪声后的肤色掩 膜差分图像进行联通区域分析，将所述肤色掩膜差分图像中区域参数与预设的运动区域约 束条件匹配度最高的区域，设置为手部运动前景区域，所述区域参数包括：所述区域面积和 所述区域的长宽比； 第一手部区域获取子单元，用于以所述手部运动前景区域设置子单元设置的手部运动 前景区域为种子区域，使用区域生长法，在所述当前帧视频图像的肤色掩膜图像中获取包 含所述手部运动前景区域的第一手部区域。
【文档编号】G06K9/00GK104050454SQ201410290358
【公开日】2014年9月17日 申请日期:2014年6月24日 优先权日:2014年6月24日
【发明者】赵颜果, 吴伟, 宋展, 马丽娅, 王志国, 喻召福, 丁宏, 张曼华, 王坤鹏, 陈滢, 李晓榕, 吴广生, 张威轶 申请人:深圳先进技术研究院