往复性手势的检测方法和装置的制造方法
【专利摘要】本发明提供一种往复性手势的检测方法和装置。该方法包括：根据视频序列中每帧视频图像对应的二值运动掩膜图像和每帧视频图像对应的二值肤色掩膜图像，获取每帧视频图像对应的二值掩膜图像；根据所述每帧视频图像对应的二值掩膜图像，获取所述视频序列在预设时长内的掩膜序列；根据所述掩膜序列确定所述视频序列对应的响应图像；根据所述响应图像确定所述视频序列中是否存在所述往复性手势。本发明提供的方法，检测算法简单，检测效率高。
【专利说明】
往复性手势的检测方法和装置
技术领域
[0001] 本发明设及视频监控技术，尤其设及一种往复性手势的检测方法和装置。
【背景技术】
[0002] 随着计算机技术、网络通信技术的发展，人们的生活水平有了巨大的提高，居住条 件得到了极大的改善，智能家居系统的发展是我国住宅技术创新的必然趋势，是现代住宅 的必然选择。手势识别技术W自然而直观的人手作为输入方式，提供给用户更加和谐、自然 的交互方式，是人机交互的热点，把手势应用到智能家居中无疑给生活带来巨大的便利。通 过对用户的目标手势进行跟踪识别，可W根据所识别到的手势进行相应的触发或者控制。 例如，通过检测挥手动作来触发相应的事件。
[0003] 现有技术检测挥手动作的方式一般包括检测、跟踪、识别Ξ个关键部分，首先需要 定位人手的位置，然后对手进行跟踪，分析手的运动轨迹来进行识别。
[0004] 但是，现有技术检测挥手动作的方案，往往有过多的限制条件，比如挥手的速度， 背景的复杂度等，其算法比较复杂，检测效率低。
【发明内容】
[0005] 本发明提供一种往复性手势的检测方法和装置，用W解决现有技术中的挥手动作 的检测方案算法比较复杂，检测效率低的技术问题。
[0006] 第一方面，本发明提供一种往复性手势的检测方法，包括：
[0007] 根据视频序列中每帖视频图像对应的二值运动掩膜图像和每帖视频图像对应的 二值肤色掩膜图像，获取每帖视频图像对应的二值掩膜图像；
[000引根据所述每帖视频图像对应的二值掩膜图像，获取所述视频序列在预设时长内的 掩膜序列;所述掩膜序列包括所述视频序列对应的所有二值掩膜图像中的部分二值掩膜图 像；
[0009] 根据所述掩膜序列确定所述视频序列对应的响应图像，所述响应图像中的像素点 的值用于表征所述往复性手势出现的概率；
[0010] 根据所述响应图像确定所述视频序列中是否存在所述往复性手势。
[0011] 进一步地，所述根据视频序列中每帖视频图像对应的二值运动掩膜图像和每帖视 频图像对应的二值肤色掩膜图像，获取每帖视频图像对应的二值掩膜图像，具体包括：
[0012] 将所述每帖视频图像对应的二值运动掩膜图像的各个第一像素点和所述每帖视 频图像对应的二值肤色掩膜图像的各个第二像素点进行与运算，得到所述每帖视频图像对 应的二值掩膜图像;其中，进行与运算的第一像素点和第二像素点的坐标相同。
[0013] 进一步地，所述根据所述每帖视频图像对应的二值掩膜图像，获取所述视频序列 在预设时间间隔内的掩膜序列，具体包括：
[0014] 依次判断所述每帖视频图像对应的时刻是否大于所述预设时长；
[0015] 若当前帖视频图像对应的时刻小于或者等于所述预设时长，则将所述当前帖视频 图像对应的二值掩膜图像作为所述掩膜序列的最前端的元素；
[0016] 若所述当前帖视频图像对应的时刻大于所述预设时长，则将所述当前帖视频图像 对应的二值掩膜图像作为所述掩膜序列的最前端的元素，并删除所述掩膜序列中的最末尾 的元素。
[0017] 进一步地，所述根据所述掩膜序列确定所述视频序列对应的响应图像，具体包括：
[001引根据公式：
尋到所述响应图像R;其中，所述Ml为所述掩膜序列中的二 值掩膜图像，所述N为所述掩膜序列的长度。
[0019] 进一步地，所述根据所述响应图像确定所述视频序列中是否存在所述往复性手 势，具体包括：
[0020] 根据公式：
：如5片述响应图像中的各个第Ξ像素点R(x，y) 进行阔值化处理，得到所述响应图像对应的二值图像X;其中，所述X、所述y为所述第Ξ像素 点的坐标，所述Τι为预设阔值范围；
[0021] 对所述二值图像X进行连通域分析，得到矩形区域集合0={〇1，. . .〇m-i，〇m};所述m 为所述矩形区域集合中矩形的个数；
[0022] 若所述矩形区域集合中存在宽度满足第一预设条件、高度满足第二预设条件的第 一矩形，则确定所述视频序列中存在所述往复性手势。
[0023] 第二方面，本发明提供一种往复性手势的检测装置，包括：
[0024] 第一获取模块，用于根据视频序列中每帖视频图像对应的二值运动掩膜图像和每 帖视频图像对应的二值肤色掩膜图像，获取每帖视频图像对应的二值掩膜图像；
[0025] 第二获取模块，用于根据所述每帖视频图像对应的二值掩膜图像，获取所述视频 序列在预设时长内的掩膜序列;所述掩膜序列包括所述视频序列对应的所有二值掩膜图像 中的部分二值掩膜图像；
[0026] 第一确定模块，用于根据所述掩膜序列确定所述视频序列对应的响应图像，所述 响应图像中的像素点的值用于表征所述往复性手势出现的概率；
[0027] 第二确定模块，用于根据所述响应图像确定所述视频序列中是否存在所述往复性 手势。
[0028] 进一步地，所述第一获取模块，具体用于将所述每帖视频图像对应的二值运动掩 膜图像的各个第一像素点和所述每帖视频图像对应的二值肤色掩膜图像的各个第二像素 点进行与运算，得到所述每帖视频图像对应的二值掩膜图像;其中，进行与运算的第一像素 点和第二像素点的坐标相同。
[0029 ]进一步地，所述第二获取模块，包括：
[0030] 判断单元，用于依次判断所述每帖视频图像对应的时刻是否大于所述预设时长；
[0031] 处理单元，用于在所述判断单元判断当前帖视频图像对应的时刻小于或者等于所 述预设时长时，将所述当前帖视频图像对应的二值掩膜图像作为所述掩膜序列的最前端的 元素；W及，在所述判断单元判断当前帖视频图像对应的时刻大于所述预设时长，将所述当 前帖视频图像对应的二值掩膜图像作为所述掩膜序列的最前端的元素，并删除所述掩膜序 列中的最末尾的元素。
[0032] 进一步地，所述第一确定模块，具体用于根据公式：
寻到所述响应图 像R;其中，所述Ml为所述掩膜序列中的二值掩膜图像，所述N为所述掩膜序列的长度。
[0033] 进一步地，所述第二确定模块，具体包括：
[0034] 阔值化单元，用于根据公式：
：如5片述响应图像中的各个 第Ξ像素点R(x，y)进行阔值化处理，得到所述响应图像对应的二值图像X;其中，所述X、所 述y为所述第Ξ像素点的坐标，所述Τι为预设阔值范围；
[0035] 分析单元，用于对所述二值图像X进行连通域分析，得到矩形区域集合0={〇1， ...〇m-i，o"};所述m为所述矩形区域集合中矩形的个数；
[0036] 确定单元，用于在判断所述矩形区域集合中存在宽度满足第一预设条件、高度满 足第二预设条件的第一矩形时，确定所述视频序列中存在所述往复性手势。
[0037] 本发明提供的往复性手势的检测方法和装置，仅需要普通的摄像头即可检测到视 频序列中是否存在往复性手势，检测成本低;并且，本发明仅需要通过现有技术的方式获得 每帖图像的二值运动掩膜图像和二值肤色掩膜图像，进而通过简单的与运算得到每帖图像 的二值掩膜图像，从而通过简单的判断得到计算响应图像的掩膜序列，进而得到响应图像， 并根据该响应图像确定视频序列中是否存在往复性手势，其设及的算法简单，大大提高了 检测效率。
【附图说明】
[0038] 为了更清楚地说明本发明实施例现有技术中的技术方案，下面将对实施例或现有 技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可W根 据运些附图获得其他的附图。
[0039] 图1为本发明提供的往复性手势的检测方法实施例一的流程示意图；
[0040] 图2为本发明提供的往复性手势的检测方法实施例二的流程示意图；
[0041] 图3为本发明提供的当前帖视频图像示意图；
[0042] 图4为本发明提供的当前帖视频图像的二值运动掩膜图像示意图；
[0043] 图5为本发明提供的当前帖视频图像的二值肤色掩膜图像示意图；
[0044] 图6为本发明提供的当前帖视频图像的二值掩膜图像示意图；
[0045] 图7为本发明提供的响应图像示意图；
[0046] 图8为本发明提供的第一矩形示意图；
[0047] 图9为本发明提供的往复性手势的检测装置实施例一的结构示意图；
[004引图10为本发明提供的往复性手势的检测装置实施例二的结构示意图。
【具体实施方式】
[0049]为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本 发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例， 而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050] 本发明所设及的往复性手势的检测方法和装置，可W适用于任一的目标跟踪系统 或者视频监控系统中，例如可W适用于单目标手势跟踪系统，当单目标手势跟踪系统出现 跟踪错误或者跟踪失败时，可W采用本发明的方法及时触发单目标跟踪系统停止跟踪或者 重新开始跟踪。也就是说，本发明所设及的方法和装置，可W通过判断是否检测到往复性手 势来触发某一系统中的某一事件或者某一功能。该往复性手势可W是人手的左右挥手动 作，可W是人手的上下往复性动作，还可W是人手的上下左右挥手动作，本发明对此并不做 限定。
[0051] 下述方法实施例的执行主体可W是往复性手势的检测装置，该检测装置可W是集 成在视频监控系统或者目标跟踪系统中的装置，还可W是单独的视频监控系统或者目标跟 踪系统。该检测装置可W通过软件、硬件或者软硬结合的方式实现。下述实施例W执行主体 为视频监控系统为例。
[0052] 本发明设及的往复性手势的检测方法和装置，旨在解决现有技术中的检测挥手动 作的方案算法复杂，检测效率低的技术问题。
[0053] 下面W具体地实施例对本发明的技术方案进行详细说明。下面运几个具体的实施 例可W相互结合，对于相同或相似的概念或过程可能在某些实施例中不再寶述。
[0054] 图1为本发明提供的往复性手势的检测方法实施例一的流程示意图。本实施例设 及的是通过确定视频序列中的响应图像来检测视频序列中是否存在往复性手势的具体过 程。如图1所示，该方法可W包括如下步骤：
[0055] S101:根据视频序列中每帖视频图像对应的二值运动掩膜图像和每帖视频图像对 应的二值肤色掩膜图像，获取每帖视频图像对应的二值掩膜图像。
[0056] 具体的，视频监控系统通过摄像头可W获取到视频序列，该摄像头可W是普通的 WEB摄像头，该视频序列可W包括多帖视频图像。当获取到视频序列之后，视频监控系统中 的处理器可W对每帖视频图像进行相应的处理，W获取每帖视频图像对应的二值运动掩膜 图像和二值肤色掩膜图像。其中，二值运动掩膜图像中的部分像素点的值若为1，则表明运 部分像素点为运动区域，若二值运动掩膜图像中的某个像素点的值为0,则表明该像素点为 静止区域;二值肤色掩膜图像中的部分像素点的值若为1，则表明运部分像素点为肤色区 域，若二值肤色掩膜图像中的某个像素点的值为0,则表明该像素点为非肤色区域。可选的， 处理器对视频序列中的每帖视频图像进行运行检测得到每帖视频图像的二值运动掩膜图 像的方法可W包括多种，例如，可W通过背景差分法、帖间差分法、混合高斯背景建模等方 法对视频序列中的每帖视频图像进行运动检测，得到二值运动掩膜图像;可选的，处理器对 视频序列中的每帖视频图像进行肤色检测得到二值肤色掩膜图像的方法也包括多种，例如 可W是基于YCb化颜色空间的肤色检测方法。下述可帖间差分方法和基于YCb化颜色空 间的肤色检测方法为例来简单介绍视频监控系统获取每帖视频图像的二值运动掩膜图像 和二值肤色掩膜图像。
[0057] (1)利用帖间差分方法获取每帖视频图像的二值运动掩膜图像Md(其中，W获取当 前时刻t对应的视频帖图像It为例，其他视频帖图像均W此为参考），主要分为两个步骤a和 b：
[005引a:计算It及其上一帖图像It-1各自对应的灰度图像Gt、Gt-i，具体计算方式可W参见 现有技术，在此不再寶述。
[0059] b:计算Gt的像素点与Gt-i上对应像素点的差值（即计算差值的两个像素点在各自 图像上的坐标相同），若对应像素点的差值大于T，则该像素点的值为1，否则为0。计算公式 如下：
[0060]
[0061 ] 其中X，y为Md上像素点的坐标，T为阔值，可选的，T的范围可W为5<Τ<35。
[0062] 通过上述步骤a和b，就可W得到二值运动掩膜图像Md上的各个像素点的值，进而 得到二值运动掩膜图像。
[0063] (2)利用基于YCb化颜色空间的肤色检测方法，获取每帖视频图像的二值肤色掩膜 图像Ms(其中，同样W获取当前时刻t对应的视频帖图像It为例，其他视频帖图像均W此为参 考），主要分为两个步骤C和d:
[0064] C:将图像It转换至化化化颜色空间，3个通道分别为￥、&心。图像1*转换至化化化颜 色空间的具体方式可W参见现有技术，在此不再寶述。
[00化]d:对Cb、Cr2个颜色通道进行阔值处理，得到肤色掩膜图像Ms。阔值处理的公式如 下：
[0066]
其中x，y为^fc上像素点的坐标。
[0067] 通过上述步骤C和d，就可W得到二值肤色掩膜图像Ms上的各个像素点的值，进而 得到二值肤色掩膜图像Ms。
[0068] 在视频监控系统得到当前时刻t对应的视频帖图像It对应的二值运动掩膜图像Md 和二值肤色掩膜图像Ms之后，视频监控系统就可W根据运二者得到It对应的二值掩膜图像， 可选的，视频监控系统可W将二值运动掩膜图像Md和二值肤色掩膜图像Ms进行与运算得到 It对应的二值掩膜图像，还可W通过其他的逻辑运算得到It对应的二值掩膜图像，本发明对 此并不做限制。
[0069] 故而，按照上述步骤a和b、W及步骤C和d，对每一帖视频图像都做此处理，得到每 帖视频图像的二值运动掩膜图像和二值肤色掩膜图像，进而视频监控系统就可W得到每帖 视频图像对应的二值掩膜图像。
[0070] S102:根据所述每帖视频图像对应的二值掩膜图像，获取所述视频序列在预设时 长内的掩膜序列;所述掩膜序列包括所述视频序列对应的所有二值掩膜图像中的部分二值 掩膜图像。
[0071] 具体的，在视频监控系统还未开始工作或者刚开始启动，掩膜序列的值为空，在视 频监控系统获取到每帖视频图像对应的二值掩膜图像，就可W根据预设的规则检测视频序 列中的每帖视频图像对应的时刻t来获取预设时长Δ t内的掩膜序列Γ，假设Γ = {Ml · · ·Μη-1，Μη}为，其中Ml表示当前帖（时刻为t)的前一帖检测到的二值掩膜图像，M2指 的是当前帖的前2帖检测到的二值掩膜图像，Μη当前帖的前η帖检测到的二值掩膜图像（即 t-Δ t时刻检测到的二值掩膜图像），前η帖与当前帖之间的时间间隔为Δ t(即预设时长为 At)。
[0072] S103:根据所述掩膜序列确定所述视频序列对应的响应图像，所述响应图像中的 像素点的值用于表征所述往复性手势出现的概率。
[0073] 可选的，当视频监控系统确定了上述掩膜序列之后，可W根据掩膜序列中的多个 二值掩膜图像确定出视频序列对应的响应图像，该响应图像中的每个像素点的值表征往复 性手势出现的概率。可选的，可W是将掩膜序列中的多个二值掩膜图像求和再取平均值得 到视频序列对应的响应图像，例如可W是取加权平均值得到响应图像，还可W是取其他方 式的平均值得到响应图像。
[0074] S104:根据所述响应图像确定所述视频序列中是否存在所述往复性手势。
[0075] 可选的，当视频监控系统获取了视频序列对应的响应图像之后，可W通过该响应 图像判断视频序列中是否存在往复性手势，可选的，可W是通过判断响应图像中的像素点 的值大于某一阔值的个数是否达到某种预设条件来确定是否存在往复性手势，当响应图像 中的像素点的值大于某一阔值的个数满足预设条件时，就说明视频序列中存在往复性手 势；可选的，也可W通过判断响应图像中某个区域内像素点的值的平均值是否大于某一阔 值来确定视频序列中是否存在响应图像，当响应图像中的某个区域内的像素点的值的平均 值大于某一阔值时，就说明该区域内可能存在往复性手势。本发明对通过响应图像来确定 视频序列中是否存在往复性手势的方式并不做限定。
[0076] 由上述描述可知，本发明设及的往复性手势的检测方法，仅需要普通的摄像头即 可检测到视频序列中是否存在往复性手势，检测成本低;并且，本发明仅需要通过现有技术 的方式获得每帖图像的二值运动掩膜图像和二值肤色掩膜图像，进而通过简单的与运算得 到每帖图像的二值掩膜图像，从而通过简单的判断得到计算响应图像的掩膜序列，进而得 到响应图像，并根据该响应图像确定视频序列中是否存在往复性手势，其设及的算法简单， 大大提高了检测效率。
[0077] 图2为本发明提供的往复性手势的检测方法实施例二的流程示意图。在上述实施 例的基础上，本实施例设及是视频监控系统获取每帖视频图像的二值掩膜图像，进而得到 响应图像，W及根据响应图像确定视频序列是否存在往复性手势的具体过程。如图2所示， 该方法可W包括如下步骤：
[0078] S201:获取视频序列，并根据所述视频序列获取所述视频序列中每帖视频图像的 二值运动掩膜图像和每帖视频图像对应的二值肤色掩膜图像。
[0079] 具体的，该S201的具体过程可W参见上述S101的描述，在此不再寶述。
[0080] S202:将所述每帖视频图像对应的二值运动掩膜图像的各个第一像素点和所述每 帖视频图像对应的二值肤色掩膜图像的各个第二像素点进行与运算，得到所述每帖视频图 像对应的二值掩膜图像;其中，进行与运算的第一像素点和第二像素点的坐标相同。
[0081] 具体的，将各个第一像素点和对应的各个第二像素点进行与运算的具体过程可W 为:对于二值掩膜图像中的每个像素点，若对应的第一像素点与第二像素点的值均为1，则 该坐标位置的二值掩膜图像的像素点就为1，否则为0。也就是说，对于同一个坐标位置，运 个位置上的第一像素点和第二像素点均为1，则二值掩膜图像上运个坐标的像素点的值就 为1，否则第一像素点和第二像素点中一个为0或者二者均为0,则二值掩膜图像上的运个坐 标的像素点的值就为0。
[0082] S203:依次判断所述每帖视频图像对应的时刻是否大于所述预设时长。
[0083] S204:若当前帖视频图像对应的时刻小于或者等于所述预设时长，则将所述当前 帖视频图像对应的二值掩膜图像作为所述掩膜序列的最前端的元素。
[0084] S205:若所述当前帖视频图像对应的时刻大于所述预设时长，则将所述当前帖视 频图像对应的二值掩膜图像作为所述掩膜序列的最前端的元素，并删除所述掩膜序列中的 最末尾的兀素。
[0085] 具体的，依次对视频序列中的每帖视频图像对应的时刻进行判断，即判断每帖视 频图像对应的时刻是否大于预设时长，若当前帖视频图像的对应的是时刻为t，则当t的值 刻小于或者等于上述预设时长At时，则将当前帖的二值掩膜图像作为掩膜序列的最前端 的元素;若t的值刻大于上述预设时长At时，则将当前帖的二值掩膜图像作为掩膜序列的 最前端的元素，并删除掩膜序列中位于最末尾的元素，掩膜序列中的元素均指的是满足条 件的二值掩膜图像。依据运种方式，就得到了预设时间A t内的掩膜序列，设该掩膜序列的 长度为N，即该掩膜序列中的二值掩膜图像的个数为N。
[0086] 参见图3-图8所示，图3为当前帖视频图像(原始图像，即彩色图像），图4为当前帖 视频图像的二值运动掩膜图像，图5为当前帖视频图像的二值肤色掩膜图像，图6为当前帖 视频图像的二值掩膜图像。
[0087] S206:根据公式；
得到所述响应图像R。
[0088] 其中，所述Ml为所述掩膜序列中的二值掩膜图像。具体的，可W参见图7所示的响 应图像。
[0089] S207:根据公式：
时所述响应图像中的各个第Ξ像素点R (x，y)进行阔值化处理，得到所述响应图像对应的二值图像X。
[0090] 其中，所述X、所述y为所述第Ξ像素点的坐标，所述Τι为预设阔值范围。可选的，该 Τι的取值范围可W是30<打<100。
[0091] S208:对所述二值图像X进行连通域分析，得到矩形区域集合0={〇l，...Om-l，Om}; 所述m为所述矩形区域集合中矩形的个数。
[0092] S209:若所述矩形区域集合中存在宽度满足第一预设条件、高度满足第二预设条 件的第一矩形，则确定所述视频序列中存在所述往复性手势。
[0093] 可选的，该第一预设条件可W是w〉6,该第二预设条件可W是h〉6;其中，W为矩形的 宽度，h为矩形的长度。可W参见图8所示的第一矩形。
[0094] 另外，需要说明的是，上述设及的每帖视频图像的二值运行掩膜图像、二值肤色掩 膜图像、二值掩膜图像的宽度均和每帖视频图像的宽度相同、每帖视频图像的二值运行掩 膜图像、二值肤色掩膜图像、二值掩膜图像的高度均和每帖视频图像的高度相同。
[0095] 本发明提供的往复性手势的检测方法，检测算法比较简单，大大提升了往复性手 势的检测效率，能够更快速的触发视频监控系统或者目标跟踪系统中的某个时间或者功 能，很大程度上提升了用户的体验。
[0096] 本领域普通技术人员可W理解:实现上述各方法实施例的全部或部分步骤可W通 过程序指令相关的硬件来完成。前述的程序可W存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤;而前述的存储介质包括:R〇M、RAM、磁碟或 者光盘等各种可w存储程序代码的介质。
[0097] 图9为本发明提供的往复性手势的检测装置实施例一的结构示意图。如图9所示， 该装置可W包括:第一获取模块10、第二获取模块11、第一确定模块12和第二确定模块13。
[0098] 其中，第一获取模块10,用于根据视频序列中每帖视频图像对应的二值运动掩膜 图像和每帖视频图像对应的二值肤色掩膜图像，获取每帖视频图像对应的二值掩膜图像；
[0099] 第二获取模块11，用于根据所述每帖视频图像对应的二值掩膜图像，获取所述视 频序列在预设时长内的掩膜序列;所述掩膜序列包括所述视频序列对应的所有二值掩膜图 像中的部分二值掩膜图像；
[0100] 第一确定模块12,用于根据所述掩膜序列确定所述视频序列对应的响应图像，所 述响应图像中的像素点的值用于表征所述往复性手势出现的概率；
[0101] 第二确定模块13,用于根据所述响应图像确定所述视频序列中是否存在所述往复 性手势。
[0102] 本发明提供的往复性手势的检测装置，可W执行上述方法实施例，其实现原理和 技术效果类似，在此不再寶述。
[0103] 图10为本发明提供的往复性手势的检测装置实施例二的结构示意图。在上述图9 所示实施例的基础上，进一步地，上述第二获取模块11具体包括判断单元111和处理单元 112;上述第二确定模块13包括阔值化单元131、分析单元132和确定单元133。
[0104] 其中，在本实施例中，上述第一获取模块10,具体用于将所述每帖视频图像对应的 二值运动掩膜图像的各个第一像素点和所述每帖视频图像对应的二值肤色掩膜图像的各 个第二像素点进行与运算，得到所述每帖视频图像对应的二值掩膜图像;其中，进行与运算 的第一像素点和第二像素点的坐标相同。
[0105] 上述判断单元111，用于依次判断所述每帖视频图像对应的时刻是否大于所述预 设时长；
[0106] 上述处理单元112,用于在所述判断单元111判断当前帖视频图像对应的时刻小于 或者等于所述预设时长时，将所述当前帖视频图像对应的二值掩膜图像作为所述掩膜序列 的最前端的元素；W及，在所述判断单元111判断当前帖视频图像对应的时刻大于所述预设 时长，将所述当前帖视频图像对应的二值掩膜图像作为所述掩膜序列的最前端的元素，并 删除所述掩膜序列中的最末尾的元素。
[0107] 上述第一确定单元133,具体用于根据公式；
得到所述响应图像R;其 中，所述Ml为所述掩膜序列中的二值掩膜图像，所述N为所述掩膜序列的长度。
[0108] 上述阔值化单元131，用于根据公式：
计所述响应图像中 的各个第Ξ像素点R(x，y)进行阔值化处理，得到所述响应图像对应的二值图像X;其中，所 述X、所述y为所述第Ξ像素点的坐标，所述Τι为预设阔值范围；
[0109] 上述分析单元132,用于对所述二值图像X进行连通域分析，得到矩形区域集合0 = {〇1，. . .Om-l，Om};所述m为所述矩形区域集合中矩形的个数；
[0110] 上述确定单元133,用于在判断所述矩形区域集合中存在宽度满足第一预设条件、 高度满足第二预设条件的第一矩形时，确定所述视频序列中存在所述往复性手势。
[0111] 本发明提供的往复性手势的检测装置，可w执行上述方法实施例，其实现原理和 技术效果类似，在此不再寶述。
[0112] 最后应说明的是：W上各实施例仅用W说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可W对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而运些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种往复性手势的检测方法，其特征在于，包括： 根据视频序列中每帧视频图像对应的二值运动掩膜图像和每帧视频图像对应的二值 肤色掩膜图像，获取每帧视频图像对应的二值掩膜图像； 根据所述每帧视频图像对应的二值掩膜图像，获取所述视频序列在预设时长内的掩膜 序列;所述掩膜序列包括所述视频序列对应的所有二值掩膜图像中的部分二值掩膜图像； 根据所述掩膜序列确定所述视频序列对应的响应图像，所述响应图像中的像素点的值 用于表征所述往复性手势出现的概率； 根据所述响应图像确定所述视频序列中是否存在所述往复性手势。2. 根据权利要求1所述的方法，其特征在于，所述根据视频序列中每帧视频图像对应的 二值运动掩膜图像和每帧视频图像对应的二值肤色掩膜图像，获取每帧视频图像对应的二 值掩膜图像，具体包括： 将所述每帧视频图像对应的二值运动掩膜图像的各个第一像素点和所述每帧视频图 像对应的二值肤色掩膜图像的各个第二像素点进行与运算，得到所述每帧视频图像对应的 二值掩膜图像;其中，进行与运算的第一像素点和第二像素点的坐标相同。3. 根据权利要求2所述的方法，其特征在于，所述根据所述每帧视频图像对应的二值掩 膜图像，获取所述视频序列在预设时间间隔内的掩膜序列，具体包括： 依次判断所述每帧视频图像对应的时刻是否大于所述预设时长； 若当前帧视频图像对应的时刻小于或者等于所述预设时长，则将所述当前帧视频图像 对应的二值掩膜图像作为所述掩膜序列的最前端的元素； 若所述当前帧视频图像对应的时刻大于所述预设时长，则将所述当前帧视频图像对应 的二值掩膜图像作为所述掩膜序列的最前端的元素，并删除所述掩膜序列中的最末尾的元 素。4. 根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述掩膜序列确定所述 视频序列对应的响应图像，具体包括：得到所述响应图像R;其中，所述I为所述掩膜序列中的二值掩 膜图像，所述N为所述掩膜序列的长度。5. 根据权利要求4所述的方法，其特征在于，所述根据所述响应图像确定所述视频序列 中是否存在所述往复性手势，具体包括： 根据公式：对所述响应图像中的各个第三像素点R(x，y)进行 阈值化处理，得到所述响应图像对应的二值图像X;其中，所述X、所述y为所述第三像素点的 坐标，所述Τι为预设阈值范围； 对所述二值图像X进行连通域分析，得到矩形区域集合〇= {ovuom};所述m为所述 矩形区域集合中矩形的个数； 若所述矩形区域集合中存在宽度满足第一预设条件、高度满足第二预设条件的第一矩 形，则确定所述视频序列中存在所述往复性手势。6. -种往复性手势的检测装置，其特征在于，包括： 第一获取模块，用于根据视频序列中每帧视频图像对应的二值运动掩膜图像和每帧视 频图像对应的二值肤色掩膜图像，获取每帧视频图像对应的二值掩膜图像； 第二获取模块，用于根据所述每帧视频图像对应的二值掩膜图像，获取所述视频序列 在预设时长内的掩膜序列;所述掩膜序列包括所述视频序列对应的所有二值掩膜图像中的 部分二值掩膜图像； 第一确定模块，用于根据所述掩膜序列确定所述视频序列对应的响应图像，所述响应 图像中的像素点的值用于表征所述往复性手势出现的概率； 第二确定模块，用于根据所述响应图像确定所述视频序列中是否存在所述往复性手 势。7. 根据权利要求6所述的装置，其特征在于，所述第一获取模块，具体用于将所述每帧 视频图像对应的二值运动掩膜图像的各个第一像素点和所述每帧视频图像对应的二值肤 色掩膜图像的各个第二像素点进行与运算，得到所述每帧视频图像对应的二值掩膜图像； 其中，进行与运算的第一像素点和第二像素点的坐标相同。8. 根据权利要求7所述的装置，其特征在于，所述第二获取模块，包括： 判断单元，用于依次判断所述每帧视频图像对应的时刻是否大于所述预设时长； 处理单元，用于在所述判断单元判断当前帧视频图像对应的时刻小于或者等于所述预 设时长时，将所述当前帧视频图像对应的二值掩膜图像作为所述掩膜序列的最前端的元 素；以及，在所述判断单元判断当前帧视频图像对应的时刻大于所述预设时长，将所述当前 帧视频图像对应的二值掩膜图像作为所述掩膜序列的最前端的元素，并删除所述掩膜序列 中的最末尾的元素。9. 根据权利要求6-8任一项所述的装置，其特征在于，所述第一确定模块，具体用于根 据公式：得到所述响应图像R;其中，所述姐为所述掩膜序列中的二值掩膜图像， 所述N为所述掩膜序列的长度。10. 根据权利要求9所述的装置，其特征在于，所述第二确定模块，具体包括： 阈值化单元，用于根据公式：对所述响应图像中的各个第三 像素点R(x，y)进行阈值化处理，得到所述响应图像对应的二值图像X;其中，所述X、所述y为 所述第三像素点的坐标，所述h为预设阈值范围； 分析单元，用于对所述二值图像X进行连通域分析，得到矩形区域集合〇= {〇1，…Om-l·， 〇m};所述m为所述矩形区域集合中矩形的个数； 确定单元，用于在判断所述矩形区域集合中存在宽度满足第一预设条件、高度满足第 二预设条件的第一矩形时，确定所述视频序列中存在所述往复性手势。
【文档编号】G06K9/00GK105825170SQ201610137640
【公开日】2016年8月3日
【申请日】2016年3月10日
【发明人】史培培, 沈锦祥
【申请人】浙江生辉照明有限公司