基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法
【专利摘要】一种基于感兴趣区域相似性特征和根据极值选取参考帧的周期性为检测方法，具体是将视频序列的前景进行提取和对齐，之后用一种基于凸包的方法对运动的感兴趣区域进行提取，从而有效地去除了噪声避免了非周期运动区域对检测效果的影响。之后本发明使用一个基于感兴趣区域的方法计算了帧与帧之间的相似性，然后提出了一种基于极值的方法找到了最佳参考帧，从而准确的估算出了运动的周期。实例的检测结果证明了我们的方法能达到很高的准确度。
【专利说明】基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法
【技术领域】
[0001]本发明涉及的是一种对视频中的周期运动进行提取和分析的方法，具体是通过一种基于凸包的算法自动检测出含有运动视频的感兴趣区域，并通过基于感兴趣区域中特征进行提取来检测周期运动。并在此基础上提出了一种基于最值的方法来选取最佳参考帧来更好的提高周期检测的准确率。此方法不仅可以对恒定和变化周期的运动进行检测分析，而且在处理含有微小动作的周期运动时有着明显的优势。
【背景技术】
[0002]周期运动广泛的存在于我们的日常生活之中，比如挥手，行走，波浪等等。检测和分析这些周期运动在许多应用中发挥着非常重要的作用并有着广泛且深远的应用前景，t匕如提取步态周期进行步态识别，在运动分析中进行周期运动统计，以及将检测出的不规律的周期运动认定为异常行为。
[0003]对于周期行为检测，目前的方法可大致分为两类:基于空间变换的方法，和基于波形分析的方法。
[0004]基于空间变换的方法首先将视频的信号变换到其他的空间里，然后进行周期检测，比如，在2007年，Briassouli和Ahujia在《IEEE Transactions on Pattern Analysisand Machine Intelligence)) (IEEE模式分析与机器智能期刊)29期第10卷第1244页至Ij第 1261 页发表的论文，，Extraction and analysis of multiple periodic motions invideo sequences”(在视频序列中提取和分析多个周期运动)将视频每一巾贞图像的像素值投影到z轴和轴上从而得到两个根据时间变化的信号，之后将这两个时间信号转换到频域中进行分析。但是这类方法只能处理恒定周期的运动，无法处理周期长度变化的周期运动。而且空间变换的方法一般需要很多个周期的运动来准确估计出周期的长度，所以当被应用来处理含有很少周期运动的视频时，这种方法的准确度很低。
[0005]基于波形的方法首先从视频中提取出一个一维信号来反应运动的周期性变化，然后分析这个信号来进行提取和分析周期运动。比如，在2000年，Cutler和Davis在《IEEETransactions on Pattern Analysis and Machine IntelligenceKIEEE 模式分析与机器智能期刊)第22期第8卷第781到796页发表的论文” Robust real-time periodic motiondetection, analysis and applications”(鲁棒的实时性的周期行为的检测，分析和应用)中根据视频相邻两帧的帧间差的绝对值计算得出了一个自相似波形，然后构造出了一个二维的晶格结构来对自相似波形进行匹配从而找到周期。但是这个方仍然无法处理周期变化的周期运动。又比如，在2010年，Wang等人在《European Conference on ComputerVision》(欧洲计算机视觉会议)第257页到第270页发表的论文” Chrono-Gait Image: ANovel Temporal Template for Gait Recognition”(时间步态图像:步态识别的新型时间模板算法)将运动目标的下半身宽度提取出来作为提取步态信息的波形。虽然这种方法可以较好的实现不太的周期检测，但是这种方法不能扩展到检测其他周期运动。[0006]以上问题促使去寻找更好的提取和分析周期运动的方法，能够更有效地，准确的提取出运动的周期。
【发明内容】
[0007]本发明针对现有方法存在的不足，提出了一种基于感兴趣区域相似性特征和根据极值选取参考帧的周期性行为检测方法。本发明首先用一种基于凸包的方法对运动的感兴趣区域进行提取，从而有效地去除了噪声避免了非周期运动区域对检测效果的影响。之后本发明使用一个基于感兴趣区域的方法计算了帧与帧之间的相似性，然后提出了一种基于极值的方法找到了最佳参考帧，从而准确的估算出了运动的周期。实例的检测结果证明了我们的方法能达到很高的准确度
本发明是通过以下技术方案实现的，包括以下步骤:
第一步:对于一个输入的视频序列，首先进行前景提取和对齐。
[0008]第二步:根据视频帧间差提取出运动发生的区域，之后通过一种基于凸包的方法将运动的感兴趣区域提取出来。
[0009]第三步:对每个感兴趣区域进行特征的提取。
[0010]第四步:计算两帧之间基于感兴趣区域特征的相似性。
[0011]第五步:根据帧间的相似性构造相似图。
[0012]第六步:通过一个基于极值的方法来选择最佳的参考帧。
[0013]第七步:根据所有帧和参考帧的相似性得到波形，并估计运动的周期。
[0014]与现有技术相比，本发明的创新性和实用性主要体现在三个方面:
1.本发明使用的基于凸包的方法来自动的确定感兴趣区域，这样只有在感兴趣区域中的图像被用来周期的检测，避免了其他部分无关的，非周期的动作引入的噪声。从而提高了周期检测的准确性。
[0015]2.本发明使用了基于感兴趣区域的相似性度量方法，这种方法计算了所有提取出来的感兴趣区域中特征的加权和，因此每个感兴趣区域的重要性将被恰当的得到平衡。
[0016]3.利用本发明提出的基于最值的方法选取参考帧可以进一步提高了检测的准确性和鲁棒性。
【专利附图】
【附图说明】
[0017]图1是本发明方法的流程图。
[0018]图2(a)是一个周期运动的中的有代表性的三帧，这个动作为一个人在耸肩并抬起自己的双手。
[0019]图2 (b)为这个视频序列的运动变化图。
[0020]图3 (a)计算连通区域和它们的凸包。
[0021]图3(b)把非零像素比例较低的连通区域进行进一步分割。
[0022]图3(c)将整个区域重新分为了 4个更小的连通区域，并重新计算了每个连通区域的凸包。
[0023]图3(d)去掉面积较小的凸包后得到了 4个感兴趣区域。
[0024]图4(a)对于每个感兴趣区域，特征被计算了出来。[0025]图4(b)将每个感兴趣区域的特征进行加权。
[0026]图4(c)将每个特征直方图进行加权连接在一起并进行归一化。
[0027]图5为图2中例子的相似图。
[0028]图6(a)为图2例子中选取第40帧图像作为参考帧得到的相似性波形。
[0029]图6 (b )为图2例子中选取第54帧为参考帧的相似性波形。
[0030]图7(a)为周期运动中的几帧。
[0031]图7(b)为提出的运动变化图和感兴趣区域。
[0032]图8 (a)为用帧间差特征+随机选取参考帧方法。
[0033]图8(b)为不提取感兴趣区域+使用本发明最佳参考帧方法。
[0034]图8(c)为本发明提出的基于感兴趣区域的相似性+最佳参考帧的方法。
【具体实施方式】
[0035]下面结合附图和具体实施例对作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0036]本实施例包含以下步骤:
第一步:对于一个输入的视频序列，首先进行前景提取和对齐。
[0037]前景提取，我们使用背景减去，帧间差等方法提取前景。对于位置有变化的运动，比如跑步，行走，我们把所有帧的前景进行对齐。本发明只利用前景信息，这样可以避免使用如人体部分检测，跟踪等复杂的方法，可以使得我们的方法更加有普适性而且可以很好的扩展到检测更多诸如海浪等周期运动。
[0038]第二步:根据视频帧间差提取出运动发生的区域，之后通过一种基于凸包的方法将运动的感兴趣区域提取出来。
[0039]用Fi代表视频第i帧的前景(如果在第i帧中，像素Cr, y)是前景，则Z7i W =1，否则_fX)，为了计算运动区域，本专利首先计算出视频相邻两帧的绝对值之差，之后对所有这些前景帧的帧间差求和可以得到如下的一个Binary Change Image (二进制变化图像)，简称BCI:
【权利要求】
1.一种基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于该检测方法至少包含以下步骤: 第一步:对于一个输入的视频序列，首先进行前景提取和对齐； 第二步:根据视频帧间差提取出运动发生的区域，之后通过一种基于凸包的方法将运动的感兴趣区域提取出来； 第三步:对每个感兴趣区域进行特征的提取； 第四步:计算两帧之间基于感兴趣区域特征的相似性； 第五步:根据帧间的相似性构造相似图； 第六步:通过一个基于极值的方法来选择最佳的参考帧； 第七步:根据所有帧和参考帧的相似性得到波形，并估计运动的周期。
2.根据权利 要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第一步中，用背景减去，帧间差或者深度摄像头方法提取前景并对于位置有变化的运动，比如跑步，行走，把所有帧的前景进行对齐。
3.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第二步中所述的方法计算出二进制变化图像BCI并提取感兴趣区域:
I Ootherwise 式中W表示第i帧图像《7)点是否属于前景点，I则说明是前景点，O则不是前景点是输入视频的帧数，r为一个预设的阈值； 之后，本发明将BCI分割成若干个连通区域，之后将每个连通区域的凸包计算出来，我们用Ri代表第i个连通区域，Ci代表A的凸包，并按照下式计算出每个凸包中非O元素的比例:
/A(Ci) 其中J AV是A中像素的个数d (Ci)是G中像素的个数，凸包中非ο元素的比例越高就说明这个凸包被连通区域充分占据，如果这个比例太低(比如低于一个阈值》,.)，就说明这个凸包没有很好的和对应的连通区域合适，用下面的方法对这些比例太低的凸包进行进一步的分割； 将G中的非O的元素投影到Z周和轴上，得到两个直方图，之后找到这两个直方图的峰值&和Tw ； 之后Ri被两条线X=Xm和尸Jrja分割成几个小的连通区域； 最后再计算这些凸包的非零元素的比例，判断是否需要对这些区域进行重新分割 之后每个面积大于一个阈值的Ci会被选择成为感兴趣区域。
4.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第三步中，对第二步得到的每个感兴趣区域进行特征的提取，包括直接在原始的彩色图片上或者前景上进行各种不同的特征。
5.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第四步中把每帧图像的所有感兴趣区域提取出的特征向量加权并连接起来:
6.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第六步中所述的方法得到最优参考帧并计算相似波形:
7.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第七步在第六步找到的最佳参考帧后，通过对找相似波形中的显著极大值来检测周期运动。
8.每一个显著最大值对应着一个周期的开始和另外一个周期的结束。
9.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第一步到第二步所描述的内容可以单独使用用于提取运动视频的感兴趣区域，之后可以用来进行行为识别，异常行为检测工作。
10.根据权利要求1所述的基于感兴趣区域相似性特征和根据极值选取参考帧的周期行为的检测方法，其特征在于第三步到五步所描述的基于感兴趣区域提取特征并计算帧与帧之间的相似性并构造相似图的方法可以单独使用，用于计算图片之间的相似性或者通过构造视频的相似图进行行为识别工作；第六步中所述的通过显著极值来选取最佳参考帧的方法单独使用来对视频信息进行分析。
【文档编号】G06T7/20GK103761746SQ201310722423
【公开日】2014年4月30日 申请日期:2013年12月25日 优先权日:2013年12月25日
【发明者】林巍峣, 韩欣彤, 裘玉英, 周旭楚, 张越青 申请人:浙江慧谷信息技术有限公司