基于cell图像分割检测的跟踪方法及系统与流程

本发明涉及动态跟踪方法计算，尤其涉及基于cell图像分割检测的跟踪方法及系统。

背景技术：

随着计算机视觉在科学界和工业界的快速发展，计算机视觉系统在控制过程、决策系统、信息组织与检索、目标与环境建模、人机交互等方面得到了广泛应用。在计算机视觉的主要研究领域，对视频图像中指定目标的检测、跟踪是一个重要的研究课题，具有广泛的应用背景。

在智能录播系统中，通过计算机视觉系统对视频中的学生进行定位，辅助导播画面自动切换，是实现录播系统“智能”的基础。因此，一个鲁棒的、抗干扰腔的视频跟踪算法对智能录播系统非常重要。

常用的视频目标检测算法有帧间差分法、背景差分法、光流法等等。帧间差分法是一种通过视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法。该方法原理简单，易于实现，而且由于相邻帧的时间间隔并不精确，不同运动方向的目标会连成一片，对后期分割要求严格，单纯使用差分法针对智能录播系统的应用场景，难以达到实用的需求。

背景差分法和帧间差分法分类，通过维护一个背景模型，与当前帧相减获取目标轮廓。该方法同样存在后期难以分割单个目标的情况。

光流法是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出不同运动方向的目标。但光流法进行运动物体检测的问题主要在于计算耗时，实时性和实用性都较差。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供基于cell图像分割检测的跟踪方法，其抗干扰强、误检率第、对后期要求低，且实用性强。

本发明的目的之二在于提供提供基于cell图像分割检测的跟踪系统，其能实现本发明的目的之一。

本发明的目的之一采用以下技术方案实现：

基于cell图像分割检测的跟踪方法，包括如下步骤：

S1：获取连续帧的图像数据，计算上一帧与当前帧之间的差分图像以生成当前帧的HMI图；

S2：计算得到所述HMI图的积分图像；

S3：将积分图像分为若干个符合预设条件的区间，根据积分图像计算出每个区间的cell值；

S4：扫描每个cell值，以得到该区间对应的动作状态为起立状态或坐下状态；

S5：重复S4以对相同区间的相同的动作状态进行累加；

S6：判断累计该区间相同的动作状态的次数大于预设值时，判断该区间为感兴趣的学生目标。

优选的，在S1中，通过隔帧差分法或相邻帧差分法计算上一帧与当前帧之间的差分图像。

优选的，S2具体包括如下步骤：

Sa：定义矩阵该矩阵H为3*3的矩阵，图像数据中的源图像点的像素坐标为(u,v),将该像素坐标进行标准化转换为标准像素坐标(x，y)，则用齐次方式表示该图像数据中的像素坐标为(u，v，1)，将齐次方式表示的像素坐标进行标准化转换为标准像素坐标(x′,y′,w′)；则有

Sb：根据x＝x′/w′以及y＝y′/w′计算得到矩阵H；

Sc：根据当前帧的HMI图计算得到该HMI图的垂直方向上的梯度，其中，G_y为HMI图的垂直方向上的梯度，HMI_l为上一帧的HMI图，HMI_c为当前帧的HMI图，HMI_l(x，y)表示标准像素坐标为(x，y)的上一帧的HMI图，HMI_c(x，y)表示标准像素坐标为(x，y)的当前帧的HMI图，absDiff为帧间差分图像绝对值，dth为判定阈值，dur为运动状态保留的实际周数；

Sd：根据公式：G′＝HG_y计算得到所述梯度Gy的转换后的梯度G′；

Se：根据公式：计算积分图像，其中，I(x，y)表示标准像素坐标为(x，y)的积分图像，I(x，y-1)表示标准像素坐标为(x，y-1)的积分图像，I(x-1，y)表示标准像素坐标为(x-1，y)的积分图像，I(x-1，y-1)表示标准像素坐标为(x-1，y-1)的积分图像，G′(x，y)表示标准像素坐标的梯度G′。

优选的，S3中的预设条件为：区间的宽度为学生目标在图像数据中像素尺寸的宽度的一半。区间的高度为区间的宽度的两倍。

优选的，定义区间的宽度为w，高度为h，图像数据的宽度为W，高度为H，则区间的行数和列数分别不为：c＝2*W/w+1，r＝H/w-1，定义区间的左上角坐标为(a，b)，图像数据的左上角坐标为(X,Y)则a＝X+w/2*r，h＝Y+w*c，区间的cell值为：cell(a,b,w,h)＝I(a+w,b+h)+I(a,b)-I(a,b+h)-I(a+w,b)，其中，c为区间的行数，r为区间的列数，cell(a，b，w，h)为区间的cell值。

优选的，S4具体包括如下子步骤：

S41：设定第一阈值和第二阈值，扫描每个区间的cell值，根据公式或公式得到该区间对应动作状态下的掩码图像；maskUp和maskDowm均为掩码图像，且maskUp对应起立状态，maskDowm对应坐下状态，thr1为第一阈值，thr2为第二阈值；cell＝cell(a，b，w，h)

S42：选取第一个cell值大于第一阈值的区间为边界起点，或者选取第一cell值小于第二阈值的区间为边界起点；

S43：按逆时针方向扫描该cell值对应区间的相邻区间，选取cell值大于第一阈值的区间为扫描起点；或者按逆时针方向扫描该cell值对应区间的相邻区间，选取cell值小于第二阈值的区间为扫描起点；

S44：重复S43，直到所述扫描起点与边界起点重合，所有扫描起点连通形成的区域定义为学生目标，得到的学生目标的动作状态为起立状态或坐下状态。

优选的，所述第一阈值＝w*h*0.15，第二阈值＝-w*h*0.15。

本发明的目的之二采用以下技术方案实现：

基于cell图像分割检测的跟踪系统，包括如下模块：

获取模块：用于获取连续帧的图像数据，计算上一帧与当前帧之间的差分图像以生成当前帧的HMI图；

计算模块：用于计算得到所述HMI图的积分图像；

分区模块：用于将积分图像分为若干个符合预设条件的区间，根据积分图像计算出每个区间的cell值；

扫描模块：用于扫描每个cell值，以得到该区间对应的动作状态为起立状态或坐下状态；

循环模块：用于重复扫描模块所执行的动作以对相同区间的相同的动作状态进行累加；

判断模块：用于判断累计该区间相同的动作状态的次数大于预设值时，判断该区间为感兴趣的学生目标。

相比现有技术，本发明的有益效果在于：

本发明将每一帧图像数据切割为多个区间分别进行扫描，从而可以准确得到学生目标的动作状态，定位鲁棒性好，无需学生佩戴任何定位设备，可以有效屏蔽左右摇摆的目标。

附图说明

图1为本发明的基于cell图像分割检测的跟踪方法的流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

结合图1，本发明提供基于cell图像分割检测的跟踪方法，包括如下步骤：

S1：获取连续帧的图像数据，计算上一帧与当前帧之间的差分图像以生成当前帧的HMI图；HMI是Human Machine Interface的缩写，人机接口，也叫人机界面；

本发明通过Ti8168处理芯片将采集到的图像数据压缩到640*480分辨率进行相关的处理。

在具体的实现中，可以采用隔帧差分法或相邻帧差分法，在本实施例中采用的是相邻帧差分法。在每一个处理周期中，都要保存当前的帧数据用于下一处理周期中的差分计算，隔帧差分法需保存两帧数据。差分运算需要在灰度图像中进行，取值范围为0～255。如果输入的源图像是RGB格式的，需先进行图像灰度转换。YUV格式图像根据其排列方式，直接选取其Y数据进行计算。

具体计算方式为：设V为图像中某一点当前的灰度值，V′为上一帧中相同位置的灰度值，那么差分值absDiff＝|V-V′|。absDiff为帧间差分图像绝对值。

S2：计算得到所述HMI图的积分图像；

本发明的操作流程首先是连续不断获得图像数据，对每一帧的图像数据都进行处理。

具体的，S2具体包括如下步骤：

Sa：定义矩阵该矩阵H为3*3的矩阵，图像数据中的源图像点的像素坐标为(u,v),将该像素坐标进行标准化转换为标准像素坐标(x，y)，则用齐次方式表示该图像数据中的像素坐标为(u，v，1)，将齐次方式表示的像素坐标进行标准化转换为标准像素坐标(x′,y′,w′)；则有

由于物理空间到视频图像中存在透视投影变换，离摄像机远的目标会比离摄像机近的目标小，因此物理空间中的矩形在图像数据中变为不规则四边形。为了确保后续分割出来的区间对应物理空间保持一致，需要进行坐标转换进行标准化。也就是将图像数据中需要检测的区域的像素的坐标(u，v)映射到(x，y)，其中，x∈[0,100]且y∈[0,100]。本发明为了降低算法复杂度，粗略认为检测目标在物理空间中处于同一平面，则将转换矩阵简化为单应矩阵，用齐次方式表示源图像图像点(u,v,1),转换后像素点点为(x′,y′,w′)。

Sb：根据x＝x′/w′以及y＝y′/w′计算得到矩阵H；本步骤是为了求出矩阵H，求出矩阵H后，对后续每一帧的图像数据的每个像素都进行坐标映射，也就是标准化。矩阵H只需求解一次，可令h₃₃＝1，通过四对点，每一对点提供两个方程式：四个对点可以提供八个方程式，也就可以求出矩阵H。

Sc：根据当前帧的HMI图计算得到该HMI图的垂直方向上的梯度，其中，G_y为HMI图的垂直方向上的梯度，HMI_l为上一帧的HMI图，HMI_c为当前帧的HMI图，HMI_l(x，y)表示标准像素坐标为(x，y)的上一帧的HMI图，HMI_c(x，y)表示标准像素坐标为(x，y)的当前帧的HMI图；x与y是图像像素坐标，absDiff为帧间差分图像绝对值，上一帧与当前帧之间的差分图像绝对值，dth为判定阈值，由人为预先设定，dur表示运动状态保留的实际周期，该周期数等于255-dur。判定阈值主要用于过滤一些小的波动，使算法对噪声有一定免疫，但是该值的设定不能过大，否则会使真实的运动被过滤，漏检测运动目标，一般该值10-15之间，本实施例可以选择为13；dur用于去除长时间未运动的像素，本实施例中可以选择为230。

根据HMI图的性质，越新的运动HMI值越大，实际也就是HMI_c越大，越早的运动HMI值越小，对其求垂直方向的梯度G_y，G_y大于0的地方，则说明该点运动趋势由下往上，反之说明该点的运动趋势由上往下。

Sd：根据公式：G′＝HG_y计算得到所述梯度Gy的转换后的梯度G′；

Se：根据公式：计算积分图像，其中，I(x，y)表示标准像素坐标为(x，y)的积分图像，I(x，y-1)表示标准像素坐标为(x，y-1)的积分图像，I(x-1，y)表示标准像素坐标为(x-1，y)的积分图像，I(x-1，y-1)表示标准像素坐标为(x-1，y-1)的积分图像，G′(x，y)表示标准像素坐标的梯度G′。

S3：将积分图像分为若干个符合预设条件的区间，根据积分图像计算出每个区间的cell值；

进行cell分割时，在实际中应对令每个相邻的区间之间存在一定的重叠区域，考虑坐标转换后的覆盖范围，区间的尺寸不应大于学生目标的大小。

区间的宽度为学生目标在图像数据中像素尺寸的宽度的一半。区间的高度为区间的宽度的两倍。定义区间的宽度为w，高度为h，图像数据的宽度为W，高度为H，则区间的行数和列数分别不为：c＝2*W/w+1，r＝H/w-1，定义区间的左上角坐标为(a，b)，图像数据的左上角坐标为(X,Y)则a＝X+w/2*r，h＝Y+w*c，区间的cell值为：cell(a,b,w,h)＝I(a+w,b+h)+I(a,b)-I(a,b+h)-I(a+w,b)，其中，c为区间的行数，r为区间的列数，cell(a，b，w，h)为区间的cell值。

上述操作中，区间的行数设置为2*W/w+1的目的是为了在水平方向每一个左右相邻的区间相互重叠，重叠面积刚好为区间的一半。每一个区间对应图像数据的一块区域，则沿着需要检测的区域均衡排列。

S4：扫描每个cell值，以得到该区间对应的动作状态为起立状态或坐下状态；

S4具体包括如下子步骤：

S41：设定第一阈值和第二阈值，扫描每个区间的cell值，根据公式或公式得到该区间对应动作状态下的掩码图像；maskUp和maskDowm均为掩码图像，且maskUp对应起立状态，maskDowm对应坐下状态，thr1为第一阈值，thr2为第二阈值；cell实际为cell(a，b，w，h)；

S42：选取第一个cell值大于第一阈值的区间为边界起点，或者选取第一cell值小于第二阈值的区间为边界起点；

S43：按逆时针方向扫描该cell值对应区间的相邻区间，选取cell值大于第一阈值的区间为扫描起点；或者按逆时针方向扫描该cell值对应区间的相邻区间，选取cell值小于第二阈值的区间为扫描起点；

S44：重复S43，直到所述扫描起点与边界起点重合，所有扫描起点连通形成的区域定义为学生目标，得到的学生目标的动作状态为起立状态或坐下状态。

扫描maskUp时，可按照从上到下、从左到右的顺序扫描，寻找没有被标记的边界起点，按照预设的方向搜索该边界起点的3*3的领域，在领域中搜索到非0的像素点，也就是说搜索这个边界起点的周围8个点，如果是非0的像素点，则添加为扫描起点，并进行标记，再以该扫描起点为中心扫描该扫描起点3*3的领域，不断循环，直到最后扫描到的扫描起点与边界起点重合，所有扫面起点可以连线为一个连通的cell区间，也就是起立动作的轮廓。对于maskDowm也是同样的方式进行扫描。

S5：重复S4以对相同区间的相同的动作状态进行累加；

例如当前帧检测到该区间的动作状态为起立状态，上一帧和上上帧也为起立状态，则该区间的起立状态累计为3次。

S6：判断累计该区间相同的动作状态的次数大于预设值时，判断该区间为感兴趣的学生目标，之后对该学生目标进行跟踪，如果小于或等于预设值，说明还不能够直接判断为该学生正在执行起立或坐下的动作，可以采取继续扫描的方式进行累加。

另外一方面，本发明还提供相应的基于cell图像分割检测的跟踪系统，包括如下模块：

获取模块：用于获取连续帧的图像数据，计算上一帧与当前帧之间的差分图像以生成当前帧的HMI图；

计算模块：用于计算得到所述HMI图的积分图像；

分区模块：用于将积分图像分为若干个符合预设条件的区间，根据积分图像计算出每个区间的cell值；

扫描模块：用于扫描每个cell值，以得到该区间对应的动作状态为起立状态或坐下状态；

循环模块：用于重复扫描模块所执行的动作以对相同区间的相同的动作状态进行累加；

判断模块：用于判断累计该区间相同的动作状态的次数大于预设值时，判断该区间为感兴趣的学生目标。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。