一种视频图像中目标对象的识别方法和装置与流程

本发明涉及视图图像识别技术领域，特别是一种视频图像中目标对象的识别方法和装置。

背景技术：

视频分析软件被广泛应用于刑侦、安防，无人机跟踪系统中，多目标在视频中的持续遮挡问题是视频分析过程中比较难解决的问题，为了获取较完整的视频摘要信息，就需要获取视频中较完整的遮挡信息。

现有技术中，通过对运动目标进行膨胀、腐蚀、开启和闭合，二值运算后，在对图像进行目标的提取。然而，由于二值图像存在不连续，多个目标如果距离太近，相互遮挡可能会粘连为一个目标，或者一辆车有可能被分成了多个目标，还可能会有一些干扰噪点。因此存在不能准确的提取出目标，存在对目标的漏检的问题。

综上所述，现有的视频分析软件并不能很准确的对视频中的目标对象进行识别的问题。

技术实现要素：

本发明提供了一种视频图像中目标对象的识别方法和装置。本发明提供的技术方案能够解决现有的视频分析软件并不能很准确的对视频中的目标对象进行识别的问题。

本发明公开了一种视频图像中目标对象的识别方法，包括：

对视频图像进行预处理，得到所述视频图像的二值连通图；

所述二值连通图中包含至少一个连通区域，每个连通区域对应所述视频图像中的至少一个目标对象；

获取所述二值连通图中各个连通区域的位置信息和面积信息；

根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；

根据所述各个连通区域的面积信息与阈值面积，识别所述各个连通区域对应的目标对象的个数。

可选的，所述对视频图像进行预处理，得到所述视频图像的二值连通图包括：

从所述视频图像提取前景图像，将所述前景图像进行二值化处理得到所述视频图像的二值图像；

依次对所述视频图像的二值图像进行闭运算、膨胀运算、连通运算得到所述视频图像的二值连通图。

可选的，还包括：设置位置信息与阈值面积的线性关系的步骤，包括：

获取预设数量的训练样本，对所述训练样本进行预处理，得到所述训练样本的二值连通图；

将所述训练样本的二值连通图在垂直方向上划分为N个子区域，其中每个子区域具有不同的位置信息；

分别统计每个子区域中训练目标的面积信息，得出每个子区域中的训练目标的面积均值；

根据相邻两个子区域中训练目标的面积均值，计算出相邻两个子区域的训练目标的面积均值之间的线性关系；

根据所述相邻两个子区域的训练目标的面积均值之间的线性关系，以及所述相邻两个子区域的位置关系，得到所述预设的位置信息与阈值面积的线性关系。

可选的，所述根据相邻两个子区域中训练目标的面积均值，计算出相邻两个子区域的训练目标的面积均值之间的线性关系包括：

根据如下公式计算相邻两个子区域的训练目标的面积均值之间的线性关系：

其中，a_i表示相邻两个子区域的训练目标的面积均值之间的线性关系；S_i+1表示第i+1个子区域的训练目标的面积均值，S_i表示第i个子区域的训练目标的面积均值，Image.height表示训练样本的二值连通图的垂直方向上的长度，N为所述训练样本的二值连通图在垂直方向上划分的子区域的个数；

所述根据所述相邻两个子区域的训练目标的面积均值之间的线性关系，以及所述相邻两个子区域的位置关系，得到所述预设的位置信息与阈值面积的线性关系包括：

根据如下公式计算位置信息与阈值面积的线性关系包括：

y_i＝a_i*x+b_i，

b_i＝S_i+1-a_i*(Im age.height/2*N+i*Im age.height/N)

其中，y_i表示第i个子区域的训练目标的阈值面积，x表示训练目标的位置信息，b_i表示第i个子区域的训练目标的面积矫正常量。

可选的，所述根据所述各个连通区域的面积信息与阈值面积，识别所述各个连通区域对应的目标对象的个数包括：

根据所述各个连通区域的面积信息与阈值面积的比值，识别所述各个连通区域对应的目标对象的个数；

所述连通区域的面积信息与阈值面积的比值小于等于第一阈值时，识别所述连通区域对应的目标对象的个数为单个；所述连通区域的面积信息与阈值面积的比值大于第一阈值且小于等于第二阈值时，识别所述连通区域对应的目标对象的个数为两个；所述连通区域的面积信息与阈值面积的比值大于第二阈值时，识别所述连通区域对应的目标对象的个数为三个以上。

本发明还公开了一种视频图像中目标对象的识别装置，包括：

预处理模块，用于对视频图像进行预处理，得到所述视频图像的二值连通图；所述二值连通图中包含至少一个连通区域，每个连通区域对应所述视频图像中的至少一个目标对象；

获取模块，用于获取所述二值连通图中各个连通区域的位置信息和面积信息；

计算模块，用于根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；

识别模块，用于根据所述各个连通区域的面积信息与阈值面积，识别所述各个连通区域对应的目标对象的个数。

可选的，所述预处理模块，用于从所述视频图像提取前景图像，将所述前景图像进行二值化处理得到所述视频图像的二值图像；依次对所述视频图像的二值图像进行闭运算、膨胀运算、连通运算得到所述视频图像的二值连通图。

可选的，还包括：设置模块；

所述设置模块，用于获取预设数量的训练样本，对所述训练样本进行预处理，得到所述训练样本的二值连通图；将所述训练样本的二值连通图在垂直方向上划分为N个子区域，其中每个子区域具有不同的位置信息；分别统计每个子区域中训练目标的面积信息，得出每个子区域中的训练目标的面积均值；根据相邻两个子区域中训练目标的面积均值，计算出相邻两个子区域的训练目标的面积均值之间的线性关系；根据所述相邻两个子区域的训练目标的面积均值之间的线性关系，以及所述相邻两个子区域的位置关系，得到所述预设的位置信息与阈值面积的线性关系。

可选的，所述计算模块，根据如下公式计算相邻两个子区域的训练目标的面积均值之间的线性关系：

其中，a_i表示相邻两个子区域的训练目标的面积均值之间的线性关系；S_i+1表示第i+1个子区域的训练目标的面积均值，S_i表示第i个子区域的训练目标的面积均值，Image.height表示训练样本的二值连通图的垂直方向上的长度，N为所述训练样本的二值连通图在垂直方向上划分的子区域的个数；

根据如下公式计算位置信息与阈值面积的线性关系包括：

y_i＝a_i*x+b_i，

b_i＝S_i+1-a_i*(Im age.height/2*N+i*Im age.height/N)

其中，y_i表示第i个子区域的训练目标的阈值面积，x表示训练目标的位置信息，b_i表示第i个子区域的训练目标的面积矫正常量。

可选的，所述识别模块，用于根据所述各个连通区域的面积信息与阈值面积的比值，识别所述各个连通区域对应的目标对象的个数；

所述连通区域的面积信息与阈值面积的比值小于等于第一阈值时，识别所述连通区域对应的目标对象的个数为单个；所述连通区域的面积信息与阈值面积的比值大于第一阈值且小于等于第二阈值时，识别所述连通区域对应的目标对象的个数为两个；所述连通区域的面积信息与阈值面积的比值大于第二阈值时，识别所述连通区域对应的目标对象的个数为三个以上。

综上所述，本发明所公开的技术方案，通过对视频图像进行预处理，得到所述视频图像的二值连通图；便于对视频图像中的目标对象进行识别。进而获取二值连通图中各个连通区域的位置信息和面积信息；根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；阈值面积为在二值连通图中，单个目标对象在不同位置下的标准面积大小，因此能够根据各个连通区域的面积信息，该连通区域所在位置下对应的阈值面积进行比较，根据比较的结果识别各个连通区域对应的目标对象的个数。在本申请中，通过设置的位置信息与阈值面积的线性关系，针对二值连通图中不同位置的连通区域中的目标对象进行准确的识别。从而解决了现有的视频分析软件并不能很准确的对视频中的目标对象进行识别的问题。

附图说明

图1是本发明中一种频图像中目标对象的识别方法的流程图；

图2是本发明中一种视频图像中目标对象的识别方法的详细流程图；

图3是本发明中一种设置位置信息与阈值面积的线性关系的流程图；

图4是本发明中一种视频图像中目标对象的识别装置的结构示意图；

图5是本发明中一种视频图像中目标对象的识别装置的详细结构示意图；

图6是本发明一种视频图像的原图；

图7是图6进过二值化处理得到的二值图像；

图8是图7经过闭运算得到的示意图；

图9是图8经过膨胀运算得到的示意图；

图10是图9经过连通运算得到的所述视频图像的二值连通图。。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作还地详细描述。

本发明的整体思路：由于在二值连通图中，在不同的位置，相同目标对象的阈值面积之间存在一定的线性关系。因此，通过对足够数量的训练样本进行识别统计之后，得到的位置信息与目标对象的阈值面积之间的线性关系。并且能够针对不同的目标对象，通过对不同的训练样本的识别统计。得到针对不同目标对象的位置信息与目标对象的阈值面积之间的线性关系。

在对目标对象进行识别的过程中，根据该位置信息与目标对象的阈值面积之间的线性关系，根据连通区域所在的位置信息计算该位置信息对应的阈值面积。将连通区域的实际面积信息与对应的阈值面积进行比较，根据比较结果对该连通区域内目标对象的个数进行有效识别。

图1是本发明中一种视频图像中目标对象的识别方法的流程图，参见图1所述，该方法包括如下步骤：

步骤S110，对视频图像进行预处理，得到所述视频图像的二值连通图；所述二值连通图中包含至少一个连通区域，每个连通区域对应所述视频图像中的至少一个目标对象；

步骤S120，获取所述二值连通图中各个连通区域的位置信息和面积信息；

步骤S130，根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；

步骤S140，根据所述各个连通区域的面积信息与阈值面积，识别所述各个连通区域对应的目标对象的个数。

由上述可知，在本发明中通过对视频图像进行预处理，得到所述视频图像的二值连通图；进而获取二值连通图中各个连通区域的位置信息和面积信息。根据预设的位置信息与阈值面积的线性关系，根据各个连通区域的位置信息计算出各个连通区域的阈值面积。根据对各个连通区域的面积信息与对应的阈值面积进行比较，识别出各个连通区域对应的目标对象的个数。在本发明中，根据保存的位置信息与阈值面积的线性关系，分别对每个连通区域中的目标对象进行有效的识别，解决了现有的视频分析软件并不能很准确的对视频中的目标对象进行识别的问题。

图2是本发明中一种视频图像中目标对象的识别方法的详细流程图。参见图2所示，该方法包括如下步骤：

步骤S210，从所述视频图像提取前景图像，将所述前景图像进行二值化处理得到所述视频图像的二值图像；

步骤S220，依次对所述视频图像的二值图像进行闭运算、膨胀运算、连通运算得到所述视频图像的二值连通图。

图6是本发明一种视频图像的原图，图7是图6进过二值化处理得到的二值图像；图8是图7经过闭运算得到的示意图；图9是图8经过膨胀运算得到的示意图；图10是图9经过连通运算得到的所述视频图像的二值连通图。参见图6～图10所示。依次对所述视频图像的二值图像进行闭运算、膨胀运算、连通运算得到所述视频图像的二值连通图。在本发明的具体实施例中，视频图像对应于视频流的中的每一帧。因此通过对视频流中的每一帧的视频图像进行目标对象的识别，实现对整个视频流的识别。

步骤S230，获取所述二值连通图中各个连通区域的位置信息和面积信息。

在步骤S230中，获取二值连通图中每个连通区域的中心点的位置，具体为，以二值连通图的垂直方向为坐标轴，垂直方向的上方起点为原点，二值连通图高度Im age.height为总长度。根据每个连通区域的中心点的位置在坐标轴上的位置，获取对应的位置信息x。举例为，某连通区域的中心点的位置在坐标轴的中心，则对应的位置信息Im age.height/2。

在步骤S230中，通过计算各个连通区域中像素点的个数，得到对应的面积信息。举例为，某连通区域的总计有100的像素点，则对应的面积信息为100。由于在本发明中，二值连通图中对应连通区域的像素点的灰度值为255，则只需要对灰度值为255的像素点进行统计，就能得到该连通区域中面积大小，便于进行面积大小的对比，从而能够更好的识别出目的对象的个数。

步骤S240，根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；

在步骤S240中，针对需要识别的视频图像，预先设置有根据位置信息与阈值面积的线性关系。可以通过各个连通区域的位置信息，计算出该位置信息下目标对象的阈值面积。以图6为例，目标对象为汽车，阈值面积为：不同位置信息下，一辆标准大小的汽车在图中部位所占的不同的像素点的个数。

步骤S250，根据所述各个连通区域的面积信息与阈值面积，识别所述各个连通区域对应的目标对象的个数。

在步骤S250中，根据所述各个连通区域的面积信息与阈值面积的比值，识别所述各个连通区域对应的目标对象的个数；

在本发明的一种实施例中，所述连通区域的面积信息与阈值面积的比值小于等于第一阈值时，识别所述连通区域对应的目标对象的个数为单个；所述连通区域的面积信息与阈值面积的比值大于第一阈值且小于等于第二阈值时，识别所述连通区域对应的目标对象的个数为两个；所述连通区域的面积信息与阈值面积的比值大于第二阈值时，识别所述连通区域对应的目标对象的个数为三个以上。

在本发明的一种具体实施例中，第一阈值的取值范围为大于1.0，小于等于1.5。第二阈值的取值范围为大于1.5，小于等于2.0。

在本发明的一种较佳实施例中，第一阈值为1.3，第二阈值为2.0。连通区域的面积信息与阈值面积的比值大于1.3小于等于2.0时，识别所述连通区域对应的目标对象的个数为两个；所述连通区域的面积信息与阈值面积的比值小于等于1.3时，识别所述连通区域对应的目标对象的个数为单个。连通区域的面积信息与阈值面积的比值大于2.0时，识别所述连通区域对应的目标对象的个数为三个以上。

举例为，获取的连通区域的面积为100个像素点，而对应的该位置信息下的阈值面积为90个像素点，则识别出该连通区域中对应的目标对象的个数为1个。

图3是本发明中一种设置位置信息与阈值面积的线性关系的流程图，参见图3所示，该方法包括如下步骤。

步骤S310，获取预设数量的训练样本，对所述训练样本进行预处理，得到所述训练样本的二值连通图；

在步骤S310中，在获取预设数量的训练样本之前，需要预先设置对能够实现对训练目标进行识别的识别文件。该识别文件能够实现对训练目标的识别。在本发明的一种具体实施例中，可以通过识别模型，根据支持向量机(SVM，Support Vector Machine)对连通区域所对应的训练目标的识别、分类得到对应识别文件。

在本发明中，能够根据该识别文件实现对训练样本中的训练样本的识别，进而依次对所述训练样本进行二值化运算、闭运算、膨胀运算、连通运算得到所述视频图像的二值连通图；并计算各个二值连通图中各个连通区域的像素值。

在本发明的一种较佳实施例中，训练样本的个数可以为2000个。即在识别完训练样本之后，对各个连通区域的像素值进行排序；从中筛选出像素点数量梯度变化小的前100个二值连通图。对筛选出的二值连通图进行后续步骤。在本步骤中，通过进行排序和筛选操作，能够排除非正常训练对象的干扰。如对小轿车作为训练对象的过程中，排除大型车辆所造成的干扰。

步骤S320，将所述训练样本的二值连通图在垂直方向上划分为N个子区域，其中每个子区域具有不同的位置信息；

在步骤S320中，将二值连通图进行划分成多个子区域之后，每个子区域的位置信息为该子区域的中心位置的坐标，第i个子区域的位置信息X_i＝Im age.height/2*N。举例为，N的取值为4，即划分为4个子区域，其中，第1个子区域的位置信息X₁＝Im age.height/8。其中，i＝(1,2...N-1)。

步骤S330，分别统计每个子区域中训练目标的面积信息，得出每个子区域中的训练目标的面积均值。

在步骤S330中，通过对各个子区域中训练目标的连通区域的像素点的统计得到每个子区域中的训练目标的面积均值。

步骤S340，根据相邻两个子区域中训练目标的面积均值，计算出相邻两个子区域的训练目标的面积均值之间的线性关系；

在步骤S340中，可以根据如下公式计算相邻两个子区域的训练目标的面积均值之间的线性关系：

其中，a_i表示第i个子区域与第i+1个子区域的训练目标的面积均值之间的线性关系；S_i+1表示第i+1个子区域的训练目标的面积均值，S_i表示第i个子区域的训练目标的面积均值，Im age.height表示训练样本的二值连通图的垂直方向上的长度，N为所述训练样本的二值连通图在垂直方向上划分的子区域的个数；

举例为：a₁第1个子区域与第2个子区域的训练目标的面积均值之间的线性关系；表示训练目标从第1个子区域进入第2个子区域时，对应的面积信息的变化率，具体为车辆从第1个子区域的中心位置移动到第2个子区域的中心位置对应的面积信息的变化率。

步骤S350，根据所述相邻两个子区域的训练目标的面积均值之间的线性关系，以及所述相邻两个子区域的位置关系，得到所述预设的位置信息与阈值面积的线性关系。

在步骤S350中，可以根据如下公式计算位置信息与阈值面积的线性关系：y_i＝a_i*x+b_i，b_i＝S_i+1-a_i*(Im age.height/2*N+i*Im age.height/N)

其中，y_i表示第i个子区域的训练目标的阈值面积，x表示训练目标的位置信息，b_i表示第i个子区域的训练目标的面积矫正常量。

在本发明的一种具体实施例中，由于针对不同的子区域，存在对应的a_i和b_i；因此在计算对应阈值面积时，需要根据x值的确定对应的计算公式。具体为：x的值在(2i-1)*Im age.height/2*N～(2i+1)*Im age.height/2*N内则对应第i个子区域的计算公式。如x的值为2*Im age.height/8，对应的i值为1，则对应第1个子区域的计算公式，i＝(1,2...N-1)。

在本发明的较佳实施例中，为了使得a_i的值更加准确，以及减少识别的误差，对于x的值在0～(2i-1)*Im age.height/2*N，以及(2i+1)*Im age.height/2*N～Im age.height范围内的连通区域内的不进行统计。

在本发明的上述实施例中，可以通过对不同类型的训练样本的进行预处理之后，得到针对不同场景下的位置信息与阈值面积的线性关系；可以有效的解决因不同场景需要分别设置不同的阈值面积的缺陷。并且，由于不同场景下的位置信息与阈值面积的线性关系，可以通过针对不同的训练样本进行自适应提取，避免通过人为设置阈值面积存在识别效果不够准确的问题。

本发明还公开了一种视频图像中目标对象的识别装置，图4是本发明中一种视频图像中目标对象的识别装置的结构示意图，参见图4所示，该识别装备包括：

预处理模块401，用于对视频图像进行预处理，得到所述视频图像的二值连通图；所述二值连通图中包含至少一个连通区域，每个连通区域对应所述视频图像中的至少一个目标对象；

获取模块402，用于获取所述二值连通图中各个连通区域的位置信息和面积信息；

计算模块403，用于根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；

识别模块404，用于根据所述各个连通区域的面积信息与阈值面积，识别所述各个连通区域对应的目标对象的个数。

在本发明的一种具体实施例中，所述预处理模块，用于从所述视频图像提取前景图像，将所述前景图像进行二值化处理得到所述视频图像的二值图像；依次对所述视频图像的二值图像进行闭运算、膨胀运算、连通运算得到所述视频图像的二值连通图。

图5是本发明中一种视频图像中目标对象的识别装置的详细结构示意图，参见图5所示，图5在图4的基础行还包括：设置模块。

所述设置模块，用于获取预设数量的训练样本，对所述训练样本进行预处理，得到所述训练样本的二值连通图；将所述训练样本的二值连通图在垂直方向上划分为N个子区域，其中每个子区域具有不同的位置信息；分别统计每个子区域中训练目标的面积信息，得出每个子区域中的训练目标的面积均值；根据相邻两个子区域中训练目标的面积均值，计算出相邻两个子区域的训练目标的面积均值之间的线性关系；根据所述相邻两个子区域的训练目标的面积均值之间的线性关系，以及所述相邻两个子区域的位置关系，得到所述预设的位置信息与阈值面积的线性关系。

在本发明的一种具体实施例中，所述计算模块，根据如下公式计算相邻两个子区域的训练目标的面积均值之间的线性关系：

其中，a_i表示第i个子区域与第i+1个子区域的训练目标的面积均值之间的线性关系；S_i+1表示第i+1个子区域的训练目标的面积均值，S_i表示第i个子区域的训练目标的面积均值，Im age.height表示训练样本的二值连通图的垂直方向上的长度，N为所述训练样本的二值连通图在垂直方向上划分的子区域的个数；

在本发明的一种具体实施例中，根据如下公式计算位置信息与阈值面积的线性关系包括：

y_i＝a_i*x+b_i，b_i＝S_i+1-a_i*(Im age.height/2*N+i*Im age.height/N)

其中，y_i表示第i个子区域的训练目标的阈值面积，x表示训练目标的位置信息，b_i表示第i个子区域的训练目标的面积矫正常量。

在本发明的一种具体实施例中，所述识别模块，用于根据所述各个连通区域的面积信息与阈值面积的比值，识别所述各个连通区域对应的目标对象的个数；

其中，所述连通区域的面积信息与阈值面积的比值小于等于第一阈值时，识别所述连通区域对应的目标对象的个数为单个；所述连通区域的面积信息与阈值面积的比值大于第一阈值且小于等于第二阈值时，识别所述连通区域对应的目标对象的个数为两个；所述连通区域的面积信息与阈值面积的比值大于第二阈值时，识别所述连通区域对应的目标对象的个数为三个以上。

较佳的，在本发明的一种较佳实施例中，第一阈值为1.3，第二阈值为2.0。连通区域的面积信息与阈值面积的比值大于1.3小于等于2.0时，识别所述连通区域对应的目标对象的个数为两个；所述连通区域的面积信息与阈值面积的比值小于等于1.3时，识别所述连通区域对应的目标对象的个数为单个。连通区域的面积信息与阈值面积的比值大于2.0时，识别所述连通区域对应的目标对象的个数为三个以上。

综上所述，本发明所公开的技术方案，通过对视频图像进行预处理，得到所述视频图像的二值连通图；便于对视频图像中的目标对象进行识别。进而获取二值连通图中各个连通区域的位置信息和面积信息；根据所述各个连通区域的位置信息，以及预设的位置信息与阈值面积的线性关系，计算出所述各个连通区域的阈值面积；阈值面积为在二值连通图中，单个目标对象在不同位置下的标准面积大小，因此能够根据各个连通区域的面积信息，该连通区域所在位置下对应的阈值面积进行比较，根据比较的结果识别各个连通区域对应的目标对象的个数。在本申请中，通过设置的位置信息与阈值面积的线性关系，针对二值连通图中不同位置的连通区域中的目标对象进行准确的识别。从而解决了现有的视频分析软件并不能很准确的对视频中的目标对象进行识别的问题。

此外，在本发明中，通过对不同类型的训练样本的进行预处理，得到针对不同场景下的位置信息与阈值面积的线性关系；可以有效的解决因不同场景需要分别设置不同的阈值面积的缺陷。并且，由于不同场景下的位置信息与阈值面积的线性关系，可以通过针对不同的训练样本进行自适应提取，避免通过人为设置阈值面积存在识别效果不够准确的问题。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。