一种视频图像的多目标检测跟踪方法与流程

本发明涉及视频图像处理技术领域，具体涉及一种视频图像的多目标检测跟踪方法。

背景技术：

连通域：连通区域(connectedcomponent)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(region，blob)。就是像素值相近的同一块区域。

监控系统的功能从原来简单的对视频信号进行人工监视，系统多画面显示及硬盘录像等简单功能发展到利用计算机实现智能的运动检测和目标跟踪。

目标检测是指在序列图像中检测出疑似目标的区域并将目标从背景图像中提取出来。通常情况下，目标距离镜头远近决定了其成像的大小，同一时刻可能出现不同大小，不同运动状态(运动，静止)的目标，所以通过传统的帧差、背景差等方法不能检测出多种运动状态的目标。

目前主要的目标检测算法有多种，基于图像的基本方法有帧差法、背景差分法等，基于机器学习的harr+adaboost、hog+svm、ssd、yolo、rcnn等。这些方法各有优缺点，帧差法和背景差法简单易于实现，并且算法计算量不大，可以保证实时性，但针对移动的目标，对静止目标无效，且需要连续的多张图像进行关联。harry+adaboost和hog+svm特征模型学习类型的算法对于样本需要量多，且光照和外来无关事件的干扰等特别敏感，时间效率较低。基于深度学习的ssd、yolo、rcnn等算法检测效果好，精度高，但时间效率低，不能达到实时处理。

技术实现要素：

有鉴于此，本申请提供一种视频图像的多目标检测跟踪方法，能够解决上述现有技术存在的问题。

为解决以上技术问题，本发明提供的技术方案是一种视频图像的多目标检测跟踪方法，所述方法包括：

接收视频图像；

将所述视频图像进行预处理，获得初始视频图像；

将所述初始视频图像进行形态学操作，获得灰度偏暗区域图像；

根据灰度偏暗区域图像生成二值图像和边缘图像；

根据所述边缘图像和预设目标特征信息在所述二值图像中筛选连通区域，获得目标区域；

根据所述视频图像的目标区域和上一帧视频图像的目标区域的关联关系形成航迹进行跟踪。

优选的，所述将所述视频图像进行预处理，获得初始视频图像的方法，包括：

将所述视频图像转换为灰度图像；

根据预设缩小倍数缩小所述灰度图像，获得初始视频图像。

优选的，所述将所述初始视频图像进行形态学操作，获得灰度偏暗区域图像的方法，包括：

对所述初始视频图像进行腐蚀和膨胀操作，获得形态学视频图像；

将所述形态学视频图像减去所述初始视频图像，获得灰度偏暗区域图像。

优选的，所述根据灰度偏暗区域图像生成二值图像和边缘图像的方法，包括：

将所述灰度偏暗区域图像进行灰度拉伸和二值化处理，获得二值图像；

将所述灰度偏暗区域图像进行canny边缘处理，获得边缘图像。

优选的，所述根据所述边缘图像和预设目标特征信息在所述二值图像中筛选连通区域，获得目标区域的方法，包括：

根据预设目标特征信息，在所述二值图像上删除不符合预设目标特征信息的连通区域；

根据所述边缘图，在所述二值图像上删除没有边缘的连通区域。

优选的，在所述根据所述边缘图像和预设目标特征信息在所述二值图像中筛选连通区域，获得目标区域的步骤后，根据所述视频图像的目标区域和上一帧视频图像的目标区域的关联关系形成航迹进行跟踪步骤前，还包括步骤：

根据预设缩小倍数还原所述目标区域到所述视频图像大小。

本申请与现有技术相比，其有益效果详细说明如下：本申请提供的视频图像的多目标检测跟踪方法包括接收视频图像；将视频图像进行预处理，获得初始视频图像；将初始视频图像进行形态学操作，获得灰度偏暗区域图像；根据灰度偏暗区域图像生成二值图像和边缘图像；根据边缘图像和预设目标特征信息在二值图像中筛选连通区域，获得目标区域；根据所述视频图像的目标区域和上一帧视频图像的目标区域的关联关系形成航迹进行跟踪。通过获取相邻较暗区域的算法，利用形态学操作图像与原图像的阈值确定较暗的区域，可以排除不符合灰度值的高亮区域，加快了目标检测的速度且提高了目标检测的准确性。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种视频图像的多目标检测跟踪方法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，本发明实施例1提供一种视频图像的多目标检测跟踪方法，该方法包括：

s11：接收视频图像；

s12：将视频图像进行预处理，获得初始视频图像；

s13：将初始视频图像进行形态学操作，获得灰度偏暗区域图像；

s14：根据灰度偏暗区域图像生成二值图像和边缘图像；

s15：根据边缘图像和预设目标特征信息在二值图像中筛选连通区域，获得目标区域：

s16：根据视频图像的目标区域和上一帧视频图像的目标区域的关联关系形成航迹进行跟踪。

具体的，步骤s12将视频图像进行预处理，获得初始视频图像的方法，包括：

s121：将所述视频图像转换为灰度图像；

这里，将rgb格式的彩色图像转换成灰度图像，即将三通道彩色图像转换为单通道图像，可减少计算量。

s122：根据预设缩小倍数缩小灰度图像，获得初始视频图像。

这里，根据预设缩小倍数缩小灰度图像可以加快后续处理速度，由于图像太大，处理速度较慢，可以通过将图像缩小一倍达到加速处理速度效果。

具体的，步骤s13将初始视频图像进行形态学操作，获得灰度偏暗区域图像的方法，包括：

s131：对初始视频图像进行腐蚀和膨胀操作，获得形态学视频图像；

这里，可以选用模板大小为15的菱形模板对图像进行腐蚀操作，达到扩大较亮区域效果。膨胀用于连接(join)相邻的元素，这也是膨胀后图像最直观的展现。基本的形态运算是腐蚀和膨胀。在形态学中，结构元素是最重要最基本的概念。结构元素在形态变换中的作用相当于信号处理中的“滤波窗口”。用b(x)代表结构元素，对工作空间e中的每一点x，腐蚀和膨胀的定义为：

腐蚀：

膨胀：

用b(x)对e进行腐蚀的结果就是把结构元素b平移后使b包含于e的所有点构成的集合。用b(x)对e进行膨胀的结果就是把结构元素b平移后使b与e的交集非空的点构成的集合。

s132：将形态学视频图像减去所述初始视频图像，获得灰度偏暗区域图像。

这里，通过将形态学操作图像减去灰度图像得到灰度偏暗区域，即获取相邻较暗区域。

具体的，步骤s14根据灰度偏暗区域图像生成二值图像和边缘图像的方法，包括：

s141：将灰度偏暗区域图像进行灰度拉伸和二值化处理，获得二值图像；

这里，拉伸灰度偏暗区域图像的方法包括：将图像指定区域拉伸到目标区域[lowout，highout]，其中lowout＝0，highout＝255，当前图像拉伸区域[lowin，highin]，先计算图像的平均灰度值mediangray，如果平均灰度值小于等于0，则设置平均值为1，最小值lowin为当前平均灰度值，最大值highin＝平均灰度值+(255-mediangray)/3。new代表映射后的值，old代表旧的灰度值，计算公式为：

这里，获取二值化阈值并进行二值化处理的方法，包括：统计图像直方图，从低灰度开始统计个数占图像面积95％对应的灰度值并乘以2得到当前的阈值，如果当前阈值大于最大灰度值，则当前阈值t＝最大灰度值-10。对图像进行二值化，如果小于t，则为背景置为0，否则为目标，置为255。

s142：将灰度偏暗区域图像进行canny边缘处理，获得边缘图像。

这里，获取canny边缘。利用步骤s13得到的灰度图的最大值graymax设置双边阈值最小值＝graymax/3，最大值＝graymax。主要分为以下5个步骤：

1)使用高斯滤波器，以平滑图像，滤除噪声。

2)计算图像中每个像素点的梯度强度和方向。利用下面两个模板分别计算图像的水平和垂直方向梯度，再将两者结合得到图像的梯度g，梯度方向为水平和垂直方向梯度形成的角度。

θ＝arctan(gy/gx)

3)应用非极大值(non-maximumsuppression)抑制，以消除边缘检测带来的杂散响应。即以点为中心，其值是否大于计算梯度正反方向值，如果是，则为极值，否则不为极值清除。

4)应用双阈值(double-threshold)检测来确定真实的和潜在的边缘。

施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，必须用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值来实现。如果边缘像素的梯度值高于高阈值，则将其标记为强边缘像素；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素；如果边缘像素的梯度值小于低阈值，则会被抑制。阈值的选择取决于给定输入图像的内容。

双阈值检测的伪代码描写如下：

ifgp≥highthreshold

gpisanstrongedge

elseifgp≥lowthreshold

gpisanweakedge

else

gpshouldbesuppressed。

5)通过抑制孤立的弱边缘最终完成边缘检测。

被划分为强边缘的像素点已经被确定为边缘，因为它们是从图像中的真实边缘中提取出来的。然而，对于弱边缘像素，将会有一些争论，因为这些像素可以从真实边缘提取也可以是因噪声或颜色变化引起的。为了获得准确的结果，应该抑制由后者引起的弱边缘。通常，由真实边缘引起的弱边缘像素将连接到强边缘像素，而噪声响应未连接。为了跟踪边缘连接，通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘。

具体的，步骤s15根据边缘图像和预设目标特征信息在二值图像中筛选连通区域，获得目标区域的方法，包括：

根据预设目标特征信息，在二值图像上删除不符合预设目标特征信息的连通区域；根据边缘图，在二值图像上删除没有边缘的连通区域。

这里，结合边缘图及二值图筛选连通区域的方法，包括：根据预设目标特征信息删除长宽不符合条件的连通区域，根据边缘图删除连通区域内没有边缘的连通区域，保留符合目标特征的连通区域。

具体的，在步骤s15根据边缘图像和预设目标特征信息在二值图像中筛选连通区域，获得目标区域的步骤后，根据所述视频图像的目标区域和上一帧视频图像的目标区域的关联关系形成航迹进行跟踪步骤前，还包括步骤：根据预设缩小倍数还原目标区域到视频图像大小。

这里，需要将连通区域坐标还原到原图坐标大小。由于图像是缩放后的连通区域筛选，将其坐标乘以缩小倍数，还原到原图大小。

具体的，步骤s16中，根据视频图像的目标区域和上一帧视频图像的目标区域的关联关系形成航迹，还可以根据相邻时间目标航迹匹配信息进行再次筛选目标区域，获得最佳目标区域且在一定时间内实现目标的跟踪。

本发明主要使用形态学操作检测目标，传统的形态学操作是基于一定形状的一系列图像操作，包括膨胀、腐蚀、二值化、开运算、闭运算、顶帽算法、黑帽算法、形态学梯度等。但传统的形态学方法不适用于天空背景下的目标检测，因此根据应用场景结合其中的形态学操作并作相应的更新算法，达到运动背景下的目标检测。

本申请为了保证算法实时性采用了形态学作为基本算法，但是由于直接的形态学操作不能适用复杂背景的目标检测，因此在识别算法中结合原图像与形态学操作图像差值进行目标的初始定位，即具体技术方案为首先对图像进行腐蚀操作，将暗区域扩大，消除孤立点，然后再用腐蚀后的图像减去灰度图，得到灰度差值较大的区域块，在灰度图像中表现为较暗区域块，得到目标区域块。优点是算法实现简单，复杂度低，能够适应各种动态环境，各种目标运动状态，实时性强。同时技术方案中还加入了目标筛选的判断机制，这样既保证了实时性，又提高了算法识别的准确度，适于广泛推广。

以上对本发明实施例所提供的一种视频图像的多目标检测跟踪方法进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。