用于球机控制策略的多目标检测跟踪方法
【技术领域】
[0001]本发明涉及智能视频监控领域，特别是涉及一种用于球机控制策略的多目标检测跟踪方法。
【背景技术】
[0002]随着计算机视觉技术、计算机处理能力的提高，以及公共安全防范需求的增加，智能视频监控技术得到了快速的发展。智能视频监控主要利用机器视觉技术，主动对视频场景中的感兴趣目标进行处理、分析和理解，在不需要人为干预的情况下对场景中的目标进行检测、跟踪和识别，达到自动发现、自动跟踪和自动预警的目的。
[0003]枪机、球机协同监控技术是智能视频监控技术的主要发展方向之一。这种技术通过对高清广角枪式摄像头获得的图像序列进行自动分析，发现多个活动目标并进行跟踪，同时，利用球机跟踪策略，实时控制高清高速球式摄像头捕获枪机中对应目标的清晰视频。
[0004]传统的单独枪机或单独球机被动式监控技术已经不能满足日益增长的监控需求，现有的技术主要存在着以下缺陷:
[0005]I)针对大场景，高复杂度的枪机视频，进行多目标检测跟踪算法处理时，目标跟踪的准确性及精度比较低，导致球机控制精度较低，使得目标无法在球机的中心位置；
[0006]2)当活动目标被部分或全部遮挡时，目标ID恢复困难，当多个目标相互合并以及分离时，目标ID无法恢复；
[0007]3)多目标检测跟踪算法复杂度较高，无法满足实时控制球机的要求。
[0008]导致上述缺陷的原因如下:
[0009]I)监控场景较大，目标距离枪机较远，目标的信息量非常小；
[0010]2)场景非常复杂(人、机动车、非机动车等)，无法建立统一的模型，活动目标运动随机；
[0011]3)系统需要实时处理，受限于前端处理器性能，在满足实时性要求的前提下，无法使用算法复杂度相对较高的算法。
【发明内容】
[0012]本发明的目的就在于为了解决上述问题而提供一种用于球机控制策略的多目标检测跟踪方法。
[0013]本发明通过以下技术方案来实现上述目的:
[0014]一种用于球机控制策略的多目标检测跟踪方法，包括以下步骤:
[0015]Al:对获得的枪机视频图像数据进行预处理，首先将图像缩小，然后对缩小后的图像进行去噪处理；
[0016]A2:取出预处理后的图像，如果取得第I帧图像，则对第I帧图像进行进行背景模型初始化和多目标检测跟踪算法初始化，然后跳转至步骤Al并查找下一帧图像，如果取得第[2，N]帧图像，则继续执行步骤A3 ；
[0017]A3:对于第[2，N]帧图像进行前景点检测，并且更新背景模型；
[0018]A4:采用形态学的开操作对获得的前景点图像进行去噪处理，核尺寸大小为5x5，然后采用形态学的闭操作将距离比较近的前景点图像连到一起；
[0019]A5:联通区域分析，对前景点图像进行联通区域算法操作，将离散的前景点图像合并为联通的区域图像；
[0020]A6:计算目标特征，包括计算每个联通区域图像的面积和质心点坐标，并统计每个联通区域图像的颜色直方图，通过设置最小及最大面积阈值，过滤过大或过小的目标；
[0021]A7:计算之前帧图像与当前帧图像所有目标的特征相似性，包括面积相似性、颜色直方图相似性、重合面积比例和运动估计；
[0022]AS:多特征相似性融合，利用多特征融合算法将步骤A7中得到的四个特征相似性归一化为统一值；
[0023]A9:基于全局的最优匹配，通过归一化后的特征值，寻找之前帧图像与当前帧图像之间所有目标的最佳匹配对，并通过重合面积比例特征，对合并及分离事件进行估计，在去除分离与合并后的目标后，对剩余的目标采用匈牙利算法进行全局最优匹配；
[0024]AlO:将合并与分离事件的ID进行重新整理和分配；
[0025]All:当目标部分或者全部被遮挡后，重新找回目标ID ;
[0026]A12:状态更新，将目标的状态分为初始化状态、正常跟踪状态、丢失状态和消失状态四类，初始化状态通过目标稳定进行判定，当目标在某一时段足够稳定，则目标进行正常跟踪状态，当正常跟踪状态下的目标突然丢失，则进入丢失状态，在丢失状态下维持T秒时间内，仍然没有找回，则进入消失状态，此时删除目标ID，认为目标已经离开此场景；
[0027]A13:目标特征更新，将当前帧图像所有目标的特征更新后跳转至步骤Al。
[0028]进一步地，步骤Al中缩小后的输入图像尺寸为1080P，输出图像尺寸为D1。
[0029]进一步地，步骤Al中是采用核大小为3x3尺寸的均值滤波器对缩小后的图像进行去噪处理。
[0030]进一步地，步骤A4中的操作可以重复多次，可以根据具体的应用场景，采用不同大小的核尺寸。
[0031]进一步地，步骤A5中的联通区域算法采用8-联通区域算法，同时生成每个联通区域唯一标识的mask图像。
[0032]进一步地，相似性、颜色直方图相似性、重合面积比例和运动估计四种特征相似性的计算方法如下:
[0033]所述面积相似性:l_(AreaO/Areal)，值越小，说明面积越相似，AreaO为之前帧某个目标的面积，Areal为当前帧某个目标的面积；
[0034]所述颜色直方图相似性:计算两个直方图的巴氏距离d(Hl，H2)作为度量直方图相似度的对比标准，取值范围为[0，I]，值越小，说明两个直方图越相似；
[0035]所述重合面积比例:计算当前帧每个目标是否与之前帧每个目标有重合，如果有重合，则计算具体的重合面积与之前帧面积比例；
[0036]所述运动估计:采用最小二乘法拟合直线，通过直线方程预测目标运动在将来的第N帧图像目标的位置点。
[0037]进一步地，步骤AS中归一化的方式通过设置每个特征的权重进行，权重参数的设置采用自适应的方式获得，通过估计在某个时间段内某个特征的稳定性来动态调整其对应的权重值，某个特征越稳定，其权重值越高，否则相反，通过这种方式，可以动态的调整每个特征在全局分配的过程中所起到的作用。
[0038]进一步地，步骤AlO中提到的合并事件相对简单，新建多目标对象，同时保存每个子目标的数据关联，分离事件相对复杂，需要对目标ID进行重新分配，采用的准则如下:
[0039]B1:如果分离之前的多目标对象所包含的子目标个数小于等于当前分离出来的目标个数，则将分离之前的多目标最像所包含的所有子目标与分离出来的目标进行匹配；
[0040]B2:如果分离之前的多目标对象所包含的子目标个数大于当前分离出来的目标个数，则:如果分离出来的目标等于2，则认为其中一个目标与分离之前的多目标对象所包含的其中一个目标匹配，另外一个目标与剩余所有目标匹配，如果不等于2，则删除多个目标，重新对当前分离出的目标进行初始化。
[0041]进一步地，步骤A12中T的值介于3-5之间。
[0042]本发明的有益效果在于:
[0043]I)通过目标特征的相似性计算，以及全局最优分配准则，可以提高稳定目标跟踪的准确性；
[0044]2)通过目标关联事件的检测，建立多目标对象层，可以很好的处理分离以及合并事件，以及对发生此事件相关的目标ID重行找回，效果提升显著；
[0045]3)通过多特征融合算法，采用自适应权重调整方式，可以有效的提升相似性精