基于视频流的船只超载检测方法与流程

本发明涉及一种检测方法，尤其涉及一种基于视频流的船只超载检测方法，属于目标识别与追踪技术领域。

背景技术

智能视频监控是计算机视觉领域进来发展较快、研究较多的一个应用方向。它能够利用计算机视觉技术对采集到的视频信号进行处理、分析及理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。在目前的智能视频监控领域中，目标追踪技术是最常用的技术手段之一。所谓目标追踪，就是在视频图像的每一帧图像中确定使用者需要的运动目标的位置，并在不同帧的图像中将同一目标对应起来。

目前，我国船只载客超载，特别是农村渡口地区船只载客超载的问题日益显现，利用目标追踪技术完成对船只超载的检测，也逐步成为了目标追踪技术的主要应用方向之一。但在目标追踪技术的实际应用过程中，因为环境、光线等因素的影响，会面临较多的困难，诸如外观变形、光照变化、快速运动、背景相似干扰、平面内旋转、平面外旋转、遮挡和出视野等。尤其是将该技术应用在船只超重检测过程中时，会出现船只或乘客会被遮挡的情况，从而导致不能精确识别并跟踪。

随着技术的不断发展，目前出现了一种基于特征匹配的目标跟踪算法，使用这种基于特征匹配的目标跟踪算法，即使场景中目标出现了部分遮挡的情况，只要特征点可见，仍然可以实现持续跟踪。该目标追踪方法需要提取目标的特征，并在每一帧图像中寻找该特征；寻找的过程就是特征匹配的过程。基于特征匹配的目标追踪算法，需要采用图像特征点作为运动目标的描述特征，特征点的提取算法大致包括：scaleinvariantfeaturetransform(sift)、speededuprobustfeatures(surf)、featuresfromacceleratedsegmenttest(fast)、orientedbrief(orb)等。

其中，sift改进了以往特征点提取不稳定，特征不足等弱点，并且对旋转平移缩放是具有鲁棒性的。surf算法可以看做是sift算法的重要改进，解决了sift计算复杂度、耗时长的缺点；但surf算法在光照和形变方面的鲁棒性要逊色于sift。fast是近年来最成功的特征点提取算法之一，orb算法等其他算法都可以看作是基于fast算法发展而来。

也正是因为fast算法优异的实用特性，如何充分利用这种算法，更好地解决将目标追踪技术应用于船只超重检测过程中这一业界难题，也就成为了业内技术人员所共同需要解决的问题之一。

技术实现要素：

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于视频流的船只超载检测方法。

具体而言，包括如下步骤：

s1、对摄像区域进行运动目标检测，选中目标船只，初始化信号量shipisnull＝true；

s2、提取目标船只的fast特征点集合，采用基于特征点匹配的目标跟踪算法得到目标追踪结果；

s3、根据目标追踪结果判断目标船只的运行方向为靠岸或离岸；

s4、依据目标船只的运行方向进行相应操作，

若目标船只的运动方向为靠岸，则进入s5步骤，

若目标船只的运动方向为离岸，则等待其他靠岸船只进入摄像区域，并返回s1步骤，重新进行运动目标检测及目标船只选定；

s5、判断信号量shipisnull＝true的真假，并依据判断结果进行相应操作，

若信号量shipisnull＝true为真，则初始化目标船只上的人数为0，并设置信号量shipisnull＝false，

若信号量shipisnull＝true为假，则直接从服务器获取目标船只上的现有乘客人数；

s6、当目标船只到达码头、乘客开始上下船时，再次进行运动目标检测，选中目标乘客，判断目标乘客的运动方向，并依据目标乘客的运动方向，对目标船只上的人数进行相应增减，更新目标船只上的人数；

s7、在目标船只重新启动前，检查目标船只是否超载，

若目标船只上人数超过限载人数，则发出警告声，提示超员乘客下船，并根据下船乘客数更新目标船只上的乘客人数，

若目标船只上人数未超过限载人数，则将此时目标船只上的人数返回给服务器。

优选地，s1中所述对摄像区域进行运动目标检测，具体包括如下步骤：

s11、预处理，对每一帧图像进行去噪和亮度归一化处理；

s12、背景建模，采用均值滤波法自动初始化背景，并不断实时更新背景；

s13、目标检测，在背景减法商务基础上采用基于二维交叉熵的阈值分割方法获取运动目标；

s14、后处理，运用涂抹和连通区域判别处理去除运动目标检测结果中的噪声点和目标内部的空洞区域。

3、根据权利要求1所述的基于视频流的船只超载检测方法，其特征在于，s2中所述提取目标船只的fast特征点集合，具体包括如下步骤：

s21、选定图像中的像素点，并以此像素点为圆心，选定一个半径为r的圆形领域模板x；

s22、判断选定的像素点是否为fast特征点，判断公式为，

其中，p为要进行计算的像素点，x为圆形领域模板，l(x)和l(p)分别为x和p的像素值，εd为颜色差值的阈值，

当n大于阈值n0且圆形领域模板上的n个点中至少有n0个点是连续无中断的，则认为p为fast特征点；

s23、重复s21步骤、s22步骤，直至完成fast特征点集合的提取。

优选地，所述r＝3，n0＝12。

优选地，s6中所述选中目标乘客，判断目标乘客的运动方向，并依据目标乘客的运动方向，对目标船只上的人数进行相应增减，包括如下步骤：

选中目标乘客，提取目标乘客的特征点，采用基于特征点匹配的目标跟踪算法得到目标乘客的运动方向是上船还是下船，

若目标乘客的运动方向是上船，则将目标船只上的人数加一，

若目标乘客的运动方向是下船，则将目标船只上的人数减一。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明基于目标识别和追踪算法，在实时视频流中选取相隔一段时间的两帧图像，对这两帧图像进行预处理、提取特征并进行识别，充分地保证了识别过程的精确性，为船只超载检测提供了准确的判断依据。同时本发明能够判断船只是否是当天首次使用，根据判断结果的不同，船上人数的获取方式以及超载检测的过程也不尽相同，从而确保了本发明在面对各类不同情况时的检测处理效果，保证了本发明的实用性。此外，本发明的检测方法除了能够解决各地区渡口船只超载的问题外，还可以以此为依据进行拓展延伸，运用于交通领域内的其他检测中，具有十分广阔的应用前景。

综上所述，本发明提出了一种基于视频流的船只超载检测方法，具有很高的使用及推广价值。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1是本发明流程图；

图2是本发明中fast特征点示意图。

具体实施方式

如图1所示，本发明揭示了一种基于视频流的船只超载检测方法。

具体而言，包括如下步骤：

s1、对摄像区域进行运动目标检测，选中目标船只，初始化信号量shipisnull＝true。

s2、提取目标船只的fast特征点集合，采用基于特征点匹配的目标跟踪算法得到目标追踪结果。

s3、根据目标追踪结果判断目标船只的运行方向为靠岸或离岸。

s4、依据目标船只的运行方向进行相应操作，

若目标船只的运动方向为靠岸，则进入s5步骤，

若目标船只的运动方向为离岸，则等待其他靠岸船只进入摄像区域，并返回s1步骤，重新进行运动目标检测及目标船只选定。

s5、判断信号量shipisnull＝true的真假，并依据判断结果进行相应操作，

若信号量shipisnull＝true为真，则初始化目标船只上的人数为0，并设置信号量shipisnull＝false，

若信号量shipisnull＝true为假，则直接从服务器获取目标船只上的现有乘客人数。

此处判断目标船只是否空的必要性在于目标船只前一天晚上会选择在码头停泊，于是第二天船只开始使用时船上是没有乘客的，因此船只为空时可以初始化船上乘客为零。

s6、当目标船只到达码头、乘客开始上下船时，再次进行运动目标检测，选中目标乘客，判断目标乘客的运动方向，并依据目标乘客的运动方向，对目标船只上的人数进行相应增减，更新目标船只上的人数。

s7、在目标船只重新启动前，检查目标船只是否超载，

若目标船只上人数超过限载人数，则发出警告声，提示超员乘客下船，并根据下船乘客数更新目标船只上的乘客人数，

若目标船只上人数未超过限载人数，则将此时目标船只上的人数返回给服务器。

s1中所述对摄像区域进行运动目标检测，即采用背景减法对运动目标进行检测，检测过程主要包括预处理、背景建模、目标检测和后处理四个步骤。具体包括：

s11、预处理，对每一帧图像进行去噪和亮度归一化处理，以抑制光照突变和噪声的影响。

s12、背景建模，采用改进的均值滤波法自动初始化背景，并不断实时更新背景，以克服环境光照变化所产生的影响。

s13、目标检测，在背景减法商务基础上采用基于二维交叉熵的阈值分割方法获取运动目标。

s14、后处理，运用涂抹和连通区域判别处理去除运动目标检测结果中的噪声点和目标内部的空洞区域。

s2中所述提取目标船只的fast特征点集合，具体包括如下步骤：

s21、选定图像中的像素点，并以此像素点为圆心，选定一个半径为r的圆形领域模板x，在本实施例中，所述r＝3。

s22、判断选定的像素点是否为fast特征点，fast特征点是指在该像素点的周围邻域内，有足够多的像素点与该点的颜色差值较大，如图2中的a、b两点，判断公式为，

其中，p为要进行计算的像素点，x为圆形领域模板，l(x)和l(p)分别为x和p的像素值，εd为颜色差值的阈值，

当n大于阈值n0且圆形领域模板上的n个点中至少有n0个点是连续无中断的，则认为p为fast特征点。

一般而言，当r＝3时，n0＝12。为了提高fast特征点的检测效率，还可以采用附件的加速技巧，首先判断候选点的圆周上被90°分割的4个顶点处的像素是否满足条件，参见图2中的1,5,9,13这4个点。若这4个点中至少有3个点满足条件，即与候选点的像素值相差大于设定的阈值，则继续判断圆周上其他的点。否则就认为该候选点不是fast特征点。

s23、重复s21步骤、s22步骤，直至完成fast特征点集合的提取。

s6中所述选中目标乘客，判断目标乘客的运动方向，并依据目标乘客的运动方向，对目标船只上的人数进行相应增减，包括如下步骤：

选中目标乘客，提取目标乘客的特征点，采用基于特征点匹配的目标跟踪算法得到目标乘客的运动方向是上船还是下船，

若目标乘客的运动方向是上船，则将目标船只上的人数加一，

若目标乘客的运动方向是下船，则将目标船只上的人数减一。

需要补充说明的是，考虑到实时性，选用fast特征点来进行船只追踪和行人追踪，在算法的处理过程中，根据上一帧的跟踪结果确定当前帧中目标的搜索区域，再根据以上的描述的方法提取搜索区域的fast特征点，然后将当前搜索区域的fast特征点与上一帧目标中的fast特征点进行匹配。

匹配方法如下：计算出要匹配的两个fast特征点集合中每一个特征点在另一个特征点集合中的最近邻和次近邻，若特征点和最近邻之间的距离与其到次近邻的距离之间的比值小于一定的阈值时，就认为最近邻是样本的一个初始匹配。

通过运动目标检测算法选中要跟踪的目标之后，可以获得该目标的外接矩形框r1,

采用上述的方法提取目标的fast特征点集合o1，通过上述两步，完成算法的初始化工作。在对目标进行跟踪的过程中，假设当前获取的视频图像为ii帧，第ii-1帧图像中获得的目标外接矩形框为ri-1,目标的fast特征点集合为oi-1,由于两帧之间的时间间隔有限，目标的移动范围也是小距离的，对ri-1进行适当放大可以获得ii中的目标搜索区域，在搜索区域中提取fast特征点集合o，o与oi-1进行匹配，获得匹配点集合对mi-1,mi，则ii与ii-1帧之间目标的位移可以通过下式估计出：

δp＝pi-pi-1，

其中，pi,pi-1分别是mi和mi-1的垂心。目标在运动过程中也时常会出现尺度和旋转变化，

可以根据以下两个公式计算出目标在ii-1与ii之间的尺度和旋转变化：

其中，ai和aj是mi中任意两个点，bi和bj是mi-1中分别与ai，aj对应的两个点，s为估计出的目标尺度缩放因子，θ为从第i-1帧到i帧发生旋转的旋转角度，r为旋转矩阵，θ的计算方法如下：

估算出目标的位移、尺度和旋转变化之后，就可以计算出ii+1中的目标。

vi＝srvi-1+δp，

其中的vi-1是ri-1顶点，根据vi可以获得ii帧中目标的外接矩形框。当mi中特征点个数小于一定阈值时，选取o中位于ri中的特征点添加到mi中，获得ii帧中目标的特征点集合oi。

本发明基于目标识别和追踪算法，在实时视频流中选取相隔一段时间的两帧图像，对这两帧图像进行预处理、提取特征并进行识别，充分地保证了识别过程的精确性，为船只超载检测提供了准确的判断依据。同时本发明能够判断船只是否是当天首次使用，根据判断结果的不同，船上人数的获取方式以及超载检测的过程也不尽相同，从而确保了本发明在面对各类不同情况时的检测处理效果，保证了本发明的实用性。此外，本发明的检测方法除了能够解决各地区渡口船只超载的问题外，还可以以此为依据进行拓展延伸，运用于交通领域内的其他检测中，具有十分广阔的应用前景。

综上所述，本发明提出了一种基于视频流的船只超载检测方法，具有很高的使用及推广价值。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。