一种相机移动条件下高精度检测运动目标的方法与流程

本发明涉及移动机器人技术领域，特别是涉及一种相机移动条件下高精度检测运动目标的方法。

背景技术：

对工作环境内动态障碍物的检测是很多移动机器人环境感知必须要完成的任务。如，无人车需要感知其行驶范围内运动目标，以为无人车决策和路径规划提供依据；商场导购机器人需要知道其工作范围内运动目标，这样机器人才能有效的避开障碍物，避免事故发生。这些问题都可归纳为相机移动条件下运动目标检测问题，因此该问题是移动机器人领域环境感知的基础问题。

需要说明的是，对运动目标的检测，现有的主流技术有采用激光雷达和视觉传感器的方法。激光雷达具有较高的探测精度，但是价格昂贵。视觉传感器价格便宜、体积小、包含信息丰富而受到越来越多研发机构的重视。本申请主要是针对纯视觉条件下运动目标检测。

现有技术的解决方案有如下三种：

(1)背景补偿差分法

背景补偿差分法的核心思想是将动态背景问题转化为静态背景问题，如此可直接利用相机静止条件下(静态背景)下各种运动目标检测方法。将动态背景问题转化为静态背景问题的关键为“背景补偿”。当相机运动时，相邻两帧图像的背景将发生运动，“背景补偿”的目的就是计算出背景的运动模型，借助该模型，将当前帧背景反推回运动前，以此得到估计的静态背景。计算背景运动参数首先要建立恰当的静止背景运动参数模型(全局运动)。根据全局运动参数模型的不同，可分为基于基础矩阵的方法、基于单应矩阵的方法、基于仿射变换的方法，以及基于混合几何模型的方法。

不管是单应约束，基本矩阵约束还是仿射变换约束，都有其特定的适用范围。单应矩阵仅适合于平面场景、基本矩阵仅能将一幅图像的像点映射到另一图像的一条线上、仿射变换仅仅是两幅图像的近似约束。因此，背景补偿差分法检测运动目标时存在原理上不可克服的缺陷。

(2)光流特征分类法

光流特征分类法认为背景运动产生的光流与目标运动产生的光流之间存在差异，故而可以根据这两类光流的差异性，找出运动目标。比如，兰红等认为场景中绝大部分背景的运动状态是一致并且是主要的。他们据此设计了基于光流的动态目标检测方法。首先，利用lk光流法得到相邻两幅图像的特征点光流，并同时创建光流长度，角度的状态向量。通过建立整幅图像光流长度、角度的直方图，去除直方图中最密集区域对应的特征点，进而初步去除背景。然后利用中心迭代法去除不属于目标运动区域的噪声特征点；最后，通过前n帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。崔智高等认为运动目标内部和场景背景的光流值大小和方向趋于一致，仅在目标与背景的边界处存在较大的差异。利用该性质，他们首先对目标边界进行定位。然后通过点在多边形内部原理获得边界内部的稀疏像素点，最后以超像素为节点，利用混合高斯模型拟合的表观信息和超像素的时空邻域关系构建马尔可夫随机场模型的能量函数，并通过使目标函数能量最小化得到最终的运动目标检测结果。

基于光流特征分类法的运动目标检测，其核心点是运动目标产生的光流在整体混合光流中存在可辨识。这在一些特定的场景下是可以实现的，比如无人车向前直行，背景的光流具有固定的特征，此时容易对背景光流特性进行建模；但是在车辆转弯时，背景光流和转弯大小、背景物结构都有很大关系，模型很难建立。因此光流特征分类法适应性有限。

(3)背景光流补偿差分法

该类方法一般分为三步。第一步：计算相机自运动参数。第二步：计算背景运动产生的光流场。第三步：从运动目标光流场中分割出运动目标。

该方法目前存在的问题有：基于背景光流补偿差分法运动目标检测法中，由于采用全局视差、光流来计算整幅图像的运动目标光流场，当全局运动目标光流场中某些区域光流计算误差较大时，就会导致运动目标分割误差较大，进而导致运动目标的误判。当前，视差计算、光流计算在低纹理区域、目标相互遮挡区域、目标发生大位移时，计算精度都会较低，属于行业内公认挑战性问题。因此，单一的背景光流补偿差分法存在不可避免的漏检和误检。

技术实现要素：

根据本发明实施例提供的方案解决的技术问题是相机移动条件下运动目标检测精度低。

根据本发明实施例提供的一种相机移动条件下高精度检测运动目标的方法，包括：

在移动机器人移动期间，设置在所述移动机器人上的双目立体相机通过采集当前的场景图像，得到当前的第t-1帧图像和t帧图像；

利用改进后的背景光流补偿差分法，计算出所述第t-1帧图像和t帧图像中的包含m个候选运动目标的第一候选运动目标集合；

采用基于yolov3的行人车辆检测算法计算出所述第t帧图像中的包含n个候选运动目标的第二候选运动目标集合；

根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合；

利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合。

优选地，所述第t-1帧图像包括第t-1帧左图像和第t-1帧右图像；所述第t帧图像包括第t帧左图像和第t帧右图像。

优选地，所述改进后的背景光流补偿差分法是指融入sift匹配点筛选策略及动态阈值分割策略的背景光流补偿差分法；

其中，所述sift匹配点筛选策略包括：

根据所述四幅图像，计算出多个sift匹配点；

计算第i个sift匹配点的视差di；

根据所述第i个sift匹配点的视差di，计算第i个sift点的误差指标因子indei，

当indei<1，则将当前第i个sift点作为可用于计算相机自运动参数，并进行保存；

其中，所述动态阈值分割策略包括：

计算残差流的马氏距离：和χ²分布在的概率值其中σmoof是残差流的协方差矩阵；

根据所述χ²分布在的概率值，计算

若r(x,y)≥ε，则将坐标为(x,y)的像素点作为运动像素，否则，将坐标为(x,y)的像素点作为静止像素；

其中，所述ε的确定方法如下：

令表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值。

优选地，所述根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合包括：

根据所述第一候选运动目标集合和所述第二候选运动目标集合，选取出所述第一候选运动目标集合与所述第二候选运动目标集合施加多视图几何约束，得到施加多视图几何约束后的运动目标集合；

通过对所述施加多视图几何约束后的运动目标集合进行求交集处理，得到交集运动目标集合，并将所述交集运动目标集合作为初始可信运动目标集合；

所述多视图几何约束包括：

在已知上sift特征匹配点对和相机自运动参数(r,t)已知的条件下，根据所述上sift特征匹配点对计算t-1时刻左右像点对应的物点坐标pt-1；

根据所述物点坐标pt-1和所述相机自运动参数(r,t)，计算t时刻物点坐标pt；

将所述t时刻物点坐标pt反投影到上，记为若则表明四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。

优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合包括：

根据所述第一候选运动目标集合和所述初始可信运动目标集合，得到所述第一候选运动目标集合中的第一剩余目标集合；

通过分别对所述第一剩余目标集合中每个第一剩余目标进行分析处理，判断所述第一剩余目标是否为可信运动目标；

当判断所述第一剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。

优选地，所述通过分别对所述第一剩余目标集合中每个剩余目标进行分析处理，判断所述剩余目标是否为可信运动目标包括：

根据每个所述第一剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中；

当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第一剩余目标且满足高阈值运动目标光流约束时，则判断所述第一剩余目标为可信运动目标，否则，则判断所述第一剩余目标为伪运动目标。

所述高阈值运动目标光流约束指对候选运动目标ω，当所述候选运动目标包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该候选运动目标具有较强的运动可能性。

优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信目标集合，得到可信运动目标集合包括：

利用所述第二候选运动目标集合和所述初始可信目标集合，得到所述第二候选运动目标集合中的第二剩余目标集合；

通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标；

当判断所述第二剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。

优选地，所述通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标包括：

根据每个所述第二剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中是否包含所述第二剩余目标；

当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第二剩余目标且局部满足运动目标光流约束时，则判断所述第二剩余目标为可信运动目标，否则，则判断所述第二剩余目标为伪运动目标。

所述运动目标光流约束指在yolov3检测的车辆行人区域s2内，运动目标r(x,y)超过设定阈值的区域范围s1，若则将区域s2视为为运动目标区域。

优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合：

将所述初始可信运动目标集合添加到所述可信运动目标集合。

根据本发明实施例提供的方案，提出融合多种视觉检测方法的高精度运动目标检测。其有益效果就是能大大提高运动目标检测的精度，降低传统方法的误检率和漏检率。我们以kitti数据库中的数据为样本进行测试，所提出的方法较传统的背景光流补偿差分法检测准确率提高了19.36％。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于理解本发明，并不构成对本发明的不当限定。

在附图中：

图1是本发明实施例提供的一种相机移动条件下高精度检测运动目标的方法流程图；

图2是本发明实施例提供的相机移动条件下高精度检测运动目标的示意图；

图3是本发明实施例提供的相邻帧双目图像及坐标系；

图4是本发明实施例提供的局部运动目标光流约束示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是本发明实施例提供的一种相机移动条件下高精度检测运动目标的方法流程图，如图1所示，包括：

步骤1：在移动机器人移动期间，设置在所述移动机器人上的双目立体相机通过采集当前的场景图像，得到当前的第t-1帧图像和t帧图像；

步骤2：利用改进后的背景光流补偿差分法，计算出所述第t-1帧图像和t帧图像中的包含m个候选运动目标的第一候选运动目标集合；

步骤3：采用基于yolov3的行人车辆检测算法计算出所述第t帧图像中的包含n个候选运动目标的第二候选运动目标集合；

步骤4：根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合；

步骤5：利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合。

优选地，所述第t-1帧图像包括第t-1帧左图像和第t-1帧右图像；所述第t帧图像包括第t帧左图像和第t帧右图像。

优选地，所述改进后的背景光流补偿差分法是指融入sift匹配点筛选策略及动态阈值分割策略的背景光流补偿差分法；

其中，所述sift匹配点筛选策略包括：

根据所述四幅图像，计算出多个sift匹配点；

计算第i个sift匹配点的视差di；

根据所述第i个sift匹配点的视差di，计算第i个sift点的误差指标因子indei，

当indei<1，则将当前第i个sift点作为可用于计算相机自运动参数，并进行保存；

其中，所述动态阈值分割策略包括：

计算残差流的马氏距离：和χ²分布在的概率值其中σmoof是残差流的协方差矩阵；

根据所述χ²分布在的概率值，计算

若r(x,y)≥ε，则将坐标为(x,y)的像素点作为运动像素，否则，将坐标为(x,y)的像素点作为静止像素；

其中，所述ε的确定方法如下：

令表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值。

优选地，所述根据所述第一候选运动目标集合和所述第二候选运动目标集合，确定初始可信运动目标集合包括：

根据所述第一候选运动目标集合和所述第二候选运动目标集合，选取出所述第一候选运动目标集合与所述第二候选运动目标集合施加多视图几何约束，得到施加多视图几何约束后的运动目标集合；

通过对所述施加多视图几何约束后的运动目标集合进行求交集处理，得到交集运动目标集合，并将所述交集运动目标集合作为初始可信运动目标集合；

所述多视图几何约束包括：

在上sift特征匹配点对和相机自运动参数(r,t)已知的条件下，根据所述上sift特征匹配点对计算t-1时刻左右像点对应的物点坐标pt-1；

根据所述物点坐标pt-1和所述相机自运动参数(r,t)，计算t时刻物点坐标pt；

将所述t时刻物点坐标pt反投影到上，记为若则表明四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。

优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合包括：

根据所述第一候选运动目标集合和所述初始可信运动目标集合，得到所述第一候选运动目标集合中的第一剩余目标集合；

通过分别对所述第一剩余目标集合中每个第一剩余目标进行分析处理，判断所述第一剩余目标是否为可信运动目标；

当判断所述第一剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。

优选地，所述通过分别对所述第一剩余目标集合中每个剩余目标进行分析处理，判断所述剩余目标是否为可信运动目标包括：

根据每个所述第一剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中；

当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第一剩余目标且满足高阈值运动目标光流约束时，则判断所述第一剩余目标为可信运动目标，否则，则判断所述第一剩余目标为伪运动目标。

所述高阈值运动目标光流约束指对候选运动目标ω，当所述候选运动目标包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该候选运动目标具有较强的运动可能性。

优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信目标集合，得到可信运动目标集合包括：

利用所述第二候选运动目标集合和所述初始可信目标集合，得到所述第二候选运动目标集合中的第二剩余目标集合；

通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标；

当判断所述第二剩余目标为可信运动目标时，将其添加到所述可信运动目标集合。

优选地，所述通过分别对所述第二剩余目标集合中每个第二剩余目标进行分析处理，判断所述第二剩余目标是否为可信运动目标包括：

根据每个所述第二剩余目标，反跟踪至第t-1帧图像上的可信运动目标集合中是否包含所述第二剩余目标；

当反跟踪至第t-1帧图像上的可信运动目标集合中包含所述第二剩余目标且局部满足运动目标光流约束时，则判断所述第二剩余目标为可信运动目标，否则，则判断所述第二剩余目标为伪运动目标。

所述运动目标光流约束指在yolov3检测的车辆行人区域s2内，运动目标r(x,y)超过设定阈值的区域范围s1，若则将区域s2视为运动目标区域。

优选地，所述利用所述第一候选运动目标集合、所述第二候选运动目标集合以及所述初始可信运动目标集合，得到可信运动目标集合：

将所述初始可信运动目标集合添加到所述可信运动目标集合。

本发明实施例在原有背景光流补偿差分法的基础上，提出了两条措施，能提高原有方法对运动目标的检测精度。措施1：在计算相机自运动参数时，提出特征匹配点筛选策略。通过该策略，去除对自运动参数计算误差影响较大的特征匹配点，提高相机自运动参数的精度；措施2：在由残差流分割运动区域时，提出了一种动态阈值分割方法；解决了用融合方法实现场景运动目标检测系统中融合源的选择问题。在融合源上采用了背景光流补偿差分法、yolov3车辆行人检测法、多视图几何约束、运动目标时空连续性约束、高阈值光流约束、局部光流约束。解决了融合源的融合策略问题。

图2是本发明实施例提供的相机移动条件下高精度检测运动目标的示意图，如图2所示，本方案采用提前标定好的双目立体相机，双目立体相机一般架设于移动自主体的前方。

对应要解决的总体问题，先用背景光流补偿差分法计算出候选运动目标。将背景光流补偿差分法检测结果(bofcd-backgroundopticalflowcompensationdifference)和yolov3行人车辆检测结果(pvd-pedestrianandvehicledetection)先进行多视图几何约束，去除伪运动目标；然后两者求交集，交集中的元素视为可信运动目标。将bofcd结果以及pvd结果视为两个集合，两者求交后，在各自的集合中可能还存在交集以外的元素，本文称之为剩余元素。(1)对于bofcd中剩余的元素，其可能的情况有：运动的行人或者车辆、场景中其他目标。对于行人和车辆，是由于yolov3漏检产生，对该目标的有效处理可以弥补yolov3漏检对运动目标漏检的影响。此时，将剩余目标反跟踪至前一帧，如在前一帧中，该目标为运动目标，且该目标满足高阈值光流约束，则认为该目标在当前帧中仍为运动目标。如果在前一帧中该目标不是运动目标，则该目标被判为伪运动目标，需要被去除；(2)对于pvd中剩余的元素，主要是光流马氏距离较小的车辆以及行人。由于经过了多视图几何约束，这部分剩余目标具有极大的可能性是运动目标。为了更进一步的确认，仍将该目标反跟踪至前帧图像，若该目标在前帧图像上为运动目标，且该目标局部的光流值满足设定的运动目标判别要求，则将其视为可信的运动目标。具体步骤如下：

第一步：输入第t，t+1帧图像，t初始值为0。

第二步：采用背景光流补偿法计算候选运动目标，记为ωc表示目标的集合，共包含了m个目标。

第三步：对第t帧图像，采用基于yolov3的行人车辆检测算法，得到车辆行人区域ω′c表示车辆行人目标集合，共包含了n个目标。

第四步：计算ωr＝ωc∩ωc′，ωr被判为可信运动目标区域。同时计算ω1＝ωc-ωr，以及ω2＝ω′c-ωr。当t>1时，执行第五步，反之t＝t+1，返回第一步。

第五步：对ω1中的每个目标，反跟踪至第t-1帧图像上，若反追踪目标为运动目标、且满足高阈值运动目标光流约束，则认为该目标为运动目标，加入可信运动目标集合。反之，被视为伪运动目标，去除。

第六步：对ω2中的每个目标，反跟踪至第t-1帧图像上，若反追踪目标为运动目标，且局部满足运动目标光流约束，则被视为运动目标，加入可信运动目标集合。t＝t+1，返回第一步。

下面对每个步骤中采用的技术进行具体阐述。

1、背景光流补偿差分法检测运动目标

具体步骤如下：

第一步：计算混合光流

在本发明中，混合光流指由左相机在相邻两时刻采集图像所计算的光流场，记为fmix。

第二步：计算运动背景光流

双目相机刚性连接，架设于自主移动体(无人车、移动机器人等)前方，自主移动体移动过程中，实时采集周围场景图像。令t-1，t时刻，左右相机采集图像分别为如图3所示。在t-1时刻，以左相机坐标系为t-1时刻世界坐标系ot-1xt-1yt-1zt-1；在t时刻，仍以左相机坐标系为t时刻世界坐标系otxtytzt，坐标系ot-1xt-1yt-1zt-1和otxtytzt之间的转换关系为r和t，r和t即为相机自运动参数。其中，含有3个独立欧拉角变量，t＝[txtytz]，含3个变量。

相机自运动参数计算，需要大于3对的特征匹配点作为输入，本发明采用sift(scale-invariantfeaturetransform)特征匹配点。在本发明中，并非上所有的sift匹配点都参与相机自运动参数的计算。首先要排除那些像点误差对三维重建后物点误差影响较大的sift匹配点，用剩余的sift匹配点参与相机自运动参数的计算，以保证自运动参数的计算精度。

sift匹配点筛选，包括：

步骤2.1、对四幅图像，计算sift匹配点，假定为n1个。

步骤2.2、计算第i个sift匹配点的视差di。

步骤2.3、计算第i个sift点的误差指标因子indei，

步骤2.4、如果indei<1，则表明当前第i个sift点当像点误差较小时，其物点误差也较小，可用于计算相机自运动参数，存入变量s中。

步骤2.5、重复步骤2)～4)，将所有满足用于参与相机自运动参数的sift匹配点存入s中。

自运动参数的计算

先设r、t参数初始值为0。

1)设s中共有n2对sift像点(xt-1,xt)，其中，表示t-1和t时刻左右图像对应的sift匹配点对。

2)将xt-1代入式(1)计算t-1时刻同名像点对应的物点pt-1，其中d表示两个同名点的视差。pt-1所在的坐标系为ot-1xt-1yt-1zt-1。

3)利用式子(2)求得pt-1在坐标系otxtytzt下的物点坐标pt。

pt＝rpt-1+t(2)

4)根据式(1)的反解，计算pt在上的反投影像点

5)以式(3)所示为目标函数，采用高斯牛顿迭代法求解。

第三步：残差流计算

令和之间的混合光流记为fmix，和之间运动背景光流记为fmbof，则运动目标光流fmoof＝(umoof，vmoof)的计算公式如下：

fmoof＝fmix-fmbof

第四步：从残差流中分离出运动区域

残差流的马氏距离为：其中σmoof是残差流的协方差矩阵。令表示χ²分布在的概率值，若r(x,y)≥ε，则表示坐标为(x,y)的像素点为运动像素，反之为静止像素。ε的确定方法如下。令表示t时刻图像视差的均值，d(x,y)表示坐标为(x,y)处的视差值。

2.yolov3车辆行人检测

本发明中，采用yolov3对车辆行人进行检测。

2.1多视图几何约束

2.1.1用多视图集合约束判断单个匹配点的运动属性

给定上sift特征匹配点对相机自运动参数(r,t)的条件下，单个特征点运动属性的具体的判定方法如下：

1)通过式(4)计算t-1时刻左右像点对应的物点坐标pt-1。

2)根据相机自运动参数计算t时刻物点坐标

pt＝rpt-1+t(5)

3)将pt反投影到上，记为pt′^l、pt′^r。若则表明四个像点满足多视图几何约束，此四个同名像点位于静止目标表面。本发明ε设置为1pixel。

2.1.2用特征点运动目标属性估计区域的运动属性

所需变量定义如下：

ω：候选运动目标。

n1：ω区域内存在特征匹配点的个数。

n2：ω区域内满足多视几何约束点的个数，即静态点的个数。

伪运动目标判别准则如下：

1)若目标区域ω内n2＝0；则ω为动态目标。

2)如果运动区域内匹配点个数很少，n2<3或者n1<3，则该区域为运动目标区域。

3)若n2≥3，定义若r<ε，则为动态目标；反之为静态目标。ε为经验阈值，在发明中取为0.3。

3、前帧可信运动目标约束

假定当前帧为第t帧，候选运动目标为的大小为w×h，在第t帧图像上的中心坐标为(xc,yc)；则在第t-1帧上的搜索区域为以(xc,yc)为中心，2w×2h区域内进行跟踪搜索。反跟踪的实质就是在第t帧图像上获取目标模板，在第t-1帧上计算出模板所在的位置。如果该位置是运动区域，则认为目标在第t帧上也是运动目标。

具体步骤如下：

步骤一：在上截取模板图像temp，表示截取上从yc-h行到yc+h行，xc-w列到xc+w列的子图像。

步骤二：在上计算temp的匹配区域①计算temp的hog特征ftemp；②在上，以(xc,yc)为中心，2w×2h区域范围内搜索确定各候选匹配区域，搜索步长step_x＝w/4；stepy＝h/4；③计算各候选匹配区域的hog特征fcan。④计算ftemp和所有fcan的欧式距离，若欧式距离超过设定的阈值(阈值一般为经验值)；则认为对应的区域为模板temp在上对应的区域，令为集合

步骤三：如果中含有元素在上被判为是运动区域，则认为该目标在上仍为运动目标，即在第t帧上被判为运动目标。

4、高阈值运动目标光流约束

高阈值光流约束指，对候选运动目标ω，假定其包含的像素个数为n个，则该n个像素的r(x,y)超过之前设定阈值x％的个数大于n/2，即表明该目标具有较强的运动可能性。在本发明中，x＝10。

5、局部运动目标光流约束

假定yolov3检测的车辆行人区域如图4中所示，在该区域内，运动目标r(x,y)超过设定阈值的范围的面积为s1，车辆行人区域面积为s2；若则认为车辆行人区域为运动目标区域。

本发明提出了融合背景光流补偿差分法、yolov3车辆行人检测法、多视图几何约束、运动目标时空连续性约束、高阈值光流约束、局部光流约束的移动条件下运动目标检测总体方案。提出了详细的融合策略。将背景光流补偿差分法(bofcd)检测结果和yolov3行人车辆(pvd)检测结果先进行多视图几何约束，去除伪运动目标；然后两者求交集，交集中的元素视为可信运动目标。将bofcd结果以及pvd结果视为两个集合，两者求交后，在各自的集合中可能还存在交集以外的元素，本文称之为剩余元素。对于bofcd中剩余的元素，反跟踪至前一帧，如在前一帧中该目标为运动目标，且该目标在本帧中满足高阈值光流约束，则在本帧中被视为运动目标，加入可信运动目标集合中；反之被视为伪运动目标，需要去除。对于pvd中剩余的元素，反跟踪至前帧图像，若该目标在前帧图像上为运动目标，且该目标局部的光流值满足设定的运动目标判别要求，则将其视为可信的运动目标。

根据本发明实施例提供的方案，能大大提高运动目标检测的精度，降低传统方法的误检率和漏检率。以kitti数据库中的数据为样本进行测试，所提出的方法较传统的背景光流补偿差分法检测准确率提高了19.36％。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。