运动物体检测方法、装置、介质及计算设备与流程

本申请涉及图像处理技术领域，尤其涉及运动物体检测方法、装置、介质及计算设备。

背景技术：

运动物体检测的目的在于检测出在连续帧图像中位置改变的物体。运动物体检测已经成为安防领域的重要检测内容。例如其是高级辅助驾驶技术和智能车技术的一项核心技术。通过检测图像中的运动物体，可以警告提醒驾驶人员危险环境的出现，这可以有效的减少驾驶人员驾车发生碰撞和行人被撞的危险。

运动物体检测的难点在于物体运动的同时，采集图像的相机自身也存在运动。在相机运动的情况下，图像背景会不断改变，图像局部的信息无法使用。当前大部分相机运动条件下的运动物体检测都是利用稠密的光流信息。但是获得稠密的光流信息会带来巨大的计算负担，无法到达实时的处理速度。还有一些方案采用背景减除法，分割，或者跟踪算法，但是背景减除法需要背景建模，背景复杂建模过程耗费时间，计算量增大；而且建模方法准确率不高。此外，也有方案从双目出发，结合立体匹配和光流信息，但是该种方法需要双目相机，成本增加，而且计算量也很大。

综上所述，需要一种新的运动物体检测方法，来降低计算量。

技术实现要素：

本申请实施例提供运动物体检测方法、装置、介质及计算设备，用以解决现有技术中存在运动物体检测的计算负担过大等的问题。

本申请实施例提供了一种运动物体检测方法，包括：

获取连续n帧图像，其中n为大于或等于3的正整数；

对所述n帧图像进行极点校正，以使所述n帧图像中的各极点相等且各极线相等；

针对所述n帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；

若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；

针对提取的每个初始背景点，确定该初始背景点在所述n帧图像中的光流是否相同；

若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。

申请另一实施例还提供一种运动物体检测装置，该装置包括：

连续图像获取模块，用于获取连续n帧图像，其中n为大于或等于3的正整数；

极点校正模块，用于对所述n帧图像进行极点校正，以使所述n帧图像中的各极点相等且各极线相等；

极线约束模块，用于针对所述n帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；

极线约束判决模块，用于若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；

光流约束模块，用于针对提取的每个初始背景点，确定该初始背景点在所述n帧图像中的光流是否相同；

光流约束判决模块，用于若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。

本申请另一实施例还提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行本申请实施例中的任一运动物体检测方法。

本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行本申请实施例中的任一运动物体检测方法。

本申请实施例中通过极线约束条件既可以提取前景点和背景点实现运动物体的检测，由于极线约束条件实现简单，计算量小，故而可以提高检测效率，降低计算负担。此外，结合光流约束条件，能够进一步提高确定前景点和背景点的准确性，提高运动物体检测的可靠性。

附图说明

图1为本申请实施例一提供的运动物体检测方法流程示意图；

图2为本申请实施例一提供的静止物体在世界坐标系下的模型示意图；

图3为本申请实施例二提供的运动物体检测装置的结构示意图；

图4为本申请实施例三提供的计算设备的结构示意图。

具体实施方式

发明人发现，在图像坐标中，相机运动，所有的像素点就运动。但是在世界坐标中，物体的位置和相机的运动是独立的。即，静止物体的位置不会改变即使相机存在运动。这意味着即使相机运动，静止物体的像素依然在极线当中。而运动物体的像素就不符合这个约束条件。

有鉴于此，本申请实施例提出了一种基于极线约束的运动物体检测方法。此外，发明人还发现，如果物体沿着极线方向运动，则运动物体也会符合极线约束条件。为了弥补这个缺陷，发明人研究发现，背景点在连续多帧之间的光流是一致的，而前景点在连续多帧之间的光流存在一定的差异。故此，本申请实施例中，在使用极线约束的前提下，对极线约束确定的背景点再次通过光流约束，提取出极线约束条件下的背景点中的前景点，从而区分出沿着极线方向运动的前景点。通过比较连续多帧之间的光流，前景点会存在差异，通过该差异可以提取出前景点作为检测出的运动物体的点。

较佳的，本申请实施例中在使用光流约束的条件下，尤其适用于相机帧率足够高的应用场景下。基于相机帧率足够高(即相机帧率大于预设帧率)，则满足背景点在连续多帧之间的光流一致的前提。

下面结合说明书附图对本申请实施例作进一步详细描述。

实施例一

参照图1，为本申请实施例一提供的运动物体检测方法的流程示意图，该方法包括以下步骤：

步骤101：获取连续n帧图像，其中n为大于或等于3的正整数。

步骤102：对所述n帧图像进行极点校正，以使所述n帧图像中的各极点相等且各极线相等。

其中，极点校正的目的是让极点在连续n帧的位置一致，这样根据前述极线约束条件，提取的前景点和背景点才有实际意义。

为了校正极点，必须计算相机自身运动，世界坐标系下的相机自身运动被投影到图像坐标系下的极线流。

点p的极线流由两个分量组成，旋转分量u^r(p)和平移分量u^t(p,d(p))，如公式(1)所示

u(p)＝u^r(p)+u^t(p,d(p))(1)

其中，d(p)是相机到像素点的距离，即图像平面上点到相机光心之间的距离。

平移分量和距离有关，沿着极线方向投影，因此主要评估计算旋转分量并依此对图像进行极点校正即可。为了能够更好的使用极线约束条件，本申请实施例中假设背景点的数目远远多于前景点，故此，为了降低前景点的数量，可以采用一定的方法来去除一些前景点，这样还可以实现降低前景点用来评估旋转分量引入的错误。

进一步的，n帧图像可以取3帧图像。则具体实施时，可以根据以下方法进行极点校正，包括以下步骤a1-a6：

步骤a1：基于sift(scale-invariantfeaturetransform，尺度不变特征变换)方法提取各帧图像的特征点。

需要说明的是，为了降低计算负担，本申请实施例采用sift方法提取特征点，当然具体实施时，也可以参照本申请实施例的原理采用其他的方法，均适用于本申请实施例。

步骤a2：针对连续3帧图像的每幅图像，基于ransac(randomsampleconsensus，随机抽样一致)方法去除各帧图像中的特征点的异常点。

ransac方法，能够以较少的计算量粗略地剔除部分前景点，故而能够减少前景点在计算旋转分量时引入的误差。当然，具体实施时，也可以参照本申请实施例的原理采用其他的方法，均适用于本申请实施例。

步骤a3：确定各帧图像中的对应特征点，其中，世界坐标系中的同一特征点在三幅图像中的投影点构成一组对应特征点。

也即，不同帧中的对应世界坐标系中的同一点的点构成对应特征点。例如，假设世界坐标中点a，在第一图像中的投影点为a1，在第二帧图像中的投影点为a2，则a1和a2构成对应点。具体实施时，可以根据现有技术确定对应点，本申请对此不作赘述。

步骤a4：根据对应特征点的图像坐标，确定3帧图像中的中间一帧图像和其上一帧图像之间的旋转分量，以及中间一帧图像与其下一帧图像之间的旋转分量。

具体实施时，可以根据以下方法确定旋转分量；

设旋转分量表达式为a＝(a1,a2,a3,a4,a5)^t；

对待计算旋转分量的两帧图像，根据对应特征点之间旋转特征相等的原理，以及以下公式(2)确定该两帧图像之间的旋转分量；

其中：

其中，u^r(p)表示特征点p的旋转特征；x、y表示特征点p的图像坐标；xc和yc是x轴和y轴的中心点。

例如，对于第n-1帧和第n帧图像，可以从这两帧图像中选取5组对应特征点，根据根据对应特征点之间旋转特征相等的原理，构建5组等式，则，根据构建的5组等式可以求解出旋转分量a。

当然具体实施时，也可以采用8点法，根据对应特征点之间旋转特征相等的原理，以及公式(2)确定该两帧图像之间的旋转分量

步骤a5：根据中间一帧图像和其上一帧图像之间的旋转分量，对该上一帧图像进行极点校正。

步骤a6：根据中间一帧图像和其下一帧图像之间的旋转分量，对该下一帧图像进行极点校正。

需要说明的是，具体实施时，步骤a5和步骤a6的执行顺序不受限。极点校正时可以采用确定出的旋转分量乘以相应图像的相机坐标来实现对相应图像的极点校正。

当然，对应n为3帧以上的情况，基于需要将n帧图像进行极点校正的原理设计校正的方案。例如，针对n帧图像的场景，第1帧图像校正到和第2帧图像的极点和极线一致，第3帧图像校正到和第2帧图像的极点和极线一致，依次类推，后一帧图像校正到和前一帧图像的极点和极线一致，从而实现连续n帧图像的极点校正。

步骤103：针对所述n帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上。

步骤104：若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点。

继续以n为3帧图像为例，具体实施时，可以根据以下方法确定初始背景点和前景点，包括以下步骤b1-b2：

步骤b1：确定所述3帧图像中的对应点，其中，世界坐标系中的同一点在三幅图像中的投影点构成一组对应点。

步骤b2：针对3帧图像的中间一帧图像的每个像素点，根据以下公式(3)确定该像素点是否位于该图像的极线上：

其中，n表示3帧图像的中间一帧图像；n-1表示第n帧图像的上一帧图像；n+1表示第n帧图像的下一帧图像；pn表示第n帧图像上的像素点p；l(p)表示像素点p是初始背景点还是前景点，其中，为0表示是初始背景点，1表示前景点；λ1是判断像素点是否位于极线上的阈值；pn-1表示第n-1帧图像中与pn对应的点；pn+1表示第n+1帧图像中与pn对应的点；ln表示第n帧图像的极线。

为便于理解，下面对采用公式(3)作为极线约束条件的原理做进一步说明：

极点校正过后，就可以通过连续3帧之间的极线约束来分开前景和背景像素。极点校正后，对于背景像素，补偿过后的背景像素点一定位于极线ln上，对于前景像素，补偿过后的前景像素点一定不位于极线ln上。该关系式可以采用公式(4)来表示：

ln(pn⁰)^tpn-1⁰＝0

ln(pn⁰)^tpn+1⁰＝0(4)

ln(pn¹)^tpn-1¹≠0

ln(pn¹)^tpn+1¹≠0

其中，0和1均表示要求对应点。

具体实施时，为了能够具有一定的容错能力(即并不一定背景点都严格在极线上，极线附近的点也可能是背景点)，所以在公式(3)中引入λ1来作为最终的极线约束条件。

极线约束无法判断沿着极线方向运动的物体，在此本申请结合光流约束来弥补这个缺陷。故此，本申请实施例中，继步骤104之后，继续执行以下步骤105-106。

步骤105：针对提取的每个初始背景点，确定该初始背景点在所述n帧图像中的光流是否相同。

步骤106：若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。

具体实施时，以连续3帧图像为例，通过比较n-1帧和n帧，n帧和n+1帧之间的光流，如果两个光流不同则为运动物体，相同则为静止物体。

在极限约束的前提条件下，本申请定义了静止物体在世界坐标系下的模型，如图2所示。图中on为第n帧中相机的位置，on-1和on+1意义类似。p为点在世界坐标系下的坐标。v为p和消失线的正交点，d为v和p的距离，zn是v和on的距离，其他z类似，mn为on和on-1的距离，其他m类似，定义f为焦距，dn为en和pn之间的距离，其他d类似。

根据相似三角形法则，可得公式(5)：

d:zn-1＝dn-1:f

d:zn＝dn:f(5)

d:zn+1＝dn+1:f

替换zn-1＝zn+mn和zn+1＝zn-mn+1公式变为d:(zn+mn)＝dn-1:f和d:(zn-mn+1)＝dn-1:f。变换后得公式(6)：

如果图像帧率满足要求，即自身运动在前后连续两帧之间是不变的，则mn＝mn+1，因此背景点的公式(6)等于1。利用公式(6)可以在极限约束的基础上将沿着极线方向的运动物体分离出来。

基于以上分析，则，针对提取的每个初始背景点，根据以下公式(7)确定该初始背景点在所述n帧图像中的光流是否相同：

其中，l'(p)表示初始背景点是前景点还是最终背景点，其中0表示前景点，1表示最终背景点；λ2表示光流约束的阈值；n表示第n帧图像；n+1表示第n+1帧图像；n-1表示第n-1帧图像；d表示同一帧图像中极点和初始背景点之间的距离。

综上所述，本申请实施例通过极线约束条件既可以提取前景点和背景点实现运动物体的检测，由于极线约束条件实现简单，计算量小，故而可以提高检测效率，降低计算负担。

此外，结合光流约束条件，能够进一步提高确定前景点和背景点的准确性，提高运动物体检测的可靠性。

实施例二

基于相同的发明构思，本申请实施例还提供一种运动物体检测装置，该装置的原理和有益效果与上述方法实施例中所述的类似，在此不再赘述。

如图3所示，为该装置的结构示意图，包括：

连续图像获取模块301，用于获取连续n帧图像，其中n为大于或等于3的正整数；

极点校正模块302，用于对所述n帧图像进行极点校正，以使所述n帧图像中的各极点相等且各极线相等；

极线约束模块303，用于针对所述n帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；

极线约束判决模块304，用于若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；

光流约束模块305，用于针对提取的每个初始背景点，确定该初始背景点在所述n帧图像中的光流是否相同；

光流约束判决模块306，用于若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。

进一步的，所述n为3。

进一步的，极线约束模块具体包括：

对应点确定单元，用于确定所述3帧图像中的对应点，其中，世界坐标系中的同一点在三幅图像中的投影点构成一组对应点；

极线判断单元，用于针对3帧图像的中间一帧图像的每个像素点，根据以下公式确定该像素点是否位于该图像的极线上：

其中，n表示3帧图像的中间一帧图像；n-1表示第n帧图像的上一帧图像；n+1表示第n帧图像的下一帧图像；pn表示第n帧图像上的像素点p；l(p)表示像素点p是初始背景点还是前景点，其中，为0表示是初始背景点，1表示前景点；λ1是判断像素点是否位于极线上的阈值；pn-1表示第n-1帧图像中与pn对应的点；pn+1表示第n+1帧图像中与pn对应的点；ln表示第n帧图像的极线。

进一步的，光流约束模块，具体用于针对提取的每个初始背景点，根据以下公式确定该初始背景点在所述n帧图像中的光流是否相同：

其中，l'(p)表示初始背景点是前景点还是最终背景点，其中0表示前景点，1表示最终背景点；λ2表示光流约束的阈值；n表示第n帧图像；n+1表示第n+1帧图像；n-1表示第n-1帧图像；d表示同一帧图像中极点和初始背景点之间的距离。

进一步的，极点校正模块，具体包括：

特征点提取单元，用于基于sift方法提取各帧图像的特征点；

异常点去除单元，用于针对连续3帧图像的每幅图像，基于ransac方法去除各帧图像中的特征点的异常点；

对应特征点确定单元，用于确定各帧图像中的对应特征点，其中，世界坐标系中的同一特征点在三幅图像中的投影点构成一组对应特征点；

旋转分量确定单元，用于根据对应特征点的图像坐标，确定3帧图像中的中间一帧图像和其上一帧图像之间的旋转分量，以及中间一帧图像与其下一帧图像之间的旋转分量；

校正单元，用于根据中间一帧图像和其上一帧图像之间的旋转分量，对该上一帧图像进行极点校正；以及，根据中间一帧图像和其下一帧图像之间的旋转分量，对该下一帧图像进行极点校正。

进一步的，旋转分量确定单元，具体用于根据以下方法确定旋转分量：

设旋转分量表达式为a＝(a1,a2,a3,a4,a5)^t；

对待计算旋转分量的两帧图像，根据对应特征点之间旋转特征相等的原理，以及以下公式确定该两帧图像之间的旋转分量；

其中：

其中，u^r(p)表示特征点p的旋转特征；x、y表示特征点p的图像坐标；xc和yc是x轴和y轴的中心点。

实施例三

本申请实施例三还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personaldigitalassistant，pda)等。如图4所示，该计算设备可以包括中央处理器(centerprocessingunit，cpu)401、存储器402、输入设备403，输出设备404等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(liquidcrystaldisplay，lcd)、阴极射线管(cathoderaytube，crt)等。

存储器可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储运动物体检测方法的程序指令。

处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：获取连续n帧图像，其中n为大于或等于3的正整数；

对所述n帧图像进行极点校正，以使所述n帧图像中的各极点相等且各极线相等；

针对所述n帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；

若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；

针对提取的每个初始背景点，确定该初始背景点在所述n帧图像中的光流是否相同；

若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。

实施例四

本申请实施例四提供了一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述运动物体检测方法的程序。

所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。