车辆追踪方法和装置与流程

文档序号:11063669阅读:456来源:国知局
车辆追踪方法和装置与制造工艺

本发明涉及车辆安全技术领域,特别是涉及一种车辆追踪方法和装置。



背景技术:

目前在基于计算机视觉的车辆识别领域,一般需要检测到车辆,然后对检测到的车辆持续追踪,直至离开视野。实现流程如图1所示,先进行车辆检测,然后基于检测到的初始车辆不断进行车辆追踪,如果车辆追踪失败,则结束车辆追踪。

目前的一种车辆追踪方法,在检测到车辆后将检测结果作为初始车辆进行追踪,后续追踪过程脱离检测结果的监督。然而目前的车辆追踪方法虽然计算量小能够达到实时性的要求,但长时间的追踪会导致追踪的车辆位置与车辆的实际位置逐渐发生偏离,追踪的准确性较差。



技术实现要素:

基于此,有必要针对目前的车辆追踪方法实时性差的问题,提供了一种车辆追踪方法和装置。

一种车辆追踪方法,所述方法包括:

在视频图像序列中实时追踪车辆图像;

定期从所述视频图像序列中当前的视频图像中检测出车辆图像;

获取当前追踪的车辆图像;

根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验;

当校验成功时,将当前检测到的车辆图像与当前追踪的车辆图像融合以修正当前追踪的车辆图像。

一种车辆追踪装置,所述装置包括:

追踪模块,用于在视频图像序列中实时追踪车辆图像;

定期检测模块,用于定期从所述视频图像序列中当前的视频图像中检测出车辆图像;

获取模块,用于获取当前追踪的车辆图像;

校验模块,用于根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验;

修正模块,用于当校验成功时,将当前检测到的车辆图像与当前追踪的车辆图像融合以修正当前追踪的车辆图像。

上述车辆追踪方法和装置,在视频图像序列中实时追踪车辆图像,并且定期进行车辆检测以检测出相应的车辆图像,通过将当前检测到的车辆图像与当前追踪的车辆图像融合来修正当前追踪的车辆图像,这样通过定期修正的方式可以保证车辆追踪的实时性和准确性。而且在修正前先根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验,从而根据校验结果来修正当前追踪的车辆图像,可以进一步保证车辆追踪的准确性。

附图说明

图1为目前车辆追踪方法的流程示意图;

图2为一个实施例中车辆追踪系统的组成示意图;

图3为一个实施例中计算机的内部结构示意图;

图4为一个实施例中车辆追踪方法的流程示意图;

图5为一个实施例中计算光流的示意图;

图6为一个实施例中获取当前追踪的车辆图像的哈希值序列的步骤的流程示意图;

图7为一个实施例中获取当前追踪的车辆图像的哈希值序列过程的示意图;

图8为另一个实施例中车辆追踪方法的流程示意图;

图9A为一个实施例中计算当前检测到的车辆图像与当前追踪的车辆图像的重叠度的示意图;

图9B为另一个实施例中计算当前检测到的车辆图像与当前追踪的车辆图像 的重叠度的示意图;

图10为一个实施例中车辆追踪装置的结构框图;

图11为另一个实施例中车辆追踪装置的结构框图;

图12为一个实施例中获取模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

如图2所示,在一个实施例中,提供了一种车辆追踪系统,包括相连接的计算机202和摄像机204。其中摄像机204用于采集图像获得视频流并传输给计算机202,计算机202用于根据视频流进行车辆追踪。计算机202可以是独立的物理计算机,也可以是多个物理计算机的集群。

如图3所示,在一个实施例中,计算机202包括通过系统总线连接的处理器、非易失性存储介质、内存储器和视频接口。其中处理器具有计算功能和控制计算机202工作的功能,该处理器被配置为执行一种车辆追踪方法。非易失性存储介质包括磁存储介质、光存储介质和闪存式存储介质中的至少一种。非易失性存储介质存储有操作系统和车辆追踪装置,车辆追踪装置用于实现一种车辆追踪方法。内存储器用于为操作系统和车辆追踪装置的运行提供高速缓存。视频接口用于接收摄像机204传输的视频流。

如图4所示,在一个实施例中,提供了一种车辆追踪方法,本实施例以该方法应用于上述图2和图3中的计算机202来举例说明。该方法具体包括如下步骤:

步骤402,在视频图像序列中实时追踪车辆图像。

车辆可以是汽车或者人力车,汽车包括电动汽车和燃料动力汽车。计算机202在视频图像序列中实时追踪车辆图像,可使得追踪到视频图像序列中各视频图像中的车辆图像与视频图像序列的帧率匹配。计算机202可以通过背景差分算法或者帧间差分算法在视频图像序列中实时追踪车辆图像。

其中背景差分算法通过将视频图像序列中当前的视频图像与背景图像做差分运算从而获得追踪的车辆图像。建立背景图像时,可以采用中值法背景建模,具体可以取视频图像序列中一段时间内连续的N个视频图像,把这N个视频图像对应位置的像素点灰度值按升序或降序排列,然后取位于中间的灰度值作为背景图像中相应像素点的灰度值。

其中帧间差分算法通过对视频图像序列中相邻帧做差分运算,利用视频图像序列中相邻帧的强相关性进行变化检测,从而检测出运动车辆。帧间差分算法通过直接比较相邻帧的视频图像对应像素点的灰度值的不同,然后通过选取阈值来提取视频图像序列中的车辆运动区域,从而获得追踪的车辆图像。

步骤404,定期从视频图像序列中当前的视频图像中检测出车辆图像。

具体地,定期是指每隔预设时间间隔或者每到预设时间点,预设时间间隔比如1至5秒,尤其可选2秒。视频图像序列中当前的视频图像,是指视频图像序列中在定期执行检测车辆图像的动作的当时的视频图像。检测某图像中的车辆图像所花费的时间一般要多于追踪该图像中的车辆图像所花费的时间。

在一个实施例中,步骤404包括:定期利用经过车辆图像样本和非车辆图像样本训练的分类器从视频图像序列中当前的视频图像中检测出车辆图像。这里通过模式识别从视频图像中检测出初始的车辆图像。模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认和分类的过程。

具体地,计算机202可以将视频图像序列中当前的视频图像划分为多个窗口图像,利用经过车辆图像样本和非车辆图像样本训练的分类器对每个窗口图像进行分类,找到判别为属于车辆图像样本一类的窗口图像以确定车辆图像。

在一个实施例中,计算机202可以对视频图像序列中当前的视频图像提取特征后再划分为多个窗口图像,然后利用上述分类器对每个窗口图像进行分类。

在一个实施例中,可将视频图像序列中当前的视频图像划分为多个窗口图像后,对每个窗口图像提取特征后再利用上述分类器对每个窗口图像进行分类。

其中提取的特征可以是HOG(Histogram of Oriented Gradient,方向梯度直方图)、SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)或者SURF (Speeded Up Robost Features,加速稳健特征)等。分类器可以采用SVM(Support Vector Machine,支持向量机)分类器、级联分类器(如Adaboost分类器)或者人工神经网络分类器等。

在一个实施例中,在将视频图像序列中当前的视频图像划分窗口图像时,可以使用预设尺寸的窗口划分出相同尺寸的窗口图像,然后对窗口图像进行分类,将判定为属于车辆图像样本一类的并且相邻的窗口图像组成车辆图像。

在一个实施例中,在将视频图像序列中当前的视频图像划分窗口图像时,可以使用多个尺度的窗口划分出不同尺度的窗口图像,然后对这些窗口图像进行模式识别后,将判定为属于车辆图像样本一类的窗口图像作为车辆图像。若判定存在多个属于车辆图像样本一类的窗口图像且存在重叠,则将重叠的多个窗口图像融合后作为车辆图像。融合窗口图像可采用计算融合的窗口图像的位置的平均值或者加权平均值。

步骤406,获取当前追踪的车辆图像。

具体地,当前追踪的车辆图像是指在定期执行检测车辆图像的动作的当时从视频图像序列中追踪到的车辆图像。

步骤408,根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验。若校验成功,则执行步骤410;若校验失败,则执行步骤412。

具体地,这里进行校验具体是进行一致性校验,一致性校验并不要求当前追踪的车辆图像和前次定期检测时追踪到的车辆图像完全一致,而是将两者差距控制在合理范围内。定期检测车辆图像也就是周期性地检测车辆图像,前次定期检测时追踪到的车辆图像,是指在周期性地检测车辆图像的过程中,相对于本周期的前一周期检测车辆图像时追踪到的车辆图像。

具体在校验时可计算当前追踪的车辆图像和前次定期检测时追踪到的车辆图像的相似度,若相似度大于等于预设相似度则校验成功;若相似度小于预设相似度则校验失败。如果前次定期检测时追踪到的车辆图像经过修正,则前次定期检测时追踪到的车辆图像指的就是经过修正的车辆图像。

在一个实施例中,步骤408包括:获取当前追踪的车辆图像的哈希值序列;根据前次定期检测时追踪到的车辆图像的哈希值序列和获取的哈希值序列进行 校验。

车辆图像的哈希值序列也可以称为该车辆图像的指纹,是对该车辆图像进行哈希运算所获得的固定长度的二进制数值序列。具体地,预先存储前次定期检测时追踪到的车辆图像的哈希值序列,在获取到当前追踪的车辆图像的哈希值序列后,将获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列比较以实现校验。其中前次定期检测时追踪到的车辆图像的哈希值序列初始时可根据初始的车辆图像生成,并在后续过程中根据追踪的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列。

在一个实施例中,步骤408包括:比较获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列是否相同;若相同则校验成功,若不相同则校验失败。

在一个实施例中,步骤408包括:比较获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列中相应位置处不相同的数值数量是否小于等于预设数量阈值;若是,则校验成功;若否,则校验失败。比如假设获取的哈希值序列为10011000,前次定期检测时追踪到的车辆图像的哈希值序列为10111011,且预设数量阈值为2;由于获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列中相应位置第3、7和8位数值不同,不相同的数值数量为3大于2,则校验失败。

本实施例中,通过对获取的哈希值序列进行校验,首次将感知哈希值应用车辆追踪领域,可以快速确定当前追踪的车辆图像是否有效。若校验成功,说明当前追踪的车辆图像是有效的,即使有偏差也在可以修正的范围内。

步骤410,将当前检测到的车辆图像与当前追踪的车辆图像融合以修正当前追踪的车辆图像。

进一步地,将当前检测到的车辆图像与当前追踪的车辆图像融合来进行修正,将融合后的车辆图像作为修正的当前追踪的车辆图像。修正车辆图像后,根据修正的车辆图像来继续在上述视频图像之后的视频图像序列中实时追踪车辆图像。将当前检测到的车辆图像与当前追踪的车辆图像融合,是指将当前检测到的车辆图像的部分或全部信息,与当前追踪的车辆图像的部分或全部信息 进行结合。

其中将当前检测到的车辆图像与当前追踪的车辆图像融合,具体可以计算当前检测到的车辆图像的位置与当前追踪的车辆图像的位置的中间值,从而将该中间值位置的图像作为融合后的图像。或者可以计算当前检测到的车辆图像的位置与当前追踪的车辆图像的位置的加权平均值,从而将该加权平均值位置的图像作为融合后的图像,且计算加权平均值时当前检测到的车辆图像的权重可大于当前追踪的车辆图像的权重。

在一个实施例中,步骤408包括:获取当前追踪的车辆图像的哈希值序列;根据前次定期检测时追踪到的车辆图像的哈希值序列和获取的哈希值序列进行校验。该方法还包括:当校验成功时,根据修正的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列。

根据修正的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列,具体将根据修正的车辆图像生成的哈希值序列作为前次定期检测时追踪到的车辆图像的哈希值序列,这样下次在进行校验时使用的就是该根据修正的车辆图像更新的前次定期检测时追踪到的车辆图像的哈希值序列。且根据修正的车辆图像生成哈希值的方式与步骤406中当前追踪的车辆图像的哈希值序列的生成方式是相同的。通过更新前次定期检测时追踪到的车辆图像的哈希值序列可以使得后续追踪过程中的指纹校验更加准确。

步骤412,结束车辆追踪。

具体地,若对获取的哈希值序列的校验失败,说明当前追踪的车辆图像已经不是真实车辆的图像,或者与真实车辆的图像偏差太大,则可以直接结束车辆追踪。结束车辆追踪后可以继续执行上述步骤402来重新发起追踪。

上述车辆追踪方法,可适用于持续的车辆追踪,在视频图像序列中实时追踪车辆图像,并且定期进行车辆检测以检测出相应的车辆图像,通过将当前检测到的车辆图像与当前追踪的车辆图像融合来修正当前追踪的车辆图像,这样通过定期修正的方式可以保证车辆追踪的实时性和准确性。而且在修正前先根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验,从而根据校验结果来修正当前追踪的车辆图像,可以进一步保证车辆追踪的准确性。

在一个实施例中,在步骤402之前,还包括:从指定视频图像中检测出初始的车辆图像;根据初始的车辆图像生成哈希值序列作为前次定期检测时追踪到的车辆图像的哈希值序列;且步骤402包括:根据初始的车辆图像,在指定视频图像之后的视频图像序列中实时追踪车辆图像。

具体地,指定视频图像在视频图像序列之前,该指定视频图像可以是视频流中的任意视频图像。从该指定视频图像中检测出的初始的车辆图像将用来指导后续在该指定视频图像之后的视频图像序列中所实时进行的车辆图像的追踪。根据初始的车辆图像生成的哈希值序列用来对后续车辆图像的追踪过程中当前追踪的车辆图像的哈希值序列进行校验。

在一个实施例中,从指定视频图像中检测出初始的车辆图像包括:利用经过车辆图像样本和非车辆图像样本训练的分类器从指定视频图像中检测出初始的车辆图像。具体可以参照上述步骤402的详细描述,这里不再赘述。

本实施例适用于启动车辆追踪并持续进行车辆追踪的情形,具体先利用车辆检测的技术从视频图像中检测出初始的车辆图像进而根据该初始的车辆图像来实时追踪车辆图像,并且定期进行车辆检测来修正追踪的车辆图像,保证了车辆追踪的实时性和准确性。

在一个实施例中,步骤402包括:通过光流算法在视频图像序列中实时追踪车辆图像。

具体地,光流可以体现时变图像中车辆运动的速度,光流是一种二维瞬时速度场,光流的二维速度矢量是可见的三维速度矢量在成像平面上的投影。为图像中的每一个像素点赋予一个速度矢量,这就形成了一个图像运动场。在车辆运动的一个特定时刻,图像上的点与三维车辆上的点一一对应,这种对应关系可由投影关系得到。

根据各个像素点的速度矢量特征,可以对图像进行动态分析。如果图像中没有运动车辆,则光流矢量在整个图像区域是连续变化的,当车辆和背景存在相对运动时,运动车辆所形成的速度矢量的大小和方向必然与车辆邻域的背景速度矢量不同,从而可以据此检测出运动车辆的位置和形状。对于背景与车辆均运动的情形,也可以利用光流很好地区分前进的车辆和后退的背景,得到车 辆和背景各自的三维运动信息。

光流的计算基于目标移动的光学特性的两个假设:(1),运动目标的灰度在很短的间隔时间内保持不变;(2),目标邻域内的速度向量场变化是缓慢的。对在同一个运动目标上,可以认为它有刚体特性,同一目标每个像素任意时刻的运动速度的大小和方向是一致的,根据这个特性可以检测出目标的形状。

在车辆追踪应用场景,帧率为30FPS(Frames Per Second,每秒传输帧数),且本车与前车均在运动中,相对运动速度较小,相邻帧之间位移变化小、亮度变化小,完全符合光流算法的假设。所以,可以采用光流算法找到车辆在图像中的光流场,从而实现对车辆的追踪。

参照图5,假定时刻t处一像素点的坐标为(x,y),x和y分别为该像素点的横坐标和纵坐标,该像素点由于目标的运动在t+dt时刻出现在图像坐标的(x+dx,y+dy),在t时刻该像素的灰度值为I(x,y,t),在t+dt时刻的灰度值为I(x+dx,y+dy,t+dt)。dx、dy和dt中的d表示求导数,dt很小,根据假设认为此像素点在移动过程中像素灰度值不变,即像素点的光流可用以下公式(2)表示:

I(x+dx,y+dy,t+dt)=I(x,y,t) 公式(1)

将公式(1)好用泰勒级数展开,可得到以下公式(2):

公式(2)

表示求偏微分,令则公式(2)变形为公式(3):

Ixdx+Iydy+Itdt=0 公式(3)

假设被追踪像素点的速度向量为:令则有:

公式(4)

根据上面的假设,在一个小邻域内,亮度是恒定的,则有:

公式(5)

令则有:

公式(6)

在车辆的追踪过程中,通过对追踪的像素点邻域内的像素点的迭代,使得最小,就可以计算出光流这里可以采用最小二乘法求解。

利用光流算法追踪车辆具有速度快,在短时间内的追踪效果好等特点,但长时间追踪会发生偏差,需要定期检测车辆图像,并将当前检测到的车辆图像与当前追踪的车辆图像融合来修正当前追踪的车辆图像。定期检测时每隔2秒进行一次车辆检测效果较佳。

如图6所示,在一个实施例中,获取当前追踪的车辆图像的哈希值序列的步骤具体包括如下步骤:

步骤602,将当前追踪的车辆图像调整为预设尺寸。

具体地,将当前追踪的车辆图像调整为预设尺寸,可以使得后续计算出的哈希值序列的长度是固定的。预设尺寸可以根据需要设定,比如10×10像素点、8×8像素点或者7×7像素点。

在一个实施例中,预设尺寸小于当前追踪的车辆图像的尺寸,这样步骤602中在调整当前追踪的车辆图像时,将当前追踪的车辆图像缩小为预设尺寸。这样利用缩小图像可以快速去除高频和细节,摒弃不同尺寸所带来的图像差异。

步骤604,将调整后的车辆图像各像素点的像素值转换为二进制的数值。

具体地,计算机202计算调整后的车辆图像所有像素点的像素值的平均值,从而将调整后的车辆图像中各像素点的像素值与平均值比较,将大于等于该平均值的像素值和小于该平均值的像素值分别转换为不同的二进制数值。比如将大于等于该平均值的像素值转换为1,将小于该平均值的像素值转换为0。

在一个实施例中,计算机202还可以将调整后的车辆图像各像素点的像素值分别与预设值比较,将大于等于该平均值的像素值和小于该平均值的像素值分别转换为不同的二进制数值。预设值比如可以取128。

在一个实施例中,计算机202还可以在将调整后的车辆图像转换为灰度图 后,再将灰度图各像素点的像素值转换为二进制的数值。

步骤606,将转换的数值按照预设顺序组合以形成当前追踪的车辆图像的哈希值序列。

具体地,转换的数值分别与调整后的车辆图像各像素点对应,可以按照任意的预设顺序来组合各个转换的数值,只要求各哈希值序列在生成时采用相同的预设顺序。该任意的预设顺序可以是一个预设尺寸的图像的所有像素点能够组成的所有顺序中的任意一个。预设顺序比如可以是逐行从左到右或者逐列从上到下。

这样在执行上述步骤408时,可以比较获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列中相应位置处不相同的数值数量是否小于等于预设数量阈值;若是,则校验成功;若否,则校验失败。预设数量阈值比如可以是5至10中的值。

本实施例中,通过上述步骤602至步骤606可以非常快速地计算出当前追踪的车辆图像的哈希值序列,该哈希值序列可以很好地体现出当前追踪的车辆图像的特征,这样在执行步骤408时就可以准确、快速地进行指纹校验,从而进一步提高车辆追踪的实时性。

举例说明,参照图7,将当前追踪的车辆图像转化为灰度图702,将该灰度图702的尺寸缩小到8×8像素点,获得图像704。计算图像704的64个像素点的灰度值的平均值,然后将图像704的64个像素点的灰度值分别与该平均值比较,将大于或等于平均值的灰度值记为二进制数值1,将小于该平均值的灰度值记为二进制数值0,得到8×8的二进制数值阵列706。将二进制数值阵列706中的各二进制数值按照预设顺序组合,比如按照从第一行开始逐行从左到右的顺序进行组合,形成哈希值序列。

如图8所示,在一个实施例中,提供了一种车辆追踪方法,具体包括如下步骤:

步骤802,在视频图像序列中实时追踪车辆图像。

具体地,可以通过背景差分算法、帧间差分算法或者光流算法在视频图像序列中实时追踪车辆图像。

在一个实施例中,在步骤802之前,还包括:从指定视频图像中检测出初始的车辆图像;根据初始的车辆图像生成哈希值序列作为前次定期检测时追踪到的车辆图像的哈希值序列;步骤802包括:根据初始的车辆图像,在指定视频图像之后的视频图像序列中实时追踪车辆图像。

步骤804,定期从视频图像序列中当前的视频图像中检测出车辆图像。

步骤806,获取当前追踪的车辆图像的哈希值序列。步骤806在步骤814之前执行,在一个实施例中,步骤806可以在步骤808或者步骤810之后执行。

步骤808,获取当前检测到的车辆图像与当前追踪的车辆图像的重叠度。

具体地,重叠度是指当前检测到的车辆图像与当前追踪的车辆图像这两者的交集与并集的比值,可以用以下公式(7)来表示;

公式(7)

其中,Degree_overlap表示重叠度,Pic_detect表示当前检测到的车辆图像,Pic_track表示当前追踪的车辆图像,Pic_detect∩Pic_track表示当前检测到的车辆图像与当前追踪的车辆图像的交集,Pic_detect∪Pic_track表示当前检测到的车辆图像与当前追踪的车辆图像的并集。

参照图9A,当前检测到的车辆图像为区域902,当前追踪的车辆图像为区域904,则区域902和区域904的交集为区域906,表示区域902和区域904重叠的部分,区域902和区域904的并集表示两者总共占用的区域大小。这样通过计算区域902和区域904两者的交集与该两者的并集的比值可以计算出重叠度。

再参照图9B,每隔2秒从视频图像序列中当前的视频图像中检测出车辆图像,其中在T秒处追踪到的车辆图像用实线矩形框907表示,在T+2秒处追踪到车辆图像用实线矩形框907′表示,在T+2秒处检测到车辆图像用虚线矩形框908表示。在计算重叠度时,矩形框907′和矩形框908的交集等于图9B中阴影部分的面积,矩形框907′和矩形框908的并集等于两者面积的和减去阴影部分的面积,将矩形框907′和矩形框908的交集除以并集便获得T+2秒处当 前检测到的车辆图像与当前追踪的车辆图像的重叠度。

步骤810,比较重叠度与预设重叠度阈值。若重叠度大于等于预设重叠度阈值,则执行步骤812;若重叠度小于预设重叠度阈值,则执行步骤814。

具体地,重叠度表示当前检测到的车辆图像与当前追踪的车辆图像的重叠程度。重叠度越高,说明当前检测到的车辆图像与当前追踪的车辆图像越接近,追踪到的车辆图像的可信度越高。重叠度越低,说明当前检测到的车辆图像与当前追踪的车辆图像偏差越大,追踪到的车辆图像的可信度越低。预设重叠度阈值可以根据精度和实时性需求进行选择,比如预设重叠度阈值可选80%.

步骤812,根据当前追踪的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列,根据当前追踪的车辆图像继续在视频图像序列中实时追踪车辆图像。

具体地,当重叠度大于或等于预设重叠度阈值时,说明当前追踪的车辆图像与当前检测到的车辆图像非常接近,不需要对当前追踪的车辆图像进行修正,可直接根据当前追踪的车辆图像继续在视频图像序列中实时追踪车辆图像。这样可以节省修正的时间,提高车辆追踪的效率。

根据当前追踪的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列,以提供下一次指纹校验的依据。具体地,可将当前追踪的车辆图像的哈希值序列替换掉前次定期检测时追踪到的车辆图像的哈希值序列,以实现更新前次定期检测时追踪到的车辆图像的哈希值序列。

步骤814,根据前次定期检测时追踪到的车辆图像的哈希值序列和获取的哈希值序列进行校验。若校验成功,则执行步骤816;若校验失败,则执行步骤820。

具体地,当重叠度小于预设重叠度阈值时,说明当前追踪的车辆图像与当前检测到的车辆图像存在偏差,需要进一步通过对获取的哈希值序列进行校验来确定是否可通过修正的方式来继续追踪。在持续的车辆追踪过程中,前次定期检测时追踪到的车辆图像的哈希值序列是上一次定期的车辆检测时所追踪的车辆图像的哈希值序列,通过前次定期检测时追踪到的车辆图像的哈希值序列对获取的哈希值序列进行校验,可以判断出本次与上一次相比偏差的大小。

步骤816,将当前检测到的车辆图像与当前追踪的车辆图像融合以修正当前追踪的车辆图像。

具体地,当对获取的哈希值序列校验成功时,说明当前追踪的车辆图像是可修正的,此时将当前检测到的车辆图像与当前追踪的车辆图像融合后作为修正后的当前追踪的车辆图像。

步骤818,根据修正的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列,根据修正的车辆图像继续在视频图像序列中实时追踪车辆图像。

步骤820,结束车辆追踪。具体地,若根据前次定期检测时追踪到的车辆图像的哈希值序列对获取的哈希值序列进行校验且校验失败,说明本次追踪的车辆图像与上一次相比偏差太大,追踪的结果已经不可信,此时可直接结束车辆追踪。

本实施例中,通过比较重叠度与预设重叠度阈值,可以得出当前检测到的车辆图像与当前追踪的车辆图像是否匹配。而根据前次定期检测时追踪到的车辆图像的哈希值序列对获取的哈希值序列进行校验,可以得出本次追踪的车辆图像与上次检测到车辆图像时所追踪的车辆图像是否匹配。这样可以保证车辆追踪过程持续、稳定以及实时地进行,满足车辆追踪的实际应用需求。车辆追踪具体可以应用到行车记录、车辆监控以及车载设备的自动报警等领域。

如图10所示,在一个实施例中,提供了一种车辆追踪装置1000,具有实现上述各个实施例的车辆追踪方法的功能模块。该车辆追踪装置1000包括:追踪模块1001、定期检测模块1002、获取模块1003、校验模块1004和修正模块1005。

追踪模块1001,用于在视频图像序列中实时追踪车辆图像。

追踪模块1001可用于在视频图像序列中实时追踪车辆图像,使得追踪到视频图像序列中各视频图像中的车辆图像与视频图像序列的帧率匹配。追踪模块1001可用于通过背景差分算法、帧间差分算法或者光流算法在视频图像序列中实时追踪车辆图像。

定期检测模块1002,用于定期从视频图像序列中当前的视频图像中检测出车辆图像。

具体地,定期检测模块1002可用于定期利用经过车辆图像样本和非车辆图像样本训练的分类器从视频图像序列中当前的视频图像中检测出车辆图像。进一步地,定期检测模块1002可用于对视频图像序列中当前的视频图像提取特征后再划分为多个窗口图像,然后利用上述分类器对每个窗口图像进行分类。定期检测模块1002还可用于将视频图像序列中当前的视频图像划分为多个窗口图像后,对每个窗口图像提取特征后再利用上述分类器对每个窗口图像进行分类。

在一个实施例中,定期检测模块1002可用于在将视频图像序列中当前的视频图像划分窗口图像时,可以使用预设尺寸的窗口划分出相同尺寸的窗口图像,然后对窗口图像进行分类,将判定为属于车辆图像样本一类的并且相邻的窗口图像组成车辆图像。

在一个实施例中,定期检测模块1002可用于在将视频图像序列中当前的视频图像划分窗口图像时,可以使用多个尺度的窗口划分出不同尺度的窗口图像,然后对这些窗口图像进行模式识别后,将判定为属于车辆图像样本一类的窗口图像作为车辆图像。若判定存在多个属于车辆图像样本一类的窗口图像且存在重叠,则将重叠的多个窗口图像融合后作为车辆图像。融合窗口图像可采用计算融合的窗口图像的位置的平均值或者加权平均值。

获取模块1003,用于获取当前追踪的车辆图像。具体地,当前追踪的车辆图像是指在定期执行检测车辆图像的动作的当时从视频图像序列中追踪到的车辆图像。

校验模块1004,用于根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验。

修正模块1005,用于当校验成功时,将当前检测到的车辆图像与当前追踪的车辆图像融合以修正当前追踪的车辆图像。

具体地,修正模块1005可用于将当前检测到的车辆图像与当前追踪的车辆图像融合来进行修正,将融合后的车辆图像作为修正的当前追踪的车辆图像。修正车辆图像后,根据修正的车辆图像来继续在上述视频图像之后的视频图像序列中实时追踪车辆图像。

其中将当前检测到的车辆图像与当前追踪的车辆图像融合,具体可以计算 当前检测到的车辆图像的位置与当前追踪的车辆图像的位置的中间值,从而将该中间值位置的图像作为融合后的图像。或者可以计算当前检测到的车辆图像的位置与当前追踪的车辆图像的位置的加权平均值,从而将该加权平均值位置的图像作为融合后的图像,且计算加权平均值时当前检测到的车辆图像的权重可大于当前追踪的车辆图像的权重。

参照图11,在一个实施例中,获取模块1003具体用于获取当前追踪的车辆图像的哈希值序列;校验模块1004具体用于根据前次定期检测时追踪到的车辆图像的哈希值序列和获取的哈希值序列进行校验。车辆追踪装置1000还包括哈希值序列处理模块1006,用于当校验成功时,根据修正的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列。

具体地,在一个实施例中,校验模块1004可用于比较获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列是否相同;若相同则校验成功,若不相同则校验失败。

在一个实施例中,校验模块1004可用于比较获取的哈希值序列与前次定期检测时追踪到的车辆图像的哈希值序列中相应位置处不相同的数值数量是否小于等于预设数量阈值;若是,则校验成功;若否,则校验失败。

在一个实施例中,追踪模块1001还用于通过帧间差分算法或者光流算法在视频图像序列中实时追踪车辆图像。

如图11所示,在一个实施例中,车辆追踪装置1000还包括:初始检测模块1007,用于从指定视频图像中检测出初始的车辆图像。

哈希值序列处理模块1006还用于根据初始的车辆图像生成哈希值序列作为前次定期检测时追踪到的车辆图像的哈希值序列。

追踪模块1001还用于根据初始的车辆图像,在指定视频图像之后的视频图像序列中实时追踪车辆图像。

在一个实施例中,车辆追踪装置1000还包括:重叠度获取模块1008和比较模块1009。

重叠度获取模块1008,用于获取当前检测到的车辆图像与当前追踪的车辆图像的重叠度。

比较模块1009,用于比较重叠度与预设重叠度阈值。

校验模块1004还用于当重叠度小于预设重叠度阈值时,根据前次定期检测时追踪到的车辆图像的哈希值序列和获取的哈希值序列进行校验。

在一个实施例中,哈希值序列处理模块1006还用于当重叠度大于等于预设重叠度阈值时,根据当前追踪的车辆图像更新前次定期检测时追踪到的车辆图像的哈希值序列。

追踪模块1001还用于当重叠度大于等于预设重叠度阈值时,根据当前追踪的车辆图像继续在视频图像序列中实时追踪车辆图像。

追踪模块1001还用于当校验成功时,根据修正的车辆图像继续在视频图像序列中实时追踪车辆图像。

如图12所示,在一个实施例中,获取模块1003包括:尺寸调整模块1003a、数值转换模块1003b和数值组合模块1003c。

尺寸调整模块1003a,用于将当前追踪的车辆图像调整为预设尺寸。

具体地,将当前追踪的车辆图像调整为预设尺寸,可以使得后续计算出的哈希值序列的长度是固定的。

在一个实施例中,预设尺寸小于当前追踪的车辆图像的尺寸。尺寸调整模块1003a可用于将当前追踪的车辆图像缩小为预设尺寸。这样利用缩小图像可以快速去除高频和细节,摒弃不同尺寸所带来的图像差异。

数值转换模块1003b,用于将调整后的车辆图像各像素点的像素值转换为二进制的数值。

具体地,数值转换模块1003b可用于计算调整后的车辆图像所有像素点的像素值的平均值,从而将调整后的车辆图像中各像素点的像素值与平均值比较,将大于等于该平均值的像素值和小于该平均值的像素值分别转换为不同的二进制数值。

在一个实施例中,数值转换模块1003b还可用于将调整后的车辆图像各像素点的像素值分别与预设值比较,将大于等于该平均值的像素值和小于该平均值的像素值分别转换为不同的二进制数值。预设值比如可以取128。

数值组合模块1003c,用于将转换的数值按照预设顺序组合以形成当前追踪 的车辆图像的哈希值序列。

具体地,转换的数值分别与调整后的车辆图像各像素点对应,数值组合模块1003c可用于按照任意的预设顺序来组合各个转换的数值,只要求各哈希值序列在生成时采用相同的预设顺序。该任意的预设顺序可以是一个预设尺寸的图像的所有像素点能够组成的所有顺序中的任意一个。预设顺序比如可以是逐行从左到右或者逐列从上到下。

上述车辆追踪装置1000,在视频图像序列中实时追踪车辆图像,并且定期进行车辆检测以检测出相应的车辆图像,通过将当前检测到的车辆图像与当前追踪的车辆图像融合来修正当前追踪的车辆图像,这样通过定期修正的方式可以保证车辆追踪的实时性和准确性。而且在修正前先根据当前追踪的车辆图像和前次定期检测时追踪到的车辆图像进行校验,从而根据校验结果来修正当前追踪的车辆图像,可以进一步保证车辆追踪的准确性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1