运动目标检测方法、装置、介质及计算设备与流程

本申请涉及图像处理技术领域，尤其涉及运动目标检测方法、装置、介质及计算设备。

背景技术：

运动目标检测的目的在于检测出在连续帧图像中位置改变的物体。该技术是高级辅助驾驶技术和智能车技术的一项核心技术。通过检测图像中的运动目标，可以警告提醒驾驶人员危险环境的出现，这可以有效的减少驾驶人员驾车发生碰撞和行人被撞的危险。

采用显著图来检测运动目标是运动目标检测的一种常用方法。该方法中通过对图像的强度、颜色、方向等特征进行分析得到显著图。但是，这些信息仅是图像的底层信息，得到的显著图信息缺乏，检测的效果不够理想。故此，需要一种新的运动目标检测方法。

技术实现要素：

本申请实施例提供运动目标检测方法、装置、介质及计算设备，用以解决现有技术中基于显著图的运动目标检测的效果不够理想等的问题。

本申请实施例提供了一种运动目标检测方法，包括：

提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合；

获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；

采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；

基于当前帧图像的融合特征，生成显著图；

基于生成的显著图，检测运动目标。

申请另一实施例还提供一种运动目标检测装置，该装置包括：

特征提取模块，用于提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合；

特征权重获取模块，用于获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；

特征融合模块，用于采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；

显著图生成模块，用于基于当前帧图像的融合特征，生成显著图；

检测模块，用于基于生成的显著图，检测运动目标。

本申请另一实施例还提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行本申请实施例中的任一运动目标检测方法。

本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行本申请实施例中的任一运动目标检测方法。

本申请实施例中用于生成显著图的特征包括了静态特征和动态特征，其中静态特征如灰度特征和方向特征，运动特征如光流特征和帧间差分特征。由于引入了运动特征，使得显著图中包含了更多的运动信息，故而生成的显著图更加合理，基于这样的显著图检测的运动目标更加准确。

此外，本申请实施例中，还融合了空间显著图和运动显著图得到时空显著图，进一步使得显著图的提取能够包含运动信息，使得运动目标的检测更加合理。

附图说明

图1为本申请实施例一提供的运动目标检测方法流程示意图；

图2为本申请实施例二提供的运动目标检测装置的结构示意图；

图3为本申请实施例三提供的计算设备的结构示意图。

具体实施方式

下面结合说明书附图对本申请实施例作进一步详细描述。

实施例一

参照图1，为本申请实施例一提供的运动目标检测方法的流程示意图，该方法包括以下步骤：

步骤101：提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合。

其中，在一个实施例中，可用根据以下方法提取灰度特征、方向特征、光流特征和帧间差分特征：

(1)灰度特征：

假设当前帧图像的红绿蓝3个通道分别为r(t)、g(t)、b(t)；则图像的灰度特征可以表示为如公式(1)所示：

i(t)＝(r(t)+g(t)+b(t))/3(1)

其中i(t)代表图像的灰度信息。

(2)方向特征：

可用采用gabor获取方向特征，具体的：

gabor由实部和虚部组成，二者相互正交。

实部部分如公式(2)所示：

虚部部分如公式(3)所示：

在公式(2)、(3)中：

x'＝xcosθ+ysinθ

y'＝-xsinθ+ycosθ

波长λ：它的值以像素为单位指定，通常大于等于2，切不大于当前帧图像尺寸的五分之一；

方向θ：指定gabor函数并行条纹的方向，取值范围为0到360度；

相位偏移取值范围为-180度到180度，其中0和180分别对应中心对称的center-on函数和center-off函数。而-90度和90度对应反对称函数；

长宽比γ：空间纵横比，决定了gabor函数形状，当γ＝1时，形状是圆的，当γ<1时，形状随着平行条纹方向而拉长，通常可取值为0.5。

带宽b：gabor滤波器的半响应空间频率带宽b和σ/λ的比率有关，其中σ表示gabor函数的高斯因子的标准差，σ的值随着带宽变化。

需要说明的是，还可以采用其它现有技术方法提取方向特征，均适用于本申请实施例。

(3)光流特征：

具体实施时，可以采用以下方法提取光流特征：

假设在当前帧图像为t时刻的图像，t时刻点(x,y)的灰度值为i(x,y,t)。利用松弛迭代方程可以求得公式(4)：

其中的u，v分别为x和y方向上的光流矢量。ix和iy和it为图像在x，y和t方向的偏导。k表示在图像金字塔的层数。

(4)帧间差分特征

差分运动是指对连续的两帧或多帧图像中对应的像素点的灰度值做差，这样就可以得出帧间差分特征。帧间差分特征可以表示为如公式(5)所示：

m＝|i(t)-i(t-τ)|(5)

式(5)中i(t)表示t时刻图像的灰度值，i(t-τ)表示经过时间τ后图像的灰度值，在求得帧间差分特征值时，可以取τ＝1。

步骤102：获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值。

步骤103：采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征。

由于在不同的场景中提取的每种特征所占据的比例并不一样，为了更合理的分配每种特征，采用加权融合的方式对提取的特征进行处理。假设图像灰度特征为i(t)，方向特征为g(t)，光流特征为f(t)，帧间差分特征为m(t)，则加权融合后的图像表示为如公式(6)所示：

f(t)＝x1i(t)+x2g(t)+x3f(t)+x4m(t)(6)

公式(6)中，t表示当前帧图像；f(t)表示当前帧图像的融合特征；x1-x4代表各个特征的权值。具体实施时，各特征的权重可以根据场景的不同而设定。

步骤104：基于当前帧图像的融合特征，生成显著图。

步骤105：基于生成的显著图，检测运动目标。

具体实施时可用采用现有技术方法生成显著图。本申请实施例中，为了提高提取的显著图的合理性以便于最终检测出更加准确的运动目标，本申请实施例中，提取的显著图为空间显著图和运动显著图的融合，具体的：

步骤104，可执行为步骤a1-步骤a3：

步骤a1：基于当前帧图像的融合特征，生成当前帧图像的空间显著图以及运动显著图。

1)、生成空间显著图可具体包括：

由于高斯差分函数具有中央自激励，领域范围内抑制的结构，能促成相邻显著点之间的局部竞争，所以局部迭代法采用高斯差分函数对融合特征图进行卷积。具体实施时，基于当前帧图像的融合特征和预设迭代终止条件，根据以下迭代公式(7)确定当前帧图像的空间显著图：

其中，f(t)表示上一次迭代的融合特征；f‘(t)表示本次迭代后的融合特征；r表示距离中心像素点的距离；*表示卷积，dog是高斯差分函数；δex和δinh是兴奋和抑制带宽；和是兴奋和抑制常数；常数c为一个偏置。

2)运动显著图的生成：

序列图像中各显著区可能存在全局运动、局部运动和相对运动。背景和静态物体作全局运动，动态目标与景物作相对运动。动态目标与背景存在的运动差异是动态目标区别于景物的显著特征之一。自然景物的相对运动接近于零，而动态目标的相对运动较大，可突出动态目标和抑制背景。

故此，本申请实施例中可采用以下步骤b1-步骤b3提取运动显著图：

步骤b1：采用金子塔多分辨率策略匹配当前帧图像和当前帧图像的下一帧图像的各显著区；

步骤b2：针对各显著区，提取该显著区的全局运动量和局部运动量，并计算该显著区的全局运动量与局部运动量的差值作为该显著区的相对运动量；

步骤b3：根据以下公式(8)确定各显著区的运动显著图；

其中：γmedian是vrelative(s)的中间值；

其中，salt(s)表示显著区s的运动显著图；vrelative(s)表示显著区s的相对运动量。

步骤a2：获取预先确定的空间显著图的权值、以及预先确定的运动显著图的权值；其中，若空间显著图的运动特征高于预设运动特征，则运动显著图权值高于空间显著图的权值；若空间显著图的运动特征低于或等于预设运动特征，则运动显著图权值低于空间显著图的权值。

具体实施时，为了能够方便快速的确定空间显著图和运动显著图权值的大小，可以根据以下方法确定空间显著图的运动特征是否高于预设运动特征，包括步骤c1-步骤c4：

步骤c1：计算空间显著图中点的值确大于预设值的点的总数。

步骤c2：计算该总数与空间显著图中总点数的比值。

步骤c3：若该比值大于预设比值，则确定空间显著图的运动特征高于预设运动特征。

步骤c4：若该比值小于或等于预设比值，则确定空间显著图的运动特征低于或等于预设运动特征。

为了能够得到空间显著图和运动显著图的动态权值，以提高权值确定的合理性，本申请实施例中可以根据以下方法确定空间显著图的权值、以及运动显著图的权值，如公式(9)所示；

其中:vart＝max(salt(s))-median(salt(s))；const表示常量，由全局运动量确定，且随着全局运动量增加而增加；kt表示显著区s的运动显著图的权值；ks表示显著区s的空间显著图的权值。

步骤a3：采用加权求和的方式，计算空间显著图和运动显著图的加权和值作为时空显著图。

生成时空显著图后，步骤105可以执行为基于生成的时空显著图，检测运动目标，具体的可以采用二值化的方法检测运动目标，包括以下步骤d1-步骤d：

步骤d1：针对时空显著图中每一个点，确定该点的时空显著图的值是否大于或等于预设阈值。

步骤d2：若是，则确定该点的值为1；若否，则确定该点的值为0；

步骤d3：将确定值为1的点的集合确定为检测到的运动目标。

具体的，可采用公式(10)进行二值化：

其中，td表示预设阈值，在二值化处理过程中合理的设置阈值将减少背景噪声的干扰以及背景抖动带来的影响。sm(x,y)表示(x,y)处的时空显著图的值。

综上所述，本申请实施例中用于生成显著图的特征包括了静态特征和动态特征，其中静态特征如灰度特征和方向特征，运动特征如光流特征和帧间差分特征。由于引入了运动特征，使得显著图中包含了更多的运动信息，故而生成的显著图更加合理，基于这样的显著图检测的运动目标更加准确。

此外，本申请实施例中，还融合了空间显著图和运动显著图得到时空显著图，进一步使得显著图的提取能够包含运动信息，使得运动目标的检测更加合理。

实施例二

基于相同的发明构思，本申请实施例还提供一种运动目标检测装置，该装置的原理和有益效果与上述方法实施例中所述的类似，在此不再赘述。

如图2所示，为该装置的结构示意图，包括：

特征提取模块201，用于提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合；

特征权重获取模块202，用于获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；

特征融合模块203，用于采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；

显著图生成模块204，用于基于当前帧图像的融合特征，生成显著图；

检测模块205，用于基于生成的显著图，检测运动目标。

其中，在一个实施例中，显著图生成模块，具体包括：

显著图生成单元，用于基于当前帧图像的融合特征，生成当前帧图像的空间显著图以及运动显著图；

显著图权值获取单元，用于获取预先确定的空间显著图的权值、以及预先确定的运动显著图的权值；其中，若空间显著图的运动特征高于预设运动特征，则运动显著图权值高于空间显著图的权值；若空间显著图的运动特征低于或等于预设运动特征，则运动显著图权值低于空间显著图的权值；

显著图融合单元，用于采用加权求和的方式，计算空间显著图和运动显著图的加权和值作为时空显著图；

检测模块，具体用于基于生成的时空显著图，检测运动目标。

其中，在一个实施例中，显著图生成单元，具体用于基于当前帧图像的融合特征和预设迭代终止条件，根据以下迭代公式确定当前帧图像的空间显著图：

f‘(t)＝f(t)+f(t)*dog-c

其中，f(t)表示上一次迭代的融合特征；f‘(t)表示本次迭代后的融合特征；r表示距离中心像素点的距离；*表示卷积，dog是高斯差分函数；δex和δinh是兴奋和抑制带宽；和是兴奋和抑制常数；常数c为一个偏置。

其中，在一个实施例中，显著图生成单元，采用金子塔多分辨率策略匹配当前帧图像和当前帧图像的下一帧图像的各显著区；

针对各显著区，提取该显著区的全局运动量和局部运动量，并计算该显著区的全局运动量与局部运动量的差值作为该显著区的相对运动量；

根据以下公式确定各显著区的运动显著图；

其中：γmedian是vrelative(s)的中间值；

其中，salt(s)表示显著区s的运动显著图；vrelative(s)表示显著区s的相对运动量。

其中，在一个实施例中，所述装置还包括：

显著图权值确定模块，用于根据以下公式确定空间显著图的权值、以及运动显著图的权值；

其中:vart＝max(salt(s))-median(salt(s))；const表示常量，由全局运动量确定，且随着全局运动量增加而增加；kt表示显著区s的运动显著图的权值；ks表示显著区s的空间显著图的权值。

其中，在一个实施例中，所述装置还包括：

运动特征显著性确定模块，用于根据以下方法确定空间显著图的运动特征是否高于预设运动特征；

计算空间显著图中点的值确大于预设值的点的总数；

计算该总数与空间显著图中总点数的比值；

若该比值大于预设比值，则确定空间显著图的运动特征高于预设运动特征；

若该比值小于或等于预设比值，则确定空间显著图的运动特征低于或等于预设运动特征。

其中，在一个实施例中，检测模块，具体用于针对时空显著图中每一个点，确定该点的时空显著图的值是否大于或等于预设阈值；

若是，则确定该点的值为1；若否，则确定该点的值为0；

将确定值为1的点的集合确定为检测到的运动目标。

实施例三

本申请实施例三还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personaldigitalassistant，pda)等。如图3所示，该计算设备可以包括中央处理器(centerprocessingunit，cpu)301、存储器302、输入设备303，输出设备304等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(liquidcrystaldisplay，lcd)、阴极射线管(cathoderaytube，crt)等。

存储器可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储运动目标检测方法的程序指令。

处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：提取当前帧图像的灰度特征、方向特征、光流特征和当前帧图像在指定图像集合中的帧间差分特征，其中，指定图像集合为包含当前帧图像的连续帧图像构成的图像集合；

获取灰度特征、方向特征、光流特征以及帧间差分特征各种对应的权值；

采用加权求和的方式，计算当前帧图像的灰度特征、方向特征、光流特征以及帧间差分特征的加权和值作为当前帧图像的融合特征；

基于当前帧图像的融合特征，生成显著图；

基于生成的显著图，检测运动目标。

实施例四

本申请实施例四提供了一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述运动目标检测方法的程序。

所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。