一种运动方向异常物体检测方法和装置的制作方法

专利名称：一种运动方向异常物体检测方法和装置的制作方法
技术领域：
本发明涉及检测技术，具体涉及一种运动方向异常物体检测方法和装置。
背景技术：
运动方向异常检测是视频监控领域对于运动状态异常物体的自动监控的重要研 究内容，在交通监控领域的应用正逐步得到人们的重视，实现对于车辆出现逆行、非正常转 向等违反交通规则行为的自动化监控将会大大提高交通监管部门的执行效率，有效杜绝类 似违规行为的再出现。现有的运动方向异常检测方法能够通过提取场景中各运动物体的运动方向特征， 并将所提取的运动方向特征进行相互比较，确定各个运动方向中最具有显著性的方向，最 后把按照此方向运动的物体检测出来。该方法在提取了方向特征图之后，直接引入视觉注 意模型求取运动方向显著图。由于该模型主要针对静态图像计算感兴趣区域，所提特征也 是亮度、方向、颜色等针对静态图像的特征；其所依赖的以实现中央邻域差分来提取相应特 征为目的的多尺度表达，在提取运动特征时显得多余且大大增加了计算量。另外该方法所 使用的融合方法也是已有的归一化算子针对一幅特征图，计算其灰度最大值M，以及其余 所有极大值的平均值5 ,最后整幅特征图乘以(M -^)2这个算子是为了抑制那些不同区域
7O
之间反差较小的特征图，而增强那些不同区域之间反差较大的特征图的影响力。该算子针 对静态图像的特征有效，但对于运动方向特征图，由于不同方向对应的特征图仅在按照该 方向运动的物体区域有响应，且不同区域的响应差别不大；因此如果运用极值来衡量显著 性，则很容易造成本应赋予高权重的特征图权重反而降低，进而造成误检测。同时特征提取 过程中产生的伪极值点也会影响检测效果。

发明内容
有鉴于此，本发明的主要目的在于提供一种运动方向异常物体检测方法和装置， 以减少计算量，提高算法可靠性及检测效果。为达到上述目的，本发明的技术方案是这样实现的一种运动方向异常物体检测方法，该方法包括获取空间导数及时间导数，将二者融合以得到运动方向特征图；基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图， 得到最终的运动方向显著图。进行所述归一化的过程包括将同一方位得到的正负运动方向特征图进行归一化融合Md (t, θ ) = N(M+(t, θ)) N(M_(t，θ))；上式中的 为融合加法，用于将相同大小图像的对应像素点灰度值相加；Ν(.)为
归一化算子。所述将同一方位得到的正负运动方向特征图进行归一化融合的过程包括
根据帧间差分得到的时间导数图，计算其中产生响应的面积，将计算所得的面积 定义为运动区域面积计算响应区域的质心以及距离该质心最远的区域之间的最远距离， 以质心为圆心，所述最远距离为半径R，计算圆的面积S1 = π · R2，以此面积作为运动区域 面积；以与计算Sl相同的方法计算特定方向特征图内的运动区域面积S2 ；
S\ , ι定义特征图的权重W = 民即运动区域小于总运动区域的i时认为该运动方向
8 , 8
具有显著性；反之则不具有显著性。所述合并各个方位的运动方向特征图，得到最终的运动方向显著图的过程包括将方向特征图相互比较，找到特征图中运动区域最小的特征图，定义其运动区域 面积，由此得到各运动方向特征图的权重为最小运动区域面积和其自身运动区域面积的比 值；将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著 图。所述获取空间导数及时间导数，将二者融合以得到运动方向特征图的过程包括求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用 相邻帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；根据空间导数与时间导数得到沿不同方位的运动边缘，将包含所述运动边缘的图 像作为以运动方向为特征的特征图，并在不同方位分别计算运动方向的正负性，得到相应 的正负方向特征图。一种运动方向异常物体检测装置，该装置包括特征提取单元、归一化单元、总体融 合单元；其中，所述特征提取单元，用于获取空间导数及时间导数，将二者融合以得到运动方向 特征图；所述归一化单元，用于基于运动区域面积作为比较依据进行归一化；所述总体融合单元，用于合并各个方位的运动方向特征图，得到最终的运动方向 显著图。所述归一化单元进行所述归一化时，用于将同一方位得到的正负运动方向特征图进行归一化融合Md (t, θ ) = N(M+(t, θ)) N(M_(t，θ))；上式中的 为融合加法，用于将相同大小图像的对应像素点灰度值相加；Ν(.)为
归一化算子。所述归一化单元对同一方位得到的正负运动方向特征图进行归一化融合时，用 于根据帧间差分得到的时间导数图，计算其中产生响应的面积，将计算所得的面积 定义为运动区域面积计算响应区域的质心以及距离该质心最远的区域之间的最远距离， 以质心为圆心，所述最远距离为半径R，计算圆的面积S1 = π · R2，以此面积作为运动区域 面积；以与计算Sl相同的方法计算特定方向特征图内的运动区域面积S2 ；Si , 0ι定义特征图的权重 二 γ/民即运动区域小于总运动区域的i时认为该运动方向
8 , 8
具有显著性；反之则不具有显著性。所述总体融合单元在合并各个方位的运动方向特征图，得到最终的运动方向显著 图时，用于将方向特征图相互比较，找到特征图中运动区域最小的特征图，定义其运动区域 面积，由此得到各运动方向特征图的权重为最小运动区域面积和其自身运动区域面积的比 值；将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著 图。所述特征提取单元在获取空间导数及时间导数，将二者融合以得到运动方向特征 图时，用于求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用 相邻帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；根据空间导数与时间导数得到沿不同方向的运动边缘，将包含所述运动边缘的图 像作为以运动方向为特征的特征图，并在不同方位分别计算运动方向的正负性，得到相应 的正负方向特征图。本发明的运动方向异常物体检测方法和装置，能够减少计算量，提高算法可靠性 及检测效果。


图1为本发明一实施例的运动方向异常物体检测示意图；图2为本发明的运动方向异常物体检测流程简图；图3为本发明一实施例的运动方向异常物体检测装置图；图4为本发明一实施例的运动方向异常物体检测效果对比示意图；图5为本发明另一实施例的运动方向异常物体检测效果对比示意图。
具体实施例方式总体而言，可以摒弃目前的多尺度表达内容，仅在原尺度上进行计算，以此达到减 小计算量的目的；并且，可以基于运动区域面积作为比较依据进行特征图归一化处理，避 免了极值检测归一化方法中的伪极值点所带来的不利影响，更加符合全局异常检测中检测 运动方向最为与众不同的物体的目的，而且也更能满足生理学关于人眼视觉注意机制的定 义。如用单一尺度代替多尺度表达，并提出一种新颖的归一化算法，还运用视觉注意的思 想完成对视频中具有不同运动方向的运动物体的比较、并继而提取运动方向与众不同物体 的任务。参见图1，图1为本发明一实施例的运动方向异常物体检测示意图，图1所示的运 动方向异常物体检测过程包括特征提取阶段和特征融合阶段。其中，特征提取阶段包括 通过Gabor滤波分别在(0°，45°，90°，135° )进行边缘提取以求取空间导数的过程，以 及在相邻帧间进行差分以求取时间导数的过程，以及将二者(求取的空间导数和求取的时间导数)融合并在相应的正负方向上求取运动方向特征图的过程。特征融合阶段包括利用 新提出的归一化算子在正负方向上完成归一化的过程，以及总体对各方位进行归一化的过 程，以及按照特征融合策略合并各个方位的运动方向特征图，并得到最终的运动方向显著 图的过程。下面对上述的特征提取以及特征融合进行详细描述。特征提取目前应用视觉注意模型针对静态图像提取方向特征时，对于4个不同的方位 (0°，45°，90°，135° )各生成一幅方向特征图，在特征图中只有沿特定方向分布的物体 信息才得以保留。而本发明可以针对8个不同运动方向(0°，45°，90°，135°，180°， 225°，270°，315° )各生成相应的运动方向特征图，特征图中将只保留沿相应方向运动 的物体信息。1、空间导数求取空间导数时可以利用Gabor滤波器的虚部对原序列图像进行滤波，利用 Gabor滤波器的方向特性，求取特定方位(0°，45°，90°，135° )的边缘(同时包括了运 动物体与静止背景的边缘)Ms (t，θ) = Im{0c(t, θ )} ； θ = {0°，45°，90°，135° }；上式中，t代表时间，Im代表虚部；如以下公式中出现相同符号，则代表相同含义 不再赘述。2、时间导数求取时间导数时可以利用相邻帧间进行差分，将运动物体和静止边缘加以区别Mt (t) = M(t+1)-M(t) ο3、运动边缘根据时变边缘理论，将空间导数与时间导数相乘，就可以得到沿不同方向的运动 边缘。按照视觉注意模型框架，所得到的包含运动边缘的图像可以作为以运动方向为特征 的特征图M(t, θ ) = Ms(t，θ ) · Mt (t)；接下来在(0°，45°，90°，135° )四个方位分别计算运动方向的正负性，若该方 向M(t，θ)为正，则Μ+( ,θ) = ^Μ( ,θ).若M(t，θ )为负，则M-(W) = V-Μ( ，0)，其他为零。由此在原方位的基础上得到
相应的正负方向特征图，从而使运动方向特征图数量达到8个，覆盖8个可能的运动方位 (0° ，45° ，90° ，135° ，180° ，225° ，270° ，315° )。特征融合特征融合阶段的目的在于比较先前的8个运动方向特征图，根据特征图中运动 物体的多少或者运动区域的大小赋予各特征图不同的权重。分配权重高低的原则在于包 含较多运动物体或者较大运动区域的方向特征图权重较低；而包含较少运动物体或者较小 运动区域的方向特征图权重较高。1、正负方向归一化
特征融合的第一阶段是将同一方位得到的正负运动方向特征图进行归一化融 合Md (t, θ ) = N(M+(t, θ)) N(M_(t，θ))；上式中的 为融合加法，用于将相同大小图像的对应像素点灰度值相加；Ν(.)为 本步骤的归一化算子，其具体实现过程如下(1)根据帧间差分得到的时间导数图，计算其中产生响应的面积，将计算所得的面 积定义为运动区域面积计算响应区域的质心以及距离该质心最远的区域之间的距离(作 为最远距离)，以质心为圆心，所述最远距离为半径R，计算圆的面积S1 = π · R2,以此面积 作为运动区域面积；(2)以与计算Sl相同的方法计算特定方向特征图内的运动区域面积S2 ；
Sl . 1(3)定义特征图的权重w = 民即运动区域小于总运动区域的1时认为该运动
8 ， 8
方向具有显著性；反之则不具有显著性。之所以选择i这个比值来衡量显著性，其依据在
O
于将整幅输入图像作为视场时，可以用图像的长或宽的六分之一为半径的圆来划定显著 区域；而视场理论上应该为圆形，因此把矩形图像的内切圆作为实际视场，可以得出显著区 域面积和实际视场大小的比值为1 9。在此以2的幂级数表示，取近似为1 8。2、总体融合特征融合的第二阶段是在第一阶段融合完成的基础上，针对得到的4幅方向特征 图进行总体融合得到最终的运动方向显著图。此阶段的操作策略与上一阶段不同，由于本 阶段接收的特征图是经过归一化融合处理的，因此没有必要再将其和差分结果做比较。因 此直接将方向特征图相互比较，找到4幅特征图中运动区域最小的特征图，定义其运动区 域面积Smin = π ηΒ” S2, S3, S4)。由此得到各运动方向特征图的权重为最小运动区域面积 和其自身运动区域面积的比值，即= Smin/Sn。最后将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显 著图兄(0= Σ Ν(Μ。(0))
,运动方向显著图原则上应该仅在运动方向具有显著性的物体所在区域具有响应， 实际情况下允许其他区域也有少许响应，但应该以运动方向显著性区域为主体，该区域亮 度以及响应面积都明显区别于其他区域。由以上所述技术内容可见，本发明的运动方向异常物体检测思路可以表示如图2 所示。参见图2，图2为本发明的运动方向异常物体检测流程简图，该流程包括以下步骤步骤210 获取空间导数及时间导数，将二者融合以得到运动方向特征图。步骤220 基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方 向特征图，得到最终的运动方向显著图。为了保证上述操作能够顺利实现，可以进行如图3所示的设置。参见图3，图3为 本发明一实施例的运动方向异常物体检测装置图，该装置包括相连的特征提取单元、归一 化单元、总体融合单元。
具体应用时，特征提取单元能够进行前述的特征提取操作，如获取空间导数及时 间导数，将二者融合以得到运动方向特征图，并将运动方向特征图等特征提取结果发送给 归一化单元。由归一化单元对收到的特征提取结果进行前述的正负方向归一化，并将归一 化结果发送给总体融合单元；由总体融合单元根据收到的归一化结果进行前述的总体融 合，如将来自归一化单元的方向特征图相互比较，找到4幅特征图中运动区域最小的特征 图，得到Wn= Smin/Sn;最后将经过不同方位归一化处理的运动方向特征图融合，得到最终的 运动方向显著图。在实际应用时，将本发明与现有技术的运动方向异常物体检测效果对比，可以得 到如图4、图5所示的结果。图4中，al、a2为原始视频截图，图中的所有方块从上往下运动，圆块的运动轨迹 与其他方块显著不同，因此圆块为待检测的运动方向异常物体；bl、b2为本发明方法对应 检测结果，图中仅保留圆块信息，可以很方便的对其进行定位；cl、c2为现有技术方法检测 结果，其默认亮度最高的区域为运动方向异常物体所在区域，其中cl检测错误，定位区域 并非圆块所在区域，c2中同时存在两个独立的高亮区域，造成混淆错误，系统无法确定运动 方向异常物体所在区域。经过对比，图4中的本发明方法检测成功率为90%，而现有技术方法检测成功率 仅为50%。图5中，al、a2为原始视频截图，图中右拐的白色货车具有与其他车辆都不同的运 动方向，因此该货车为待检测的运动方向异常物体；bl、b2为本发明方法对应检测结果，图 中绝大部分白色像素点聚集于白色货车所在区域，很方便就可以对该运动方向异常物体进 行定位；cl、c2为现有技术方法检测结果，图中高亮的区域分布杂乱，无法确定运动方向异 常物体所在的区域。经过对比，图5中的本发明方法检测成功率为71%，而现有技术方法检测成功率 仅为45%。本发明要求灰度值非零的像素绝大部分应该分布在显著性物体区域，否则检测失 败。而两个检测视频的显著性物体分别是曲线运动的圆块，右转的白色货车。综上所述可见，无论是方法还是装置，本发明的运动方向异常物体检测技术具有 以下优点1、结构简单，计算量明显减小；2、本发明的依赖面积比较的归一化算法比目前依赖极值的归一化算法检测效果 更好，且更符合运动方向异常的定义；3、对于自然场景及非自然场景的检测成功率都明显高于现有技术，具备持续跟踪 运动方向异常物体的能力。显然，本发明的运动方向异常物体检测方法和装置，能够减少计算量，提高算法可 靠性及检测效果。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在 本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护 范围之内。
权利要求
一种运动方向异常物体检测方法，其特征在于，该方法包括获取空间导数及时间导数，将二者融合以得到运动方向特征图；基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图，得到最终的运动方向显著图。
2.根据权利要求1所述的方法，其特征在于，进行所述归一化的过程包括 将同一方位得到的正负运动方向特征图进行归一化融合Md(t, θ ) = N(M+(t，θ )) N(M_(t，θ ))；上式中的 为融合加法，用于将相同大小图像的对应像素点灰度值相加；Ν(.)为归一化算子。
3.根据权利要求2所述的方法，其特征在于，所述将同一方位得到的正负运动方向特 征图进行归一化融合的过程包括根据帧间差分得到的时间导数图，计算其中产生响应的面积，将计算所得的面积定义 为运动区域面积计算响应区域的质心以及距离该质心最远的区域之间的最远距离，以质 心为圆心，所述最远距离为半径R，计算圆的面积Sl= π *R2，以此面积作为运动区域面积； 以与计算Sl相同的方法计算特定方向特征图内的运动区域面积S2 ；Sl , 1定义特征图的权重w = 民即运动区域小于总运动区域的i时认为该运动方向具有8 , 8显著性；反之则不具有显著性。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述合并各个方位的运动方向 特征图，得到最终的运动方向显著图的过程包括将方向特征图相互比较，找到特征图中运动区域最小的特征图，定义其运动区域面积， 由此得到各运动方向特征图的权重为最小运动区域面积和其自身运动区域面积的比值； 将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。
5.根据权利要求4所述的方法，其特征在于，所述获取空间导数及时间导数，将二者融 合以得到运动方向特征图的过程包括求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用相邻 帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；根据空间导数与时间导数得到沿不同方位的运动边缘，将包含所述运动边缘的图像作 为以运动方向为特征的特征图，并在不同方位分别计算运动方向的正负性，得到相应的正 负方向特征图。
6.一种运动方向异常物体检测装置，其特征在于，该装置包括特征提取单元、归一化单 元、总体融合单元；其中，所述特征提取单元，用于获取空间导数及时间导数，将二者融合以得到运动方向特征图；所述归一化单元，用于基于运动区域面积作为比较依据进行归一化； 所述总体融合单元，用于合并各个方位的运动方向特征图，得到最终的运动方向显著图。
7.根据权利要求6所述的装置，其特征在于，所述归一化单元进行所述归一化时，用于将同一方位得到的正负运动方向特征图进行归一化融合 Md(t, θ ) = N(M+(t，θ )) N(M_(t，θ ))；上式中的 为融合加法，用于将相同大小图像的对应像素点灰度值相加；Ν(.)为归一化算子。
8.根据权利要求7所述的装置，其特征在于，所述归一化单元对同一方位得到的正负 运动方向特征图进行归一化融合时，用于根据帧间差分得到的时间导数图，计算其中产生响应的面积，将计算所得的面积定义 为运动区域面积计算响应区域的质心以及距离该质心最远的区域之间的最远距离，以质 心为圆心，所述最远距离为半径R，计算圆的面积S1 = π *R2，以此面积作为运动区域面积； 以与计算Sl相同的方法计算特定方向特征图内的运动区域面积S2 ；定义特征图的权重W=+/民即运动区域小于总运动区域的i时认为该运动方向具有8 , 8显著性；反之则不具有显著性。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述总体融合单元在合并各个 方位的运动方向特征图，得到最终的运动方向显著图时，用于将方向特征图相互比较，找到特征图中运动区域最小的特征图，定义其运动区域面积， 由此得到各运动方向特征图的权重为最小运动区域面积和其自身运动区域面积的比值； 将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。
10.根据权利要求9所述的装置，其特征在于，所述特征提取单元在获取空间导数及时 间导数，将二者融合以得到运动方向特征图时，用于求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用相邻 帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；根据空间导数与时间导数得到沿不同方向的运动边缘，将包含所述运动边缘的图像作 为以运动方向为特征的特征图，并在不同方位分别计算运动方向的正负性，得到相应的正 负方向特征图。
全文摘要
本发明公开了一种运动方向异常物体检测方法和装置，均可获取空间导数及时间导数，将二者融合以得到运动方向特征图；并能够基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图，得到最终的运动方向显著图。本发明方法和装置，结构简单，计算量明显减小；依赖面积比较的归一化算法比目前依赖极值的归一化算法检测效果更好，且更符合运动方向异常的定义；对于自然场景及非自然场景的检测成功率都明显高于现有技术，具备持续跟踪运动方向异常物体的能力。显然，本发明的运动方向异常物体检测方法和装置，能够减少计算量，提高算法可靠性及检测效果。
文档编号G06T7/20GK101950423SQ201010272870
公开日2011年1月19日 申请日期2010年9月6日 优先权日2010年9月6日
发明者宋治杭, 张广军, 江洁 申请人:北京航空航天大学