用于通路交叉口上静态对象的检测的系统和方法

用于通路交叉口上静态对象的检测的系统和方法
【专利摘要】本发明是用于通路交叉口上静态对象的检测的系统和方法。通过背景减除遮罩的应用从输入视频提取前景对象图像特征，并且来自输入视频图像数据的区域的光流图像特征由提取的前景对象图像特征定义。如果评估的移动特征表明基础对象在运动中，那么确定基础对象的主导移动方向。如果主导移动方向平行于第二、交叉的通路的取向，那么不生成表明静态对象阻挡交叉口第二通路上的行进的事件警报。如果评估的移动特征表明基础对象是静态的或者其确定的主导移动方向不平行于第二通路，那么确定前景对象区域的外观并且当前景对象区域包括提取的前景对象图像特征时静态计时器运行。
【专利说明】用于通路交叉口上静态对象的检测的系统和方法
【技术领域】
[0001 ] 本发明的实施例涉及应用计算机视觉技术以自动检测通路交叉口内静态对象的存在，所述通路交叉口包括铁路轨道上的平坡度铁路交叉口。
【背景技术】
[0002]平坡度交叉口(铁道铁路与车辆道路和步行道路的交叉)存在安全问题。移动的铁路列车具有大的惯性并且通常需要大量的行进距离来使它停止。铁路轨道上废弃的车辆和抛弃在平面交叉口上的其它静止对象带来了严重的交通安全威胁，并且由移动的铁路列车与这种对象碰撞造成的事故频繁导致生命和财产的重大损失。通常，到列车司机意识到平面交叉口上的对象是静止的并且将与移动的列车相撞时，已经来不及采取措施并且使列车停止以避免相撞。
[0003]相应地，为了确定由位于这种平坡度交叉口内的静止对象导致的碰撞危害，提出或者实现了各种自动报警系统。这种系统可以向列车操作员或者远离交叉口的其它当事人提供警告，所述警告足够早地启用避免措施，例如派遣人员到交叉口移除对象，或者通知列车司机尽早开始停止列车使得列车将在进入交叉口之前停下。然而，这种预先警报系统受到各种限制。例如，这种系统的性能可能受到审阅交叉口视频馈送并且做出必要判定以发现和减少问题的人类感知依赖的限制。能够从巨大的摄影机阵列观看视频连续镜头的人员的数量通常受限于预算资源限制和其它资源限制(如任何一个人类监控者在给定视频馈送中感知威胁的能力)。观看监控视频的过程是资源消耗(遭受雇佣安全人员的高成本)，并且在这种系统中用以检测感兴趣的事件的效率也受到人类理解力制约的限制。
[0004]智能视觉监控的【技术领域】设法通过应用计算机视觉技术以自动检测存在于铁路上并且在视频流中可见的特定静态对象来解决这一问题。然而，这种系统在现实世界条件中的功效是有限的，并且在检测真实事件中假阳性检测的高比率或者准确性的低比率可能限制这种系统的有效性和可信度。

【发明内容】

[0005]在本发明的一个实施例中，一种方法对来自第二通路与第一通路的平坡度交叉口的场景的输入视频图像数据应用计算机视觉技术以自动检测第二通路的第一通路交叉口内的静态对象的存在。更具体地，处理单元通过应用背景减除遮罩提取前景对象图像特征和提取由所提取的前景对象图像特征定义的来自所述输入视频图像数据的区域的光流图像特征并且将所述前景对象图像特征和光流图像特征记录到有形数据存储介质中。所述处理单元通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的。如果评估的移动特征表明基础对象是在运动中，那么处理单元根据提取的光流图像特征确定基础对象的主导移动方向。如果基础对象的确定的主导移动方向平行于被第一通路穿过的第二通路的取向，那么重置方法并且不生成表明静态对象阻挡交叉口第二通路上的行进的事件警报。如果评估的移动特征表明基础对象是静态的，或者对象在运动中并且具有不平行于第二通路的取向的基础对象的确定的主导移动方向，那么确定前景对象区域的初始外观并且启动和运行静态计时器，其中当前景对象区域包括提取的前景对象图像特征时，计时器运行。相应地，当前景对象区域的确定外观包括提取的前景对象图像特征时，如果启动的静态计时器达到阈值，那么生成事件警报。
[0006]在另一个实施例中，系统具有具有程序指令的处理单元、计算机可读存储器和有形计算机可读存储介质，其中当执行存储的程序指令时，处理单元对来自第二通路与第一通路的平坡度交叉口的场景的输入视频图像数据应用计算机视觉技术以自动检测第二通路的第一通路交叉口内的静态对象的存在。更具体地，处理单元通过应用背景减除遮罩提取前景对象图像特征和提取由所提取的前景对象图像特征定义的来自所述输入视频图像数据的区域的光流图像特征并且将所述前景对象图像特征和光流图像特征记录到有形数据存储介质中。所述处理单元通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的。如果评估的移动特征表明基础对象是在运动中，那么处理单元根据提取的光流图像特征确定基础对象的主导移动方向。如果基础对象的确定的主导移动方向平行于被第一通路穿过的第二通路的取向，那么重置方法并且不生成表明静态对象阻挡交叉口第二通路上的行进的事件警报。如果评估的移动特征表明基础对象是静态的，或者对象在运动中并且具有不平行于第二通路的取向的基础对象的确定的主导移动方向，那么确定前景对象区域的初始外观并且启动和运行静态计时器，其中当前景对象区域包括提取的前景对象图像特征时，计时器运行。相应地，当前景对象区域的确定外观包括提取的前景对象图像特征时，如果启动的静态计时器达到阈值，那么生成事件警报。
[0007]在另一个实施例中，一种制品具有其中带有计算机可读程序代码的有形计算机可读存储介质，计算机可读程序代码包括指令，当所述指令由计算机处理单元执行时使得计算机处理单元对来自第二通路与第一通路的平坡度交叉口的场景的输入视频图像数据应用计算机视觉技术以自动检测第二通路的第一通路交叉口内的静态对象的存在。更具体地，处理单元通过应用背景减除遮罩提取前景对象图像特征和提取由所提取的前景对象图像特征定义的来自所述输入视频图像数据的区域的光流图像特征并且将所述前景对象图像特征和光流图像特征记录到有形数据存储介质中。所述处理单元通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的。如果评估的移动特征表明基础对象是在运动中，那么处理单元根据提取的光流图像特征确定基础对象的主导移动方向。如果基础对象的确定的主导移动方向平行于被第一通路穿过的第二通路的取向，那么重置方法并且不生成表明静态对象阻挡交叉口第二通路上的行进的事件警报。如果评估的移动特征表明基础对象是静态的，或者对象在运动中并且具有不平行于第二通路的取向的基础对象的确定的主导移动方向，那么确定前景对象区域的初始外观并且启动和运行静态计时器，其中当前景对象区域包括提取的前景对象图像特征时，计时器运行。相应地，当前景对象区域的确定外观包括提取的前景对象图像特征时，如果启动的静态计时器达到阈值，那么生成事件警报。
【专利附图】

【附图说明】
[0008]通过以下对本发明的各个方面结合附图进行的详细说明，本发明的这些和其他特征将更容易理解，其中:
[0009]图1示出了本发明的实施例的框图说明，所述实施例应用计算机视觉技术以自动检测通路交叉口内静态对象的存在。
[0010]图2示出了根据本发明的实施例描述来自通路交叉口场景的图像数据的计算机视觉技术分析的摄影和图解说明。
[0011]图3示出了根据本发明为在检测的对象范围的可能行程的2D旋转取向周围分布的对应的、编号的方向箭头提供的方向直方图的图解说明。
[0012]图4示出了根据本发明的实施例描述来自通路交叉口场景的图像数据的计算机视觉技术分析的摄影和图解说明。
[0013]图5示出了根据本发明对象状态与提取的数据值的关系的图解说明。
[0014]图6示出了根据本发明的实施例的计算机系统实现的框图说明。
[0015]附图不一定是按比例描绘的。所述附图只是示意性的表示，并非旨在描述本发明的详细参数。附图将只是表示本发明的典型实施例，因此并不用于限制本发明的范围。在附图中，相同的标号表示相同的单元。
【具体实施方式】
[0016]所属【技术领域】的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0017]可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0018]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0019]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括一但不限于一无线、有线、光缆、RF等等，或者上述的任意合适的组合。
[0020]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0021]下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
[0022]也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)0
[0023]智能视觉监控包括应用计算机视觉技术以在视频流数据中自动检测特定事件，例如检测在平坡度交叉口场景中穿过铁路的移动对象或者静态对象。然而，铁路交叉口环境给自动化视频监视的实现提出了许多挑战。例如，一些现有技术方法使用背景建模用于直接对象检测和跟踪处理，例如通过建立运动检测警报或者绊网警报以捕获移动对象。由于在后续图像帧中感兴趣的场景(例如由前灯穿过场景导致的照明变化，通过临时遮蔽帧与帧之间前灯或者其它光源的列车车厢或者其它移动对象的间歇干扰)和改变环境条件(例如下雨、反射、阴影，等等)所经历的可变照明条件，这些背景建模技术的性能可能是不可靠的或者易于出错的。
[0024]具有与经过的列车引擎或者汽车类似的大小或者外观的穿过轨道的大型车辆也可能为自动化处理以成功地将穿越车辆与列车车厢和引擎区别开来带来了困难。虽然一些方法建立对象分类器来直接定位场景中的穿越车辆或者列车，但是这些方法面临可伸缩性问题，在这个意义上它们可能不能覆盖所有可能的汽车车厢或者列车车厢的类型和模型。二维(2D)背景建模方法也是受到限制的并且通常不能可靠地区分列车与大型车辆(例如18轮卡车和/或公共汽车)。
[0025]图1示出了根据本发明的方法、系统或者过程的一个实施例，用于应用计算机视觉技术以自动检测通路交叉口内静态对象的存在。在104处，响应于来自的第二通路(例如，铁路)与第一通路的平坡度交叉口的场景的输入视频图像数据，从输入视频帧102提取两种类型的特征数据并且将其记录到有形数据存储介质103中。首先，通过背景减除遮罩(有时称为BGS遮罩)的应用提取前景对象图像特征；在一些实施例中，尽管可以实施其它方法，但是这基于高斯混合模型方法来确定。这种BGS遮罩表明场景感兴趣的区域(ROI)内部的像素是否属于背景设置(并且从而由零来标记)或者作为前景对象(由一来标记)。由于它覆盖对象以及对象的阴影和一些周围区域，因此这种遮罩通常将对象范围定义为实际的、基础对象的超集。[0026]在104处提取的第二特征是光流，所述光流是针对连续帧之间每个像素的移动的稠密流谱，所述稠密流谱通常仅从输入视频图像数据的与提取的前景范围数据同延或者由提取的前景范围数据定义的那些部分或者区域提取。图2示出了从定义视频帧图像场景206感兴趣的区域范围的范围204提取的稠密光流场202的一个示例，所述视频帧图像场景206被指示为包括基础对象(车辆205)。像素“P”的光流通常可以表示为运动矢量(u_p，v_P)，其中“u_p”表示“P”的光流矢量的X轴分量(或者水平分量)，以及“v_p”通常表示流矢量的y轴分量(或者垂直分量)。如果像素在连续帧上是静止的，那么它的光流将为(0，0)，如稠密光流场202中的照明区域208表示的；如果不是静止的，那么(u_p，v_p)将具有非零值，由暗区210表示。尽管可以实施各种方法来计算光流特征，但是一些实施例使用变流方法(Variational Flow)计算光流。
[0027]在104处，通过BGS遮罩处理提取的前景数据特征通常在定义区域内定义具有大小和长宽比的前景范围。在106处，根据用户指定的偏好在预滤波阶段中滤除其大小和长宽比与感兴趣的静态对象的大小或者长宽比不匹配的对象范围，在一个示例中，移除范围太小而不能与视频图像场景的比例内的交叉口行人或者车辆匹配，或者太大而不能是最大的可能的卡车或者公共汽车等。在106处的长宽比预滤波还除去作为异常的具有奇怪形状的范围，例如具有大于三的长宽比或者具有一些其它形状属性的那些范围，其表明由检测的范围表示的对象不可能是车辆、行人或者感兴趣的其它交叉口对象。因此，预滤波步骤106在数据分析中的任何早期点处除去可能在其它现有技术处理中触发错误警报的伪数据和明显错误的检测输入，从而提供提闻的效率。
[0028]因此，如果在106处检测到使其通过预滤波器的前景范围，那么过程确定基础对象存在于检测的前景范围内并且在110处通过评估的前景范围的移动特征来确定基础对象是否在运动中。在本实施例中，在Iio处，从针对光流的直方图中的前景范围的帧数据收集累积的光流统计，所述光流的直方图包括包括第一柱，表示具有零光流幅值的像素的频率，表示包括对象的BGS前景区域的“静态”面积，并且多个其它柱表示在它们各自的方向中的每一个中具有光流指向的像素的频率。
[0029]图3示出了其中为以45度增量分布在检测对象范围的可能行程的2D旋转取向周围的对应的、编号的方向箭头提供的一到八个方向直方图(八个方向箭头通常各自平行于对象行进于其上的表面)的一个实施例。应当理解，其它实施例可以利用或多或少的方向直方图。通常，在110处，仅在BGS遮罩区域204上(图2)收集直方图数据，在一个方面最小化由对象的相邻区域引入的噪声。如果对象的静态面积接近由BGS前景遮罩贡献的总面积(大约相同大小或者更大)，那么在110处对象被声明为处于静态状态，并且否则(如果第一柱面积小于其它柱的总面积)，由前景范围表示的对象被认为在运动中。
[0030]移动对象。如果在110处确定对象在运动中，那么在112处确定其主导移动方向。在一个示例中，主导移动方向被计算为所有它的光流(也就是不同方向的柱中的每一个的方向柱频率)的算术平均数，其产生图4中所示的平均流箭头确定402。其它实施例可以使用其它技术或者加权方式。在114处，将确定的主导移动方向402与交叉口通路(在本示例中为铁路轨道404)的取向相比较以确定对象是否在平行方向上移动。如果402平行于404，那么这将表明基础检测对象没有横跨通路(列车轨道)，而相反可能是在交叉口通路上行进的对象，实际上是沿着轨道移动的列车车厢或者其它铁路车辆。因此，这种对象在横跨时变成静态不值得关注，并且可以终止对这种对象的进一步考虑或者分析，并且过程在115处重置并且返回至开始以便在104处对输入视频图像102进一步分析。
[0031]然而，如果在114处确定目标对象的主导移动方向402不平行于列车轨道取向404，那么为了跟踪对象并且确定对象是否保持移动(为了前进通过并且从而清空交叉口)或者相反在平面交叉口区域中变为停止(静态)，范围的分析在116处继续。
[0032]静杰对象。在116处，确定前景对象感兴趣的区域的外观，并且触发静态计时器以确定提取的前景对象图像特征的基础对象范围是否保持静态并且固定在前景对象区域的确定的外观中(更具体地，在交叉口区域内并且因此可能导致碰撞危险)。该过程响应于在110处确定交叉口中静态对象的存在，并且还可以当在108处表明没有对象存在(移动或者相反)时被触发。在一个实现中，在116处在对象的静态区域上使用和应用彩色直方图。另夕卜，在116处更新对象的静态区域以包括最新的静态像素。如果这是当前静态的对象的第一观察(在更新像素数据之后)，那么启动计时器；否则，如果在上一个(当前)像素数据更新之前进行了静态的先前静态观察，那么继续已经启动的计时器。当前景对象区域的确定外观包括提取的前景对象图像特征时，计时器运行，直到计时器的值达到118处用户定义的时间阈值，其中基础对象已经在交叉口区域中保持静态至少阈值时间，所述阈值时间被选择用于指示应当采取纠正措施。相应地，在119处触发事件以指示平面交叉口区域中停止/废弃的对象。
[0033]混合对象。“混合对象”指的是长时间静态并且从而被BGS模块确定为背景的一部分(或者“被修复到”背景中)的那些前景对象，这是BGS方法的普遍和不可避免的问题并且其可以导致在交叉口区域中不存在对象的错误判断。如图5中所示，在对象进入视频图像数据中的场景之前，来自特征提取处理的输出(例如，图1的104处)发现没有前景对象数据(“没有FG”)并且没有光流数据的显著水平或者阈值水平(“没有0F”)。当对象进入场景时，在104处，过程接着通过由范围数据生成的FG和OF数据来确定对象的存在。当BGS过程继续“观察”对象时(FG数据仍然存在)，如果对象停止并且保持静态，那么OF数据转换到静态状态，基本上为“没有0F”。然而，在满足118处的计时器判断和在119处触发事件警报之前，在场景内保持静态足够时间以在118处触发静态计时器阈值的对象还可以被“修复”或者获知到背景中。在现有技术方法下，如果FG数据被修复到背景中，那么在计时器达到静态阈值之前提取的数据不再指示在某一点处对象的存在，并且因此计时器将停止运行并且不满足阈值时间，从而在119处不会触发事件警报。
[0034]当在118处触发的计时器正在运行时，本发明的实施例在120处通过提取预先记录的静态区域外观数据并且使用提取的数据来计算图像的当前区域外观来解决这一问题。如果这两个外观是相似的(在122处，它们在一定距离测量阈值内匹配)并且静态对象的存在之前已经在108处确定，那么即使对象数据已经在当前区域外观判断时在间隔时间周期中被修复到背景中，过程也确定在116处初始确定的外观内的前景对象仍然存在。如图5中所示，BGS数据没有从FG转换成背景，而是转换成“静态”，即使FG数据另行被修复到背景中，这也保持计时器进行到事件警报触发阈值。
[0035]在120处提取预先记录的静态区域外观数据以确定图像的当前区域外观以及在122处与初始外观相匹配的步骤可以发生在启动的静态计时器运行时的任何时间，包括在迭代或者重复的周期性基础上。在120处通过使用预先记录的数据103，在116处的初始外观确定中的前景对象确定在过程中持续超出现有技术中普遍的修复点，从而通过使用在120处确定的当前图像作为前面记录的静态对象的延续，计时器可以在118处继续运行并且在119处触发事件警报(如果满足的话)。
[0036]相对于与仅基于背景减除结果的现有技术方法，本发明的实施例由此提供提高的性能用于可靠地检测铁路平面交叉口上停止的对象。还可以在各种其它通路交叉口背景中实现实施例，例如公路交叉口、上坡道和下坡道的高速公路和其它区域(其中在其它对象的行进的期望或者预计路径中识别静态对象是有用的)。
[0037]根据本发明的静态分析提供证据证明目标对象不仅是真实的前景对象而且它实际上在关注的平面交叉口或者其它区域上为静态的。这与对象是否在运动的任何判断无关地检测前景对象的现有技术方法形成对比。相反，对象的行进方向帮助本发明的实施例确定对象是否为被穿过的通路的一部分(例如，经过的列车车厢沿着铁路轨道行进)或者是为了避免与被穿过的通路的移动对象相撞而应当被跟踪的其它车辆、行人等。静态和运动方向分析还可以通过计算来自实时场景数据和历史场景数据的当前区域外观并且由此防止通过修复跟踪的对象的损失或者对象存在检测的其它意外丢失，来有效地处理可能在触发静态对象事件判断所需的时间周期上影响对象判断的周期性前灯干扰、其它照明变化以及图像数据质量。
[0038]现参照图6，本发明的实施例的示例性计算机化实施方式包括与视频数据输入设备102 (摄像机、硬盘驱动器、网络端口等)通信的计算机系统或者其它可编程设备522，用于提供用于应用计算机视觉技术以自动检测如上参照图1-5所述的通路交叉口内静态对象的存在的视频数据输入。指令542驻留于计算机可读存储器516中或者计算机可读存储系统532或者由中央处理单元(CPU) 538通过计算机网络架构526存取的其它有形计算机可读存储介质中的计算机可读代码内。因此，当由处理单元538实现时，指令使得处理单元538执行图像数据的计算机视觉技术分析用于检测如上所述的通路交叉口内静态对象的存在。
[0039]本发明的实施例还可以在订阅、广告和/或付费基础上执行本发明的处理步骤。也就是说，服务提供商可以提议将计算机可读程序代码集成到计算机系统522中以使得计算机系统522能够执行图像数据的计算机视觉技术分析，用于检测如上所述通路交叉口内静态对象的存在。服务提供商可以对计算机架构(例如计算机系统522、网络环境526或者其部分)进行创建、维护和支持等，所述计算机架构为一个或者多个顾客执行本发明的处理步骤。作为回报，服务提供商可以在订阅和/或收费协议下从一个或者多个顾客接收付款和/或服务提供商可以从向一个或者多个第三方销售的广告内容接收支付。服务可以包括以下中的一个或者多个:(I)通过有形计算机可读介质设备520或者532在计算设备(计算机设备522)上安装程序代码；(2)将一个或者多个计算设备添加至计算机架构；以及(3)合并或者修改计算机架构的一个或者多个现有系统以使得计算机架构能够执行本发明的处理步骤。
[0040]在这里使用的术语仅仅是为了描述具体实施例而不意图限制本发明。如此处使用的，除非上下文清楚地另作说明，单数形式〃 一个〃(〃a〃)、〃 一种〃(〃an〃)和〃所述〃("the")意图是也包括复数形式。此外还应理解，当本说明书使用术语〃包括〃(comprise和/或comprise)时，是说明存在指定的特性、整数、步骤、操作、元件和/或组件，但并不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或增加。在本发明中描述的包括在权利要求中和如图所示的某些例子和元件，可以通过独特的形容词(例如〃第一 〃元件不同于多个元件中的另外的〃第二 〃或者〃第三〃元件、〃主要的〃不同于〃次要的〃或者〃另一个〃项目等等)与其他进行区别或者标识。这种标识形容词通常地用于减少混淆或者不可靠，并且不应被解释为限制权利要求至任何特定说明的元件或实施例，或者至暗示任何权利要求元件、限制或工序的优先、顺序或者等级。
[0041]在以下权利要求书中的相应的结构、材料、动作和所有装置或步骤加功能性元素的等价物意图包括用于执行如具体要求的与其他要求的元素组合的所述功能的任何结构、材料或者动作。已经出于示例但是说明的目的给出了本发明的说明书，并且其不是穷举的或者局限于所公开的本发明。在不背离本发明的保护范围和精神的情况下，本领域普通技术人员将明白多种改型和变化。为了最佳地阐明本发明和实际应用的原理并且为了能够使得本领域普通技术人员理解具有适于所设想的特定使用的各种改型的各种实施例的本发明，选择并且描述了实施例。
【权利要求】
1.一种用于应用计算机视觉技术以自动检测第二通路的第一通路交叉口内静态对象的存在的方法，所述方法包括: 响应于来自第二通路与第一通路的平坡度交叉口的场景的输入视频图像数据，处理单元通过应用背景减除遮罩提取前景对象图像特征和提取由所提取的前景对象图像特征定义的来自所述输入视频图像数据的区域的光流图像特征，并且将所述前景对象图像特征和光流图像特征记录到有形数据存储介质中； 所述处理单元通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的； 如果所评估的移动特征表明所述基础对象是在运动中，那么所述处理单元根据所提取的光流图像特征确定所述基础对象的主导移动方向； 如果所述基础对象的所确定的主导移动方向平行于与所述第一通路交叉的所述第二通路的取向，那么所述处理单元重置所述方法并且不生成事件警报；以及 如果所评估的移动特征表明所述基础对象是静态的，或者所述对象在运动中并且所述基础对象的所确定的主导移动方向不平行于与所述第一通路交叉的所述第二通路的取向，那么所述处理单元: 确定所述前景对象区域的初始外观； 启动并且运行静态计时器，所述静态计时器在所述前景对象区域包括所提取的前景对象图像特征时运行； 当所述前景对象区域的所确定的外观包括所提取的前景对象图像特征时，如果所启动的静态计时器达到阈值，那么生成事件报警；以及 其中所述事件报警表明静态对象正在阻挡所述交叉口第二通路上的行进。
2.根据权利要求1所述的方法，其中所述处理单元确定所述前景对象区域的所述外观并且启动和运行所述静态计时器的步骤进一步包括: 从记录到所述有形数据存储介质中的所述前景对象图像特征和光流图像特征，为由所提取的前景对象图像特征定义的输入视频图像数据的区域提取预先记录的静态区域外观数据； 使用所提取的预先记录的静态区域外观数据来确定由所提取的前景对象图像特征定义的输入视频图像数据的所述区域的当前外观；以及 当所述计时器正在运行并且所述当前区域外观在距离测量阈值内与所述初始区域外观匹配时，如果所提取的前景对象图像特征被获知到背景中，那么使所启动的计时器保持运行。
3.根据权利要求2所述的方法，其中所述处理单元评估所述前景对象图像特征的移动特征的步骤包括: 从直方图中所述前景对象图像特征的帧数据收集光流统计，所述直方图包括累积具有零光流幅值的像素的频率的第一柱，所述第一柱表示所述基础对象的静态面积，以及多个其它柱，所述多个其它柱各自累积在多个不同的、相应方向中的每一个中具有光流指向的像素的频率； 如果由所述第一柱累积频率表示的包括所述对象的所述前景区域的面积至少大约与由多个其它不同的、相应方向的柱的累积频率表示的面积的总数相同，那么确定所提取的前景对象图像特征的所述基础对象是静态的；以及 如果由第一柱累积频率表示的前景区域的面积小于由多个其它不同的、相应方向的柱的累积频率表示的面积的总数，那么确定所提取的前景对象图像特征的所述基础对象在运动中。
4.根据权利要求3所述的方法，其中所述基础对象的主导移动方向被确定为所述多个其它不同的、相应方向的柱的累积频率的算术平均数。
5.根据权利要求4所述的方法，其中确定由所提取的前景数据定义的输入视频图像数据的所述区域的外观包括在由所述第一柱的累积静态频率表示的所述前景区域的所述面积上实现和应用彩色直方图。
6.根据权利要求5所述的方法，其中所述处理单元通过应用背景减除遮罩提取所述前景范围区域对象图像特征的步骤包括基于高斯混合模型方法确定背景减除遮罩特征。
7.根据权利要求5所述的方法，其中所述处理单元提取所述光流图像特征包括针对由所提取的前景对象图像特征定义的输入视频图像数据的所述区域内的像素确定变流光流特征。
8.根据权利要求5所述的方法，进一步包括，在所述处理单元通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的步骤之前，如果从通过所述背景减除遮罩提取的所述前景对象图像特征定义的前景范围具有与预定大小或者长宽比的值不匹配的大小或者长宽比，那么: 滤出所述前景对象图像特征； 重置所述方法；以及 不生成所述事件警报。
9.一种用于应用计算机视觉技术以自动检测第二通路的第一通路交叉口内静态对象的存在的系统，包括: 被配置为响应于来自第二通路与第一通路的平坡度交叉口的场景的输入视频图像数据，通过应用背景减除遮罩提取前景对象图像特征并且将所述前景对象图像特征记录到有形数据存储介质中和由所提取的前景对象图像特征定义的来自所述输入视频图像数据的区域的光流图像特征的装置； 被配置为通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的装置； 被配置为如果所评估的移动特征表明所述基础对象是在运动中，那么根据所提取的光流图像特征确定所述基础对象的主导移动方向的装置； 被配置为如果所述基础对象的所确定的主导移动方向平行于与所述第一通路交叉的所述第二通路的取向，那么重置所述方法并且不生成事件警报的装置；以及 被配置为所评估的移动特征表明所述基础对象是静态的，或者所述对象在运动中并且所述基础对象的所确定的主导移动方向不平行于与所述第一通路交叉的所述第二通路的取向，那么执行如下功能的装置: 确定所述前景对象区域的初始外观； 启动并且运行静态计时器，所述静态计时器在所述前景对象区域包括所提取的前景对象图像特征时运行；当所述前景对象区域的所确定的外观包括所提取的前景对象图像特征时，如果所启动的静态计时器达到阈值，那么生成事件报警；以及 其中所述事件报警表明静态对象正在阻挡所述交叉口第二通路上的行进。
10.根据权利要求9所述的系统，其中被配置为确定所述前景对象区域的外观并且启动和运行所述静态计时器的装置进一步被配置为: 从记录到所述有形数据存储介质中的所述前景对象图像特征和光流图像特征，为由所提取的前景对象图像特征定义的输入视频图像数据的区域提取预先记录的静态区域外观数据； 使用所提取的预先记录的静态区域外观数据来确定由所提取的前景对象图像特征定义的输入视频图像数据的所述区域的当前外观；以及 当所述计时器正在运行并且所述当前区域外观在距离测量阈值内与所述初始区域外观匹配时，如果所提取的前景对象图像特征被获知到背景中，那么使所启动的计时器保持运行。
11.根据权利要求10所述的系统，其中被配置为评估所述前景对象图像特征的移动特征的装置被配置为: 从直方图中所述前景对象图像特征的帧数据收集光流统计，所述直方图包括累积具有零光流幅值的像素的频率的第一柱，所述第一柱表示所述基础对象的静态面积，以及多个其它柱，所述多个其它柱各自累积在多个不同的、相应方向中的每一个中具有光流指向的像素的频率； 如果由所述第一柱累积频率表示的包括所述对象的所述前景区域的面积至少大约与由多个其它不同的、相应方向的柱的累积频率表示的面积的总数相同，那么确定所提取的前景对象图像特征的所述基础对象是静态的；以及 如果由第一柱累积频率表示的前景区域的面积小于由多个其它不同的、相应方向的柱的累积频率表示的面积的总数，那么确定所提取的前景对象图像特征的所述基础对象在运动中。
12.根据权利要求11所述的系统，其中所述基础对象的主导移动方向被确定为所述多个其它不同的、相应方向的柱的累积频率的算术平均数。
13.根据权利要求12所述的系统，其中确定由所提取的前景数据定义的输入视频图像数据的所述区域的外观包括在由所述第一柱的累积静态频率表示的所述前景区域的所述面积上实现和应用彩色直方图。
14.根据权利要求13所述的系统，其中被配置为通过应用所述背景减除遮罩提取所述前景范围区域对象图像特征的装置被配置为基于高斯混合模型方法确定背景减除遮罩特征。
15.根据权利要求13所述的系统，其中被配置为提取所述光流图像特征的装置被配置为针对由所提取的前景对象图像特征定义的输入视频图像数据的所述区域内的像素确定变流光流特征。
16.根据权利要求13所述的系统，进一步包括，在所述处理单元通过评估所述前景对象图像特征的移动特征来确定所提取的前景对象图像特征的基础对象是在运动中还是静态的步骤之前，如果从通过所述背景减除遮罩提取的所述前景对象图像特征定义的前景范围具有与预定大小或者长宽比的值不匹配的大小或者长宽比，那么被配置为执行如下功能的装置: 滤出所述前景对象图像特征； 重置所述方法；以及 不生成所述事件警报。`
【文档编号】G06K9/46GK103530632SQ201310264479
【公开日】2014年1月22日 申请日期:2013年6月28日 优先权日:2012年6月28日
【发明者】R·S·弗里斯, 翟昀 申请人:国际商业机器公司