用于车辆分类的方法和系统与流程

本案是申请号：201280023237.0，发明名称为：用于车辆分类的方法和系统的分案申请。本发明涉及一种车辆分类的方法和系统，并且更特别地涉及一种使用视频和/或视频图像的称作分层车辆分类系统的方法和系统、一种使用车辆离地间隙测量系统的车辆分类的方法和系统，以及用于客运车辆的分类并且测量它们的属性的方法和系统，而且更特别地涉及从单个相机捕获沿着道路行进的车辆并且将所述车辆分类成3个类别中的一个：轿车(sedan)、皮卡(pickup)和/或小型货车(minivan)及suv(运动型多用途车)。

背景技术：

车辆被典型地分类成六(6)个类别中的一个：轿车、皮卡、小型货车、suv(运动型多用途车)、公共汽车以及卡车。当前，人们认为用于分类路上民用车辆的这种系统不存在。基于现有技术水平视频的车辆分类器单独基于它们的大小来分类车辆。因此，这些系统在各种客运和商用车辆的细粒分类中失败。

已经针对车辆的侧视图做过学术研究；然而，用于根据后视图视频来分类车辆的现有工作不存在。典型系统具有指向道路车道的相机使得该相机的水平扫描线与地平线平行。因此，将期望具有用于根据车辆的后视图和/或后端的视频的车辆的分层分类的软件系统。

此外，客运车辆分类的当前方法和系统依靠车辆的侧视图。通常，车辆的侧剖面是用来准确地分类车辆的关键信息。然而，在多车道道路上，侧剖面能够容易地被其他车辆挡住。此外，沿着高速公路和其他道路部署的大多数相机捕获车辆的后视图使基于侧剖面的技术变得无用。因此，存在对基于车辆的后端或后部的相机图像来分类客运车辆的系统和方法的需要。

技术实现要素：

依照示例性实施例，用于计算车辆的分层分类的方法包括：使用移动对象检测系统来定位移动对象；基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是否是小车辆或大车辆；以及将所述移动对象分配给分类器以得到细化分类。

依照进一步的示例性实施例，用于车辆的分类的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：使用移动对象检测系统来定位移动对象；基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是否是小车辆或大车辆；以及将所述移动对象分配给分类器以得到细化分类。

依照进一步的示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：使用移动对象检测系统来定位移动对象；基于所述移动对象相对于车行道车道的宽度的宽度来确定所述移动对象是否是小车辆或大车辆；以及将所述移动对象分配给分类器以得到细化分类。

依照示例性实施例，用于计算车辆的间隙的方法包括：(a)标定相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照(licenseplate)；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将所述扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得车辆的离地间隙。

依照进一步的示例性实施例，用于车辆的分类的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：(a)标定相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将所述扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得车辆的离地间隙。

依照进一步的示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：(a)标定相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将所述扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的所述距离减去步骤(i)中的所述距离以获得车辆的离地间隙。

依照示例性实施例，用于计算车辆的间隙的方法包括：标定相机图像与路面之间的变换；检测针对其间隙将被计算的车辆上特征的位置；检测车辆阴影的位置；跟踪车辆上的特征和车辆阴影随着时间的推移的位置；倒转车辆的特征和阴影的位置并且计算位置倒数（inverse）之间的差；使用所述差与车辆的高度之间的关系来基于车辆的高度之间的差计算来自后视图的车辆的最低可见部分与道路之间的距离；以及基于车辆的间隙来分类所述车辆。

依照进一步的示例性实施例，用于计算车辆的间隙的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：标定相机图像与路面之间的变换；检测针对其间隙将被计算的车辆上特征的位置；检测车辆阴影的位置；跟踪车辆上的特征和车辆阴影随着时间的推移的位置；倒转车辆的特征和阴影的位置并且计算位置倒数之间的差；使用所述差与车辆的高度之间的关系来基于车辆的高度之间的差计算来自后视图的车辆的最低可见部分与道路之间的距离；以及基于车辆的间隙来分类所述车辆。

依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：标定相机图像与路面之间的变换；检测针对其间隙将被计算的车辆上特征的位置；检测车辆阴影的位置；跟踪车辆上的特征和车辆阴影随着时间的推移的位置；倒转车辆的特征和阴影的位置并且计算位置倒数之间的差；使用所述差与车辆的高度之间的关系来基于车辆的高度之间的差计算来自后视图的车辆的最低可见部分与道路之间的距离；以及基于车辆的间隙来分类所述车辆。

依照示例性实施例，用于车辆的分类的方法包括：(a)标定相机图像与路面之间的变换；(b)检测相机图像中的路面上的移动对象；(c)为所述移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据被发送到分类器的投影表面中的改变来计算不同结构签名。

依照进一步的示例性实施例，用于车辆的分类的系统包括：相机，用于捕获至少一个移动对象的图像；以及计算机处理单元，其执行以下步骤：(a)标定相机图像与路面之间的变换；(b)检测相机图像中的路面上的移动对象；(c)为所述移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据被发送到分类器的投影表面中的改变来计算不同结构签名。

依照进一步的示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质，所述计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：(a)标定相机图像与路面之间的变换；(b)检测相机图像中的路面上的移动对象；(c)为所述移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据被发送到分类器的投影表面中的改变来计算不同结构签名。

本公开的一个或多个实施例的细节在下面在附图和描述中被阐述。其他特征、目的以及优点从描述和图中并且从权利要求中将是显而易见的。

附图说明

附图被包括来提供对本发明的进一步理解，并且被并入和构成本说明书的一部分。图图示了本发明的实施例，并且连同描述一起用来解释本发明的原理。在图中，

图1示出了依照示例性实施例的分层分类系统的图。

图2示出了用于检测大车辆与小车辆相对的斑点（blob）的分层分类系统的示例。

图3示出了依照示例性实施例的用于在卡车与公共汽车之间分类的分类系统的示例。

图4示出了依照示例性实施例的例外分类的示例。

图5示出了依照实施例的用于车辆离地间隙测量系统的示例性设置。

图6示出了提供用于与如图5中所示出的车辆离地间隙测量系统一起使用的基线的路面的透视图像。

图7示出了路面上的多个位置的相机平面。

图8示出了依照示例性实施例的车辆间隙估计的图。

图9示出了依照示例性实施例的车辆间隙估计系统的流程图。

图10示出了依照示例性实施例的用于车辆离地间隙测量系统的另一示例性设置。

图11示出了由针对如图10中所示出的车辆离地间隙测量系统的设置所捕获的图像。

图12示出了如图10中所示出的车辆离地间隙系统的系统图。

图13示出了来自具有两个感兴趣投影的侧视图的针对移动车辆的投影随着时间的几何结构的图像。

图14示出了用于表征地平面上投影中的改变的图像和计算。

图15示出了用于表征地平面上投影中的改变的另一图像和相关计算。

图16示出了依照示例性实施例的用来确立路面与相机图像之间的映射的标定的图像。

图17示出了依照示例性实施例的移动对象检测系统的流程图。

图18示出了依照示例性实施例的对称检测系统的流程图。

图19示出了针对多个车辆的结构签名的一系列照片。

图20示出了依照示例性实施例的系统图的流程图。

具体实施方式

基于视频的分层车辆分类系统

依照示例性实施例，在本文中描述了用于车辆根据它们的后视图视频的分层分类的软件系统。车辆被典型地分类成六(6)个类别中的一个：轿车、皮卡、小型货车、suv(运动型多用途车)、公共汽车以及卡车。这时，人们认为用于分类路上民用车辆的这种系统不存在。基于现有技术水平视频的车辆分类器单独基于它们的大小来分类车辆。因此，它们在各种客运和商用车辆的细粒分类中失败。依照示例性实施例，如图1中所示出的基于视频的分层车辆分类系统100，其将车辆分类成六(6)个分类中的一个，所述六个分类包括轿车110、皮卡120、小型货车130、suv(运动型多用途车)140、公共汽车150以及卡车160。本系统优选包括指向道路车道的相机使得该相机的水平扫描线与地平线平行。一旦相机已被定位，系统就检测下列的：

系统首先检测道路上的车道：

采用诸如霍夫(hough)变换之类的边缘检测技术和表决方法，道路或车行道上的车道被检测。如果检测到多个车道，则基于其诸如来自相机的可见性、交通密度等之类的属性来选择感兴趣车道。对于多个车道，该多个车道中的每一个都通过为所检测到的车道中的每一个实现本系统而被处理。

系统使用移动对象检测来定位视频中的移动对象：

使用标准移动对象检测技术，来自视频的移动对象被检测。依照示例性实施例，如果多个移动对象被检测到则它们被个别地处理。

基于对象的大小，大或小车辆分类器被激活：

客运车辆和商用车辆能够基于它们的大小与彼此相区分。不像旨在执行车辆基于其大小的细粒分类的现有技术水平系统，依照示例性实施例，如本文中所描述的可替换的方法使用大小来区别客运和商用车辆，这是更可靠的。现有技术水平系统检测移动斑点的大小以实现基于大小的分类。依照示例性实施例，关于车辆大小的判定200是基于如图2中所示出的斑点宽度与车道宽度的比较，即使整个车辆尚未进入相机的视图这也允许系统进行小/大判定。例如，如图2中所示，大车辆210的前缘202占据车道的大部分，例如超过90%，而小车辆220的前缘202占据较小的，例如少于90%。因此，与基于斑点的方法相比能够较早地做出或者进行判定。

小车辆分类器具有以下步骤：

基于结构，车辆被分类成轿车、皮卡以及小型货车+suv类别。依照实施例，如果车辆被分类为小型货车+suv，则小型货车+suv分类器被激活。如果例外情况被检测到则例外分类器被激活。

大车辆分类器具有以下步骤：

依照示例性实施例，在步骤1中，移动对象的两侧对称的垂直轴被确立。在步骤2中，诸如阴影之类的检测对象的不对称部分被分开。在步骤3中，对象中的主导垂直边缘被检测。在步骤4中，如果一个或多个主导垂直边缘存在于对称的垂直轴附近，则对象被分类为卡车。在步骤5中，如果朝对象的左右末端对称的一对主导垂直边缘存在，则对象被分类为卡车。可替换地，在步骤6中，如果对象朝左右末端不具有对称的一对主导垂直边缘，则对象被分类为公共汽车。图3示出了卡车310和公共汽车320的后部部分的多个图像300，其中卡车310朝左右末端具有对称的一对主导垂直边缘330，而公共汽车320朝左右末端不具有对称的一对主导垂直边缘。在步骤7中，如果例外情况被检测到，则例外分类器被激活。

小型货车/suv(小型货车+suv)分类器具有以下步骤：

依照示例性实施例，车辆(移动对象)的离地间隙被估计，如果对象具有高的离地间隙，则它被分类为suv。可替换地，如果对象具有低的离地间隙，则它被分类为小型货车；而如果例外情况被检测到则例外分类器被激活。

例外分类器结合规则来重新分类前面的分类器组未能分类的对象：

依照另一示例性实施例，能够重新配置这个分类器的元素。例如，掀背式轿车：如果小车辆被分类为小型货车/suv，但具有较小的斑点大小则将它重新分类为掀背式轿车/如图4a中所示出的旅行轿车410；具有安装在后部的备用轮的suv：如果具有圆形对称大小的轮的小车辆在车辆的后部上被检测到，则将它分类为如图4b中所示出的suv420；油罐卡车：如果具有非矩形状后部的大车辆被检测到，则将它分类为如图4c中所示出的油罐卡车430；以及卡车：如果具有红白色的反光带范型442的大车辆被检测到，则将该车辆分类为如图4d中所示出的卡车440。

系统的应用：

如本文中所描述的系统和方法能够被用于：分类道路上的车辆；分开商用和客运车辆；标识商用和客运车辆以得到自动的基于类别的收费；针对法律实施检测车道限制违犯；交通分析；和/或确保对车辆的有限/受控访问的安全相关应用。

系统的变化：

如本文中所描述的系统能够被实现用于根据后视图和/或正视图和/或侧视图来分类车辆。可替换地，能够实现检测各类别中的仅几个的部分分类器。此外，各部分或完整系统能够被实现为等效硬件实施方式。

依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质。计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：使用移动对象检测系统来定位移动对象；基于移动对象的大小来确定移动对象是否是小车辆或大车辆；以及基于移动对象的大小将移动对象分配给分类器。

计算机可用介质当然可以为磁记录介质、磁光记录介质或将来将被开发的任何其他记录介质，其全部能够被认为以全部相同的方式适用于本发明。包括主要和辅助复制产品及其他东西的这种介质的复制品无疑被认为相当于上述介质。此外，即使本发明的实施例是软件和硬件的组合，它也根本不会背离本发明的构思。本发明可以被实现使得其软件部分已被提前写到记录介质上并且将在操作中根据需要而被读取。

车辆离地间隙测量系统

在本文中公开了根据它们的后视图视频来计算诸如保险杠之类的车辆部分离道路或地面的间隙的方法和系统。依照示例性实施例，所述方法和系统从后视图提供小型货车与suv(运动型多用途车)类别之间的分离，这从诸如大小、长度、宽度、运动轨迹以及形状剖面之类的其他测量是不可能的。

依照示例性实施例，系统包括相机，所述相机被以其水平扫描线与地平线平行的这样一种方式安装。此外，相机被优选配置成看到道路的车道中的一个。图5-7示出了系统的基本设置，所述系统包括具有到路面420上的投影的光线410的相机(未示出)，所述投影的光线与车辆的后保险杠430相交。图6示出了来自透视图的示例性路面600，而不同的相机角度700如图7中所示。依照示例性实施例，标定阶段，针对图像中的每条扫描线的标度被计算。根据透视投影，对象被与那儿到相机的距离成反比例地换算，其中。如果相机的扫描线与地平线平行，则第y条扫描线在道路上的投影具有与它相关联的标度，例如标度(y)。能够根据车道宽度来计算以像素/英尺为单位的标度。对于每条扫描线，如果道路上的两个成像点之间的距离是已知的，则能够确立标度。例如，能够针对每条扫描线检测车道末端和r并且车道宽度已知为12英尺。对于每条扫描线系统找到标度作为两点之间的像素的数目和道路上它们之间的距离的比值。

定位图像中的车辆的牌照

图8示出了依照示例性实施例的车辆间隙估计800的图。如图8中所示，在自动牌照识别(alpr)模块的帮助下系统定位车辆的牌照810。

计算牌照的水平标度和垂直标度

牌810的水平标度被计算为以像素为单位的宽度对以英尺为单位的宽度的比值。同样地，牌810的垂直标度被计算为以像素为单位的高度对以英尺为单位的高度的比值。

执行标度匹配

牌照的水平标度与每条扫描线的标度进行比较，并且其中各标度是相等的扫描线被找到。

计算牌照的高度

匹配扫描线与牌照的顶部之间的扫描线的数目被计算。这个数目被除以编号牌的垂直标度以找到牌照离地面的高度。

计算车辆的最低边缘与牌照的顶部之间的距离

牌照的顶部与车辆的最低可见部分之间的扫描线的数目被计算。这个数目被除以编号牌的垂直标度以找到牌照离的顶部到车辆的最低可见部分之间的距离。

计算离地间隙

距离减去距离以找到车辆的离地间隙。图9示出了依照如上所述的示例性实施例的车辆间隙估计系统900的流程图。

应用

离地间隙能够在车辆分类例如区分小型货车与suv(运动型多用途车)、公共汽车与卡车中作为特征被估计。

替代实施方式

代替牌照，车辆后表面上的其他已知尺寸还能够被用来计算车辆上的标度。例如如图10中所示，描述了从后视图提供小型货车和suv类别之间的确定的系统和方法，这从诸如大小、长度、宽度、运动轨迹以及形状剖面之类的其他测量是不可能的。如图10中所示，系统1000包括相机1010，所述相机1010被以其水平扫描线与地平线平行的这样一种方式安装。此外，相机1010通过看到道路1030的车道中的一个的至少一部分来捕获车辆1020。图11示出了由如图10中所示出的相机1010所捕获的图像1100。以下步骤被采取：

相机参数被测量

为了测量车辆的离地间隙，车辆通过相机而被观察。在能够计算间隙之前，相机高度、相机俯角以及相机焦距被测量。

线在无穷远处的投影被找到

在无穷远处的线被确立为通过图像中两条平行线的交点的水平线。这些线可以是如图11中所示出的车道标记a和。

计算各特征的位置的偏移。

车辆特征被在水平图像坐标和垂直图像坐标处的相机捕获。车辆当它在道路车道中离去时被相机记录。仅车辆特征的垂直坐标中的改变是明显的。车辆特征的位置相对于线在无穷远处的投影被计算。这通过将偏移加到图像位置来实现。所加偏移是图像的第一水平扫描线的图像坐标与线在无穷远处的投影的图像坐标之间的差。对于在图像坐标处的特征，它的位置被计算为。

针对其间隙将被估计的特征的位置被检测。

一般而言，车辆的间隙是来自后视图的车辆的最低可见部分与道路之间的距离。可替换地，它可以是保险杠的顶部/中间/底部与道路之间的距离。特征能够通过诸如边缘检测、区分段、群集以及分类之类的图像处理和模式识别技术的组合来检测。如果检测到的特征对于图像坐标具有一个以上的值，则代表性值被用来计算特征位置。对于的选择是最大或最小值、最频繁值或值的加权和等。当的最大值表示特征的最低部分时，它是典型选择。帧中特征的位置被计算为。

车辆阴影的位置被检测。

对于车辆，它的阴影被定位。能够以不同的方式来定位阴影：基于太阳或其他主导光源、相机的位置和道路几何结构；当阴影是不对称的时基于对称推理；当阴影被投在车辆之下时基于图像位置；当阴影低于它们落在上面的对象的密度时基于密度。如果检测到的阴影对于图像坐标具有一个以上的值，则代表性值被用来计算特征位置。对于的选择是最大或最小值、最频繁值或值的加权和等。当的最大值表示阴影的最低部分时，它是典型选择。帧中特征的位置被计算为。

车辆部分和阴影的位置随着时间被跟踪。

车辆随着时间而移动，并且因此阴影和车辆部分也在由相机所捕获的图片中移动。使用诸如密度、颜色、边缘、区、图像位置等之类的属性。阴影和车辆部分位置两者都随着时间被跟踪。特征的位置被存储为、等等。类似地，阴影的位置被存储为、等等。跟踪被继续持续个帧。在这里且车辆对于相机而言是可见的帧的数目。

位置倒数之间的差被计算。

对于每个帧，特征和阴影位置被倒转。

其中不同帧的位置倒数之间的差被计算。

典型地=1即针对连续帧来计算各差。

使用差与车辆部分的高度之间的关系，车辆的间隙被计算。

对于在帧和之间以速度移动的对象来说，其间隙与道路相距的特征的各位置的倒数之间的差是

如果速度是已知的，则上述等式被求解以找到间隙。如果速度是未知的则附加的分析被执行。对于阴影，因为阴影被投在道路上。

以上两个等式中的constant(常数)是相同的并且单独通过第二等式来计算。然后第一等式能够被用来找到间隙。图12示出了依照示例性实施例的如上所述用来计算车辆的离地间隙的步骤的系统1200图。如图12中所示，系统包括相机1210，其提供用于检测车辆特征和车辆阴影的视频流1220，所述车辆特征和车辆阴影被用来计算如上所述的车辆间隙。

示例性应用

离地间隙能够在车辆分类例如区分小型货车与suv、公共汽车与卡车等中作为特征被估计。还能够计算能够在车辆分类中使用的其他车辆特征的高度。

替代实施方式

能够针对车辆的正视图视频来实现所述系统。代替车辆的保险杠，系统能够被用来计算诸如顶部、挡风玻璃等之类的其他车辆部分的高度。当相机是水平的时扫描线不沿着地平线，由该相机所捕获的图像能够被调整来使扫描线变得水平。系统然后被应用于所调整的图像。间隙估计能够通过组合多个帧的估计来改进。

依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质。计算机可读程序代码被配置成执行过程，所述过程包括以下步骤：(a)计算相机图像与路面之间的变换；(b)使用所述变换来计算相机图像中的每条扫描线的标度；(c)定位图像中的车辆的牌照；(d)计算牌照的水平标度和垂直标度；(e)将牌照的水平标度与每条扫描线的标度进行比较并且其中各标度是相等的扫描线被找到；(f)计算匹配扫描线与牌照的顶部之间的扫描线的数目；(g)将扫描线的数目除以编号牌的垂直标度以找到牌照离地面的高度；(h)计算牌照的顶部与车辆的最低可见部分之间的扫描线的数目；(i)将牌照的顶部与车辆的最低可见部分之间的扫描线的数目除以编号牌的垂直标度以找到牌照的顶部到车辆的最低可见部分之间的距离；以及(j)步骤(g)中的距离减去步骤(i)中的距离以获得车辆的离地间隙。

计算机可用介质当然可以为磁记录介质、磁光记录介质或将来将被开发的任何其他记录介质，其全部能够被认为以全部相同的方式适用于本发明。包括主要和辅助复制产品和其他东西的这种介质的复制品无疑被认为相当于上述介质。此外，即使本发明的实施例是软件和硬件的组合，它也根本不会背离本发明的构思。本发明可以被实现使得其软件部分已被提前写到记录介质上并且将在操作中根据需要而被读取。

基于结构签名的客运车辆分类和测量系统

依照示例性实施例，如本文中所描述的系统和方法依靠用于车辆的分类的结构签名，所述结构签名通过来自车辆的后部的客运车辆段的多(或多个)视频帧的分析来获得。结构签名对与车辆的对称轴相交的可见车辆表面是否与道路平行或别样的进行编码。所述系统和方法提供用于客运车辆的分类并且测量它们的属性，并且更特别地以便从单个相机捕获沿着道路行进的车辆并且将该车辆分类成3个类别中的一个：轿车、皮卡和/或小型货车及suv(运动型多用途车)。

依照示例性实施例，用于车辆的分类的系统和方法包括以下步骤：计算相机图像与路面之间的变换角；检测路面上的移动对象；为移动对象中的每一个确立对称的垂直轴；针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；针对多个连续视频帧来跟踪所述主导水平边缘；将主导水平边缘中的每一个投射到地平面上；将每对相邻投射边缘视为投射表面；计算投射表面中的改变；根据投射表面中的改变来计算不同结构签名；以及在类别中分类不同结构签名。例如，如图13-15中所示，来自具有两个感兴趣投影的侧视图的针对移动车辆的投影随着时间的几何结构的图像1300以及用于表征地平面上投影中的改变的图像1400、1500被获得。所述方法优选包括以下步骤：

步骤1-通过标定来确立相机图像与道路之间的变换

依照示例性实施例，系统通过标定来确立相机图像与道路之间的变换。标定确立相机图像点与道路上的点之间的一对一对应。这个对应能够通过知道图像中和道路上的至少4个共平面点的位置而被确立，所述至少4个共平面点中的三个不是共线的。图16示出了其中道路上的点a、b、c以及d的二维位置1610是从交通标记标准或测量知道的场景1600。它们在图像中的对应二维位置是道路上的a’、b’、c’以及d’1620，其能够被图像处理或者手动地检测到。采用这4个对应，唯一变换能够通过使用投影几何学来确定。

步骤2-使用移动对象检测来定位视频中的移动对象

依照示例性实施例，所述系统使用移动对象检测来定位视频中的移动对象。视频中的移动对象能够用诸如帧差、改变检测以及光流之类的各种计算机视觉技术来检测。如果多个车辆被检测到，则每个对象能够基于它们的诸如颜色和位置之类的属性被分配唯一标识。因此，现在能够个别地针对其余的分类系统来处理每个对象。移动对象的检测提供其边界和位置。此外，依照示例性实施例，系统1700融合了光流、帧差以及图像分段方法来像图17中所示出的那样检测移动对象。

步骤3-确立对象的对称的垂直轴

如图18中所示，对象的对称的垂直轴1800然后被确立。依照实施例，车辆的后视图展示沿着垂直轴的强对称。车辆的可见结构沿着对称轴被几乎完全地捕获。此外，存在用来确立对象的两侧对称的各种方法。所述系统优选通过匹配gabor特征来确立两侧对称的轴。在所检测到的移动对象附近的感兴趣区然后用一组gabor滤波器在步骤2中被滤波1810。依照示例性实施例，gabor滤波器的输出是边缘幅度和方向。对gabor滤波器的输出执行环绕抑制1820以消除可能干扰对称检测的局部纹理图案。非最大抑制1830和细化1840也被执行以避免伪边缘。系统匹配边缘点1850，这具有互补方位(θ和180-θ)并且这是沿着图像的相同扫描线的。每对匹配的边缘点然后对与边缘点两者等距离的垂直轴进行表决。依照示例性实施例，优胜者接受所有(wta)方法1870能够被使用和/或其他技术能够适用于表决1860以确立车辆的对称的垂直轴。

步骤4-分开诸如阴影之类的被检测对象的不对称部分

诸如阴影之类的被检测对象的不对称部分被分开。太阳或其他照明源使车辆将阴影投在道路上。该阴影通过步骤2作为移动对象的一部分被检测。因为阴影是不对称的，所以它能够通过对步骤2中所检测到的移动对象实施在步骤3中找到的对称的轴而被消除。此外，同样能够使用诸如基于物理学之类的阴影去除的其他方法。

步骤5-检测与对称的垂直轴相交的主导水平边缘

与对称的垂直轴相交的主导水平边缘被检测。如所示，车辆的图像展示强烈的水平和垂直边缘。在车辆图像中看到的水平边缘的大部分由结构改变引起。系统从车辆图像中检测主导水平边缘。各边缘的伪检测通过消除不与在步骤3中检测到的对称轴相交的边缘来避免。

步骤6-在多个连续视频帧中跟踪水平边缘

水平边缘在多个连续视频帧中被跟踪。系统在多个以下视频帧中跟踪在步骤5中检测到的边缘。跟踪用lukas-kanade-tomasi跟踪器来执行。还能够应用诸如基于相关的均值漂移之类的其他跟踪方法。

步骤7-将边缘投影在地平面上

这些边缘现在被投影到地平面上。从步骤5和6所检测和跟踪到的边缘的位置是根据2d(2维)图像坐标的。用在步骤1中确立的变换在2d道路坐标上变换这些。

步骤8-计算投影表面随着时间的推移的改变

投影表面随着时间的推移的改变被计算。在图像中和在道路上投影的每对相邻边缘被视为表面。系统将沿着对称轴的边缘之间的距离视为表面的高度。对于每个投影表面，在每个跟踪阶跃情况下的高度改变被计算。依照示例性实施例，各种时间步长能够被用来计算这些改变。

步骤9-根据投影表面中的改变来计算不同结构签名

不同结构签名根据投影表面中的改变被计算。如果表面与道路平行，则它的投影的高度不会随着时间而改变。然而，如果表面不与道路平行，则它的投影的高度随着时间而改变。应当注意的是，如果这个表面的高度是小的，则投影的改变将是较小的。这可能导致小表面的误解。为了避免混淆，投影改变被用在特定时刻(例如，初始或最后)的投影归一化。这让对于与道路平行的投影改变接近于零同时放大小表面中的改变。

步骤10-将结构签名分类成轿车、皮卡以及小型货车+suv类别

结构签名被分类成轿车、皮卡以及(小型货车+suv)类别。作为结构签名轿车1910、皮卡1920以及小型货车(1930)+suv(1940)类别分别能够被语义地表示为{pp,n,p,n}、{p,n,pp,n}以及{pp,nn}。在这里表示与道路平行的表面而表示不与道路平行的表面。符号和被重复来指示较大的长度。这在其中交叉影线部分代表与道路平行的表面而非交叉影线部分代表其他表面的图19中被示出。系统将这些签名传递给分类器。除了别的以外，分类器还能够被选择成为语义分类器、概率分类器或诸如svm之类的基于机器学习的分类器。系统将具有径向基本功能的svm用作分类器。对于svm分类结构签名被用数表达。从被检测对象的顶部开始到所述对象的底部投影改变沿着对称轴被采样持续固定次数，使得在道路投影上这些样本是等距离的。

当分类正被执行时，对于车辆的测量通过系统在各个步骤处生成。在分类步骤4之后，表示车辆的对称斑点是可用的。斑点的下缘使用分类步骤1中的变换而被投影到道路上。依照示例性实施例，投影大小是车辆的宽度。在分类步骤7之后，最小投影边缘在两个不同时间的位置被优选用来计算车辆的速度。图20示出了针对如依照示例性实施例一样的过程的系统图2000的流程图。如图20中所示，系统2000包括视频流2010，所述视频流2010被分析以经由如上所述的一系列步骤来确定车辆类别2020、车辆速度2030以及车辆大小。

依照示例性实施例，所述系统的应用能够包括：分类道路上的客运车辆；能够基于车辆类别来执行停车库或停车场分配；对于法律实施的车辆速度测量；以及确保对车辆的有限/受控访问的安全相关应用。

此外，所述系统的变化能够包括并且不限于：系统能够被实现用于根据正视图和侧视图来分类车辆；仅系统的分类器部分能够被实现；仅系统的测量部分能够被实现；仅速度测量能够被实现；仅大小测量能够被实现；检测各类别中的仅一个或两个的部分分类器能够被实现；以及部分或完整软件系统能够被实现为等效硬件实施方式。

依照另一示例性实施例，计算机程序产品包括具有用于客运车辆的分类并且根据后视图视频帧来测量它们的属性在其中体现的计算机可读代码的非暂时性计算机可用介质。计算机可读程序代码被配置成执行过程，所述过程包括用于车辆的分类的方法的步骤，包括：(a)标定相机图像与路面之间的变换角；(b)检测相机图像中的路面上的移动对象；(c)为移动对象中的每一个确立对称的垂直轴；(d)针对移动对象中的每一个检测与对称的垂直轴相交的主导水平边缘；(e)针对多个连续视频帧来跟踪所述主导水平边缘；(f)将主导水平边缘中的每一个投影到地平面上；(g)将每对相邻投影边缘视为投影表面；(h)计算投影表面中的改变；以及(i)根据投影表面中的改变来计算不同结构签名。

计算机可用介质当然可以为磁记录介质、磁光记录介质或将来将被开发的任何其他记录介质，其全部能够被认为以全部相同的方式适用于本发明。包括主要和辅助复制产品和其他东西的这种介质的复制品无疑被认为相当于上述介质。此外，即使本发明的实施例是软件和硬件的组合，它也根本不会背离本发明的构思。本发明可以被实现使得其软件部分已被提前写到记录介质上并且将在操作中根据需要而被读取。

将理解的是，前述描述是优选实施例的描述，并且因此，仅仅表示物品和制造该物品的方法。能够了解的是，鉴于上述教导的不同实施例的许多变化和修改对于本领域的技术人员而言将是容易显而易见的。因此，在不背离如在所附权利要求中所阐述的物品和方法的精神和范围的情况下，可以作出示例性实施例以及可替换的实施例。