用于自动分类运动中的车辆的方法
【专利摘要】本发明涉及一种用于自动分类运动中的车辆的方法。任务是找到一种用于分类在交通中运动的车辆的新颖的可能性，其借助二维图像数据使可靠的自动分类成为可能，该任务根据本发明通过如下方式来解决：借助照相机拍摄车辆的图像并且由此求出车辆的位置和视角取向，在沿着车辆期待的运动轨道的位置由存储在数据库中的3D车辆模型产生渲染的2D视图，并且将渲染的2D视图与车辆的拍摄图像比较，并且从找到的具有最大一致性的2D视图中通过分配附属的3D车辆模型来分类车辆。
【专利说明】用于自动分类运动中的车辆的方法
【技术领域】
[0001]本发明涉及一种用于对运动中的车辆进行分类的方法，其尤其可用于可靠地自动分类车辆，所述车辆被支持视频的交通监控设施拍摄。
【背景技术】
[0002]从现有技术公知有如下方法，其中外部特征用于检测或分类车辆。该方法经常用于视类别而定地提升养路费或者与用于速度测量、监控速度限制的设备结合使用。利用该方法通常评估一个或多个检测车辆的传感器的信号。为了同时执行被检测车辆的鉴别而非常频繁地使用图像传感器，其能够实现对车牌的评估。
[0003]根据上述示例大多足够的是，将检测车辆粗略地分类到客车和载重汽车的类别中。在EP1997090B1中，利用在行驶道路旁定位的照相机，从多组依次的拍摄中求出运动车辆的三维形状。然后通过利用将求出的形状与已经在数据库中提供的形状做比较来鉴定车辆型号。在此缺点是，为了求出车辆型号需要多组拍摄，并且拍摄位置必须与建立数据库的比较图像的位置一致。
[0004]在DE10148289A1中描述了一种方法，其中车辆可以在运动中被分类。该方法专门设计用于监控和提升载重汽车费。车辆首先借助LIDAR (激光雷达)传感器检测并且跟踪，利用所述激光雷达传感器可估计车辆经过的路径和速度。之后，车辆被借助照相机来拍摄并且借助其他传感器来测量。从照相机成像中可以通过文本识别的数据处理来求出车牌。优选的其它传感器是激光传感器，利用所述激光传感器可求出轮廓数据和结构数据(例如横截面、长度)、车轮轴的数量和车辆型号标志(车标)。求出的LIDAR数据被分配给求出的轮廓数据和结构数据。通过运用统计方法来评估车辆上的多组测量还可以改进测量结果的精确度。测量和测量值检测的原理导致测量相对粗略地失灵。该运用的方法不仅为了区别和分类要收费的载重汽车而设置，由于大的尺寸、轴数量和独特的形状，所述载重汽车可相对简单地识别出。为此该方法明显具有足够的精确度。为了在多样式地设计的客车的类别中进行分类，该方法的区别精确度是不足够的。作为缺点可看到如下必要性:为了分类车辆本身必须利用多个传感器来求出三维数据。这会提高用于检测且处理数据的经济费用。除了识别车轮轴和型号标志以外，还不可能详细评估车辆外部和车辆内部的其它结构。
【发明内容】
[0005]本发明的任务是找到一种新颖的用于分类在交通中的运动车辆的可能性，该可能性借助二维图像数据使可靠的自动分类成为可能。
[0006]本发明另一任务是减少分类所需的数据量，从而可更快地自动评估出车辆型号，尤其是客车型号。
[0007]根据本发明，任务在用于对运动车辆进行分类的方法中利用如下方法步骤来解决:
[0008]-借助照相机拍摄车辆的至少一幅图像并且求出车辆的位置和视角取向，[0009]-由存储在数据库中的3D车辆模型在如下位置和视角取向中生成渲染的2D视图，在所述位置和视角取向中，3D车辆模型可沿着车辆相对于照相机的期待的运动轨道在视角上取向，
[0010]-将至少一幅车辆拍摄图像和存储的3D车辆模型的渲染的2D视图比较，并且找到具有最大一致性的2D视图，
[0011]-利用与其中一个2D视图具有最大一致性的3D车辆模型分类被拍摄的车辆。
[0012]为了生成渲染的2D视图而采取一方法步骤，其中通过投影到对应于选择的或期望的图像拍摄平面的限定的平面上而从3D车辆模型生成该3D车辆模型的2D视图。
[0013]有利地，在照相机的如下安置位置中拍摄图像，该安置位置具有相对于车辆行驶的车道的边缘已知的间距和方位角，并且具有相对于车道表面已知的照相机仰角。在此特别适宜的是，借助由至少两幅图像组成的图像序列来求出被拍摄车辆的视角取向、位置和尺寸。
[0014]在前面的步骤中，为了根据视角取向和尺寸而渲染3D车辆模型，被拍摄的参考车辆的图像序列被适宜地拍摄，并且由此选择出在相对于照相机安置位置的所选位置处的图像，其中，针对该所选位置，2D视图由大量3D车辆模型中的一个来渲染并且存储在存储器中。
[0015]在本方法优选的变型方案中，在前面的步骤中，为了根据视角取向和尺寸而渲染3D车辆模型，在车辆相对于安置位置的多个所选位置处从被拍摄的参考车辆的图像序列选择多幅图像，其中针对每个所选位置，2D视图分别由大量3D车辆模型中的一个来渲染并且存储在存储器中。
[0016]在此有利地，在多幅2D视图中的两个相邻的2D视图之间可以执行内插，由此拍摄车辆和2D视图的比较可以不依赖于车辆视角取向的专门选择出的位置而进行。
[0017]在本方法优选的变型方案中，为了减少数据，从所有3D车辆模型的渲染的2D视图中选择出具有可评估的几何结构的图像片段，并且从至少一幅车辆拍摄图像中提取出与渲染的2D视图的减少数据的图像片段相对应的图像部分。
[0018]为了更精确地分类(车辆型号确定)或为了鉴别车辆(例如用于违反交通的处罚)而证明适宜的是，通过选择照相机的安置位置，被拍摄车辆在视角取向中在至少一幅具有车牌或其它独特几何结构的图像中被检测到。
[0019]特别有利的是，借助由安置位置已知的方位角和仰角进行车牌的矫正，以便自动执行光学字符识别(OCR)。
[0020]证明有利的是，通过评估雷达设备的信号来求出被拍摄车辆的位置和尺寸。
[0021]优选地，3D车辆模型在数据库中以三维纹理化表面网络的形式存在，其中，在3D车辆模型的表面和内部可以附加地限定几何结构。针对该最后的选项有利的是，在3D车辆模型的内部，限定乘客的至少一个座椅位置作为3D车辆模型的几何结构。
[0022]为了改进自动化的评估，根据在3D车辆模型中限定的几何结构来适宜地提取数据减少的图像片段。
[0023]证明特别有利的是，执行直方图匹配，该直方图匹配要么在图像全局上运用要么局部适用地运用，由此，尤其可在数据减少的图像片段的昏暗的区域中实现细节真实的图
/Jn ο[0024]在根据本发明的方法的优选的变型方案中，生成渲染的2D视图适宜地包括下列单个步骤:
[0025]-提供由最不同的车辆型号的3D车辆模型组成的数据库，其中在3D车辆模型上限定为了评估而设置的几何结构，
[0026]-确定照相机位置，以利用照相机来检测在流动的交通中在车道上运动的车辆，其中在相对于车道已知的间距、角度和已知的高度中检测至少一幅图像，由此给出拍摄车辆的视角取向和尺寸，
[0027]-对应于在确定的照相机位置和相对于车道的间距的情况下的运动轨道，确定数据库的3D车辆模型的取向和尺寸，
[0028]-通过渲染数据库的被确定取向和尺寸的3D车辆模型，生成和存储3D车辆模型的2D视图。
[0029]本发明以如下基本思路为基础，即，当在违反交通的情况下例如除了所谓的收费检测标准以外还需要更精确的车辆分类以鉴别车辆时，在使用拍摄车辆的2D图像的情况下，交通监控总是还需要大量手动的后处理花费。本发明因此用于借助客观标准来改进分类，其方法是，将在数据库中大量存储的3D车辆模型以如下方式与照相机的安置位置相匹配，即，针对拍摄车辆的2D图像的相似性比较提供一种2D参考图像，该2D参考图像不仅适用于车辆分类，还适用于后续的自动评估。为此，根据本发明的用于确定照相机相对于车道的安置位置和3D模型的视角匹配的渲染的方法步骤是重要的前提，该前提能够在自动化的评估中努力改进分类可靠性。在优选的实施方案中，通过车辆细节，例如车牌、车辆照明装置(例如前灯损坏、违反规则使用闪光灯等)来对车辆鉴别进行评估甚至是可能的，或者乘客探测(例如乘客数量、驾驶员确认、违反规则使用手机等)也是可能的。
[0030]本发明使如下成为可能，S卩，在交通中运动的车辆中，借助二维图像数据实现尤其是针对客车型号的可靠的分类，通过快速确定视型号而定的车辆细节促进待处理的数据量的减少，并且进而能够实现对车辆细节的自动评估。
【专利附图】
【附图说明】
[0031]接下来借助实施例详细阐述本发明。附图示出:
[0032]图1根据本发明的方法的示意性的流程图。
【具体实施方式】
[0033]该方法根据在图1中示意性地示出的方法步骤来执行，其中对于根据本发明的方法流程来说重要的步骤在灰色衬托的方框中示出。
[0034]在第一步骤中，利用在可自由选择的但固定的安置位置中对准车道的照相机来拍摄在流动的交通中在车道上运动的车辆的图像序列。该图像序列可以由数字化的单个图像构成或者可以是视频序列。在图像序列中检测到的不变的图像区域随后被称为场景。
[0035]相对于车辆限定的安置位置在此原则上通过三个间距值和三个角度值来描述，在所述间距值和所述角度值下，照相机在笛卡尔坐标系中取向并观察场景。这六个参数在文献中被称为外来参数。在照相机中的场景的成像对应于光学成像原理并且经常利用五个参数来近似。这些参数在文献中被称为内在参数。利用全部十一个参数来完整描述照相机相对于场景的视角。对于真实的应用情况来说通常可以进行简化，从而参数的数量可明显减少。内在参数经常是已知的，从而仅须求出或估计出外来参数。
[0036]外来参数例如可以参考在场景中检测到的车道路线来求出。为此，照相机的安置位置可以借助已知的仰角(相对于车道表面的取向和间距)和已知的方位角(相对于车道边缘的取向和间距)来限定。
[0037]如果外来参数未知，那么可以通过数学方法估计安置位置。为此生成参数集，借助这些参数集可以推断出安置位置。参数集例如可以从定位在车辆上的车牌生成，该车牌的尺寸和大小比例是已知的。通过在图像序列的至少一幅图像中也可以检测到车辆前部的车牌，选择安置位置。该过程随后对于其它的经过车辆重复，从而可在估计的安置位置中逐渐优化外来参数。
[0038]此外，关于安置位置的其它信息可通过估计没影点而得到。为了估计没影点而在图像序列中评估光流。该光流是矢量场，利用该矢量场来描述所有在图像序列中运动的图像点。借助所述矢量可求出运动的图像点的运动速度和运动方向。
[0039]视角由车辆的行驶方向来确定。为此利用额外的传感器(例如雷达设备)与图像拍摄同时地也分别确定车辆相对于雷达设备的安置位置的距离和角度以及车辆的速度。从随单个图像改变的值和同样已知的雷达设备相对于车道的布置，可在单个图像中求出行驶方向并且进而求出被拍摄车辆的视角取向。
[0040]替选地或附加地，从光流和车道路线可得到关于车辆位置与照相机的安置位置之间的几何关系的信息。尤其是从光流的矢量中可得到车辆的具体空间位置和行驶方向信息。在此假设光流的可配属于一个对象的矢量通常在平行于车道表面的平面中运动。根据拍摄的场景，车道作为事先建立且存储的3D车道模型存在。两个单个图像之间的时间间距可以通过与由雷达求出的车辆速度相乘来换算成空间间距，所述两个单个图像以光流分析为基础。换算的空间间距使得已本领域技术人员公知的方式借助摄影方法计算流矢量的空间定位和定向成为可能。
[0041 ] 利用照相机已知的安置位置可求出拍摄车辆在图像序列的每个单个图像中的视角、位置和尺寸。
[0042]随后根据所求出的拍摄车辆和3D车道模型的位置、视角和尺寸来取向和标度在数据库中存储的3D车辆模型。之后所有在数据库中存储的3D车辆模型的取向和尺寸对应于来自单个图像或来自图像序列的图像的被拍摄车辆的取向和尺寸。
[0043]详细的3D车辆模型针对大量最不同的车辆型号而存在并且以三维纹理化表面网络的形式存储在数据库中。3D车辆模型已经根据车辆类别和车辆型号分类地存储。为了后面详细评估被拍摄的车辆而可以限定在3D车辆模型上确定的几何结构，该几何结构对于相应的车辆来说是独特的。几何结构可以在此在表面上限定，也可以在3D车辆模型内部限定。例如车牌、照明装置、散热器护栅、前挡风玻璃和侧窗、车顶或车轮属于表面几何结构。例如座椅靠背或方向盘可以作为内部几何结构来限定。
[0044]在3D车辆模型被取向且标度之后，从每个3D车辆模型中建立一个(在单个图像的情况中)或多个(在图像序列的图像的情况中)2D视图。这通过渲染在一个或多个不同位置中的3D车辆模型来进行。为了将理论上可能特别多的2D视图保持得很少以减少计算和存储费用，3D车辆模型大多在如下位置中被渲染，在所述位置中，3D车辆模型被沿着3D车道模型引导，该3D车道模型可从通过安置照相机而预先给定的街道方位(例如通过任意参考车辆的先前的系列图像拍摄)求出。
[0045]被渲染的2D视图存储在存储器中。基于已经分类的或典型化的3D车辆模型，2D视图也被单一地分配，并且可以用于识别出(分类或鉴别出)被拍摄的车辆。为了可以将存储的2D视图用于识别出其它被拍摄的车辆而必需的是，照相机的内在参数和外来参数保持不变。因此从存储在存储器中的数据可利用增长的被拍摄车辆的数量建立适应场景的数据库。
[0046]在该方法的另一变型方案中，被拍摄车辆的视角和尺寸在图像序列的至少两幅图像中求出。视角和尺寸可以在两个依次拍摄的图像之间内插，从而视角和尺寸也可在两幅图像中求出。以该方式可在随后描述的方法步骤中从两幅图像中产生存储在存储器中的3D车辆模型的多个2D视图。由于存在多个2D视图，被拍摄的车辆的比较不再局限于图像序列的确定的图像，由此该方法变得更灵活。例如可以在车辆的改变的视角取向上，在两个依次拍摄的图像中导出转弯行驶及其参数。
[0047]不同车辆的识别在另一方法步骤中通过被拍摄车辆的单个或多个图像与存储在存储器中的2D视图的相似性比较来实现。在最简单的情况下，当针对相似性比较使用单个图像时，这是足够的，其中不同的被拍摄车辆的每一个都在相对于照相机安置位置的同一位置处被拍摄。在该情况下，也可以根据单独求出作为参考车辆使用的被拍摄的第一车辆的视角推断出所有其他被拍摄车辆的视角。所有其他车辆占据可与2D视图比较的视角。
[0048]如果在被检测到的场景中不可能在同一位置拍摄车辆，那么也可以使用被拍摄车辆的被拍摄图像序列的任意图像，用于相似性比较。于是利用已经描述的做法也可能在图像序列的每个任意的单个图像中求出被拍摄车辆的视角。
[0049]在相似性比较中，被拍摄车辆的相对于2D视图的相似性被研究。作为比较结果，具有和拍摄车辆的最大一致性的3D车辆模型被求出。通过分配与求出的3D车辆模型相关的车辆类别或车辆型号，被拍摄车辆在比较之后同样被分类。
[0050]如果在分配的3D车辆模型上限定几何结构，那么所述几何结构在渲染时传递到2D视图中并且用于切割出相应的图像片段或者用于确定被拍摄车辆的图像的待详细研究的图像区域。由此明显减少待评估的数据量。
[0051]除了分类以外，可借助图像片段进行更详细的评估。图像片段或图像区域为此借助图像处理的适当的程序来优化并且经受自动的评估。例如，直方图匹配作为优化程序而被运用，整个2D视图(在整个图上)或图像片段(局部适用)的亮度或对比度可利用该直方图匹配调整。为了调整对比度范围，亮度值在图像中真实显现的并且通常受限的分布被转换到在光谱图中可供使用的整个亮度范围。由此可实现色彩的改进的分布。为了调整亮度，在图像中显现的亮度值的通常有限的分布可以在直方图中移动，从而要么加亮图像要么使图像变暗。因此在昏暗的图像或图像片段中可以实现细节真实的图示。
[0052]在车牌情况下，图像片段首先借助照相机的已知的安置位置在视角上进行矫正。在矫正之后，车牌号可以借助自动光学字符识别(OCR)读出。因此分类的车辆也可以被鉴别出并且分配给车主。
[0053]在前挡风玻璃的图像片段中，可以借助靠背的已知的且车辆中典型的位置推断出图像区域，在该图像区域中可看到驾驶员的头部或副驾驶员的位置。具有驾驶员头部的图像区域可以利用用于改进图像质量的手段处理，以便能够随后在自动化的过程中例如实现脸部识别、检验安全带的使用或证明驾驶员打电话、抽烟、喝东西或吃东西。副驾驶员的位置可以为了匿名而在前挡风玻璃的整个图像区域中被自动地隐去。
[0054]借助前挡风玻璃的所有图像片段结合靠背的位置也可以检验被拍摄车辆的所有乘客的数量。因此可例如针对HOV (多座汽车)监控确定的行驶道路的取决于车辆占有率的使用。
[0055]照明装置的图像片段可以评估照明装置的损坏或根据状态的运用。但所述图像片段也可以用于型号分类以外的用途。
[0056]借助求出的3D车辆模型的作为车轮限定的几何结构的数量，被拍摄车辆的轴的数量是已知的。由此，车辆尤其可以在计算养路费时被更容易地归类。如果车轮的图像片段也被评估，那么也可在具有升降轴的车辆中检验其位置。
[0057]为了在运用该方法来分类具有挂车的载重汽车或其它车辆组(例如组合载重汽车和拖车或组合客车和客车拖车)时减少对于3D车辆模型来说必需的数据量，单独地建立用于挂车和拖车的3D模型。为了识别车辆，载重汽车、客车、挂车和拖车的3D车辆模型可任意组合。同样也可能的是，将可评估的附件(例如车顶箱、自行车承载器等)作为单个3D模型存储。
【权利要求】
1.用于对运动中的车辆进行分类的方法，具有如下方法步骤: -借助照相机拍摄车辆的至少一幅图像，并且求出车辆的位置和视角取向， -从存储在数据库中的3D车辆模型在如下位置和视角取向中生成渲染的2D视图，在所述位置和视角取向中，3D车辆模型能够沿着车辆相对于照相机的期待的运动轨道在视角上取向， -将至少一幅车辆拍摄图像和存储的3D车辆模型的渲染的2D视图比较，并且找到具有最大一致性的2D视图， -利用与其中一个2D视图具有最大一致性的3D车辆模型分类被拍摄的车辆。
2.根据权利要求1所述的方法，其特征在于，在所述照相机的如下安置位置中拍摄图像，所述安置位置具有相对于车辆行驶的车道的边缘已知的间距和方位角，并且具有相对于车道表面已知的照相机仰角。
3.根据权利要求1所述的方法，其特征在于，借助由至少两幅图像组成的图像序列来求出拍摄车辆的视角取向、位置和尺寸。
4.根据权利要求1所述的方法，其特征在于，在前面的步骤中，为了根据视角取向和尺寸而渲染所述3D车辆模型，拍摄被拍摄的参考车辆的图像序列，并且由此选择出在相对于照相机安置位置的所选位置处的图像，其中，针对该所选位置，2D视图由大量3D车辆模型中的一个来渲染并且存储在所述存储器中。
5.根据权利要求4所述的方法，其特征在于，在前面的步骤中，为了根据视角取向和尺寸而渲染所述3D车辆模型，在车辆相对于安置位置的多个所选位置处从被拍摄的参考车辆的图像序列中选择多幅图像，其中针对每个所选位置，2D视图分别由大量3D车辆模型中的一个来渲染并且存储在所述存储器中。`
6.根据权利要求5所述的方法，其特征在于，在所述多幅2D视图中的两个相邻的2D视图之间能够执行内插，由此拍摄车辆和2D视图的比较能够不依赖于车辆视角取向的专门选择出的位置而进行。
7.根据权利要求1所述的方法，其特征在于，从所有3D车辆模型的渲染的2D视图中选择出具有可评估的几何结构的数据减少的图像片段，并且从至少一幅车辆拍摄图像中提取出与所述渲染的2D视图的数据减少的图像片段相对应的图像部分。
8.根据权利要求1所述的方法，其特征在于，通过选择照相机的安置位置，所述拍摄车辆在至少一幅在视角取向中具有车牌或其它几何结构的图像中被检测到。
9.根据权利要求8所述的方法，其特征在于，借助由所述安置位置已知的方位角和仰角进行车牌的矫正，以便自动执行光学字符识别(OCR)。
10.根据权利要求1所述的方法，其特征在于，通过评估雷达设备的信号来求出所述拍摄车辆的位置和尺寸。
11.根据权利要求1所述的方法，其特征在于，所述3D车辆模型在所述数据库中以三维纹理化表面网络的形式存在，其中，在所述3D车辆模型的表面和内部限定几何结构。
12.根据权利要求11所述的方法，其特征在于，在所述3D车辆模型的内部，限定乘客的至少一个座椅位置作为所述3D车辆模型的几何结构。
13.根据权利要求6所述的方法，其特征在于，根据在所述3D车辆模型中限定的几何结构来提取数据减少的图像片段。
14.根据权利要求1所述的方法，其特征在于，通过运用要么在图像全局上运用要么局部适用地运用的直方图匹配，能够在数据减少的图像片段的昏暗的区域中实现细节真实的图示。
15.根据权利要求1所述的方法，其特征在于，所述渲染的2D视图的生成包括下列单个步骤: -提供由最不同的车辆型号的3D车辆模型组成的数据库，其中在所述3D车辆模型上限定为了评估而设置的几何结构， -确定照相机位置，以利用照相机来检测在流动的交通中在车道上运动的车辆，其中在相对于车道已知的间距、角度和已知的高度中检测至少一幅图像，由此给出拍摄车辆的视角取向和尺寸， -对应于在确定的照相机位置和相对于车道的间距的情况下的运行轨道，确定数据库的3D车辆模型的取向尺寸， -通过渲染数据库的被确定取向和尺寸的3D车辆模型，生成和存储所述3D车辆模型的2D视图 。
【文档编号】G08G1/017GK103886757SQ201310717832
【公开日】2014年6月25日 申请日期:2013年12月23日 优先权日:2012年12月21日
【发明者】迈克尔·莱宁 申请人:业纳遥控设备有限公司