车辆追踪方法和装置与流程

本公开属于计算机视觉和图形处理
技术领域：
，尤其是涉及基于计算机视觉和图形处理技术的车辆追踪方法和装置。
背景技术：
：车辆追踪和检测是计算机视觉和图形处理领域中的一个重要应用方向。在该领域中已有使用激光、雷达、例如单目相机或立体相机等摄像机以及多传感器融合对车辆进行追踪检测的研究出现。基于多传感器的车辆追踪可以检测特定车辆在空间中的位置、速度、轨迹等信息。这对于检测异常车辆、规避潜在风险具有重要的实际意义。由于使用包括视觉传感器的多传感器时，车辆在不同状态下的表征存在区别，使得检测的鲁棒性无法保证。且只应用单目可见光摄像机的视觉信息进行车辆追踪，能获取到的仅仅是车辆在图像中的位置、尺寸，缺乏深度信息。这样将无法计算出车辆在三维空间中的位置、速度、轨迹等信息，极大限制了其在交通环境中的应用。而激光雷达能提供准确的深度。将可见光摄像机与激光雷达相结合，不仅可以获取到足够的空间、视觉信息，也能使追踪算法的可信度大大提高。现存的大多数方法将追踪过程分为多传感器配准和目标追踪两部分。雷达与可见光摄像机的空间配准大致有两种方式：第一种是在雷达、图像坐标系中分别获取对应的雷达数据点与图像像素点，通过计算获得两坐标系之间的转移矩阵；第二种是在不同的坐标系下，分别提取不同的特征(如在图像坐标系中提取线特征、在雷达坐标系中提取点特征)，利用二者在空间关系，转化为最小化目标函数的问题。目标追踪现存的方式主要分为两种：第一种是生成模型，找出与目标模型具有最小重构误差的图像区域；第二种是判别模型，将目标追踪当做一个分类问题来处理，目标作为前景、目标以外的图像像素作为背景，通过对前景和背景的更新来追踪目标。而这些现有技术中的方法都有其局限性。第一，只进行空间标定，只在静态环境下目标的空间、视觉信息，应用有限；第二，只进行目标追踪，只能得到图像中目标的位置和尺寸、没有空间信息，实用性不强。技术实现要素：本公开的实施例公开了一种车辆追踪方法，该方法包括：使用标定板获得雷达坐标系与世界坐标系的关系以及摄像机图像坐标系与世界坐标系的关系；根据所获得的坐标系关系获得雷达坐标系与摄像机图像坐标系的转移矩阵；将雷达数据和摄像机图像的选定的时刻的时间对应关系和基于上述转移矩阵的空间对应关系作为初始条件以评价目标追踪过程中结果的可信度；在追踪过程中执行有监督学习获得检测器中的参数；以及基于追踪结果的可信度在追踪过程中对检测器的参数进行纠正。在一些实施例中，基于追踪结果的该可信度低于阈值而使用检测器对目标进行检测包括使用半监督学习迭代得到检测参数。在一些实施例中，使用半监督学习迭代得到检测参数包括基于上一次迭代的检测器所得到的图像像素的分类以及追踪过程的时间和空间对应关系，对检测器在分类过程中出现的误检和漏检进行纠正，使用半监督学习更新本次迭代的检测参数。在一些实施例中，在摄像机图像帧率与雷达频率不匹配时使用雷达数据报中的时刻信息对雷达数据取平均值以与摄像机图像帧相对应。在一些实施例中，基于追踪结果的可信度确定该检测器重新初始化边界框的时机。在一些实施例中，该检测器使用多分类器的级联。在一些实施例中，该多分类器包括以空间位置为判别标准的分类器。在一些实施例中，该雷达为单线激光雷达。在一些实施例中，该摄像机为可见光摄像机。本公开的实施例还公开了一种辆追踪装置，该装置包括标定板、雷达、摄像机以及处理器，该标定板用于获得雷达坐标系与世界坐标系的关系以及摄像机图像坐标系与世界坐标系的关系；以及该处理器用于根据所获得的坐标系关系获得雷达坐标系与摄像机图像坐标系的转移矩阵；将雷达数据和摄像机图像的选定的时刻的时间对应关系和基于上述转移矩阵的空间对应关系作为初始条件以评价目标追踪过程中结果的可信度；在追踪过程中执行有监督学习获得检测器中的参数；以及基于追踪结果的可信度在追踪过程中对检测器的参数进行纠正。本公开的实施例可以解决上述现有技术中的困难可缓解现有的车辆追踪算法无法同时提供准确空间、视觉信息的状况。通过摄像机与雷达的空间联合标定试验，实现视觉、深度信息的数据融合，解决了仅用视觉或深度信息所造成的数据不完备性。然后将该信息运用在车辆追踪算法当中，能够在交通场景下同时得到特定车辆的视觉、深度信息，对于车辆异常检测、风险规避具有重要意义。追踪算法中加入了以空间信息为评判标准的检测器，实现了在追踪算法中的有机融合。附图说明本公开提供了附图以便于所公开内容的进一步理解，附图构成本申请的一部分，但仅仅是用于图示出体现发明概念的一些发明的非限制性示例，而不是用于做出任何限制。图1示出了根据本公开一些实施例的激光雷达与摄像机空间标定方法的流程图。图2示出了根据本公开一些实施例的使用标定板进行激光雷达与摄像机空间标定的示意图。图3示出了根据本公开一些实施例的目标跟踪算法的流程图。图4示出了根据本公开一些实施例的通过机器学习执行目标跟踪算法的示意图。图5示出了根据本公开一些实施例的车辆追踪装置的框图。具体实施方式下文将使用本领域技术人员向本领域的其它技术人员传达他们工作的实质所通常使用的术语来描述本公开的发明概念。然而，这些发明概念可体现为许多不同的形式，因而不应视为限于本文中所述的实施例。提供这些实施例是为了使本公开内容更详尽和完整，并且向本领域的技术人员完整传达其包括的范围。也应注意这些实施例不相互排斥。来自一个实施例的组件、步骤或元素可假设成在另一实施例中可存在或使用。在不脱离本公开的实施例的范围的情况下，可以用多种多样的备选和/或等同实现方式替代所示出和描述的特定实施例。本申请旨在覆盖本文论述的实施例的任何修改或变型。对于本领域的技术人员而言明显可以仅使用所描述的方面中的一些方面来实践备选实施例。本文出于说明的目的，在实施例中描述了特定的数字、材料和配置，然而，领域的技术人员在没有这些特定细节的情况下，也可以实践备选的实施例。在其它情况下，可能省略或简化了众所周知的特征，以便不使说明性的实施例难于理解。此外，下文为有助于理解说明性的实施例，将各种操作依次描述为了多个离散的操作；然而，所描述的顺序不应当被认为是意味着这些操作必须依赖于该顺序执行。而是不必以所呈现的顺序来执行这些操作。下文中的“在一些实施例中”，“在一个实施例中”等短语可以或可以不指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文中以其它方式规定。短语“A和/或B”意味着(A)、(B)或(A和B)。短语“A/B”意味着(A)、(B)或(A和B)，类似于短语“A和/或B”。短语“A、B和C中的至少一个”意味着(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。短语“(A)B”意味着(B)或(A和B)，即A是可选的。图1示出了根据本公开一些实施例的激光雷达与摄像机空间标定方法的流程图。图2示出了根据本公开一些实施例的使用标定板进行激光雷达与摄像机空间标定的示意图。其中激光雷达与摄影机可用于获取跟踪目标所需的数据。该目标例如可以是需要进行跟踪的车辆。雷达与摄像机的空间标定的原理如下所示：根据摄像机与世界坐标系、摄像机与摄影机图像的空间关系，可以得到摄影机图像与世界坐标系的转换关系：XpYp1=Sfx0Cx0fyCy001RtXwYwZw1---(1)]]>其中R是旋转矩阵，t是平移向量，S为比例系数，fx,fy是焦距，Cx,Cy是偏移参数，P(Xw,Yw,Zw)是P点在世界坐标系中的坐标，P(Xp,Yp,1)是P点在摄影机图像中的位置。相似地，根据雷达的位置、姿态，可以得到雷达坐标系到世界坐标系的转换关系：xyz=ρcosβcosαρsinβh-ρcosβsinα---(2)]]>其中(ρ，β)为P点在激光雷达坐标系中的极坐标值，ρ为激光雷达源到某一点的距离，β为激光雷达所扫过的角度，(x,y,z)为相应的世界坐标系中的坐标值，α为激光雷达的安装俯仰角，h为激光雷达的安装高度。根据以上两式的转换关系，可得到雷达坐标系到图像的转换关系如下，从而将雷达坐标系与图像的标定问题转换为寻找多组相对应的雷达数据点和图像像素点和计算转移矩阵的问题：XpYp1=Sfx0Cx0fyCy001Rtρcosβcosαρsinβh-ρcosβsinα1=Hρcosβcosαρsinβh-ρcosβsinα1---(3)]]>如图2所示，在一些实施例中可利用标定板来进行雷达与摄像机的空间标定。标定板不限于图2所示出的示意性正方体，而是可以选用任何现有技术中的机器视觉标定板，如棋盘格标定板、圆点标定板、三维标定板、同心圆标定板、孔径标定板和/或景深板标定板等。只要标定板具有预定的尺寸和标度并且可以被雷达与摄影机探测即可。如图1的步骤S101和S102所示，在一些实施例中，在保持雷达与摄像机位置不变的情况下，移动标定板从而采集一定量的摄像机图像和雷达数据作为输入的摄像机图像和雷达数据。图像采集完成之后，流程进入转换关系的计算步骤。在步骤S106中，可使用标定板所采集的雷达数据与未使用标定板所采集的雷达数据进行比对，从而筛选出落在标定板上的雷达数据点[(ρ1,θ1),(ρ2,θ2),(ρ3,θ3)]，其中ρn和θn分别为极坐标系中的距离和偏转角度。在步骤S103、S104和S105中，通过使用harris角点检测、MSER区域检测对图像数据进行过滤，过滤出标定板顶点坐标，并计算出[(ρ1,θ1),(ρ2,θ2),(ρ3,θ3)]在图像中的位置[(x1,y1),(x2,y2),(x3,y3)]。但要注意，本公开实施例中使用的角点检测算法并不限于Harris角点检测算法，也可以使用其他角点检测算法诸如Kitchen-Rosenfeld角点检测算法、KLT角点检测算法和/或SUSAN角点检测算法等。区域检测算法也并不限于MSER区域检测，也可以使用其他公知的区域特征提取算法。角点检测算法与区域特征提取算法等算法例如可用opencv计算机视觉库来实现。在获得雷达坐标系与世界坐标系的关系以及摄像机图像坐标系与世界坐标系的关系之后，可在步骤S107中根据以上所示的公式(1)～(3)获得标定雷达坐标系与摄像机图像坐标系的转移矩阵。在一些实施例中，两坐标系之间的转移矩阵可用通过经RANSAC优化的最小二乘法计算出。在步骤S108中，可以例如使用预先准备好的参考标准数据来测试转移矩阵的准确性。所得到的标定的转移矩阵将用于提供空间的对应关系，使得追踪算法可以获取到足够的空间、视觉信息，也能使追踪算法的可信度大大提高。图3示出了根据本公开一些实施例的目标跟踪算法的流程图。图4中进一步示出了学习过程与检测过程如何基于追踪结果进行迭代。因为交通场景下的车辆追踪需要较强的鲁棒性，将检测的部分加入到追踪算法中。又由于跟踪目标的外部模型在追踪的过程中可能发生一定的改变，可以使用在线学习算法更新检测器参数以提高鲁棒性。如上文所述，将雷达数据和摄像机图像的所标定的转移矩阵定义为空间对应关系。还将任何所选定时刻的雷达数据和摄像机图像定义为时间对应关系。在一些实施例中，雷达频率与视频帧率可能无法一致或者无法进行同步。在这种情况下需使用雷达数据报中的时刻信息对雷达数据取平均值以与摄像机图像帧相对应，从而实现时间上雷达数据和摄像机图像的对应关系。在一些实施例中，视频帧率可能会高于雷达频率，此时可以对视频图像取时间平均以与雷达数据进行对应。在一些实施例中，将以上时间对应关系和空间对应关系作为初始条件来评价目标追踪过程中结果的可信度。例如可用将某一选定的相对应时刻下的具有已标定空间对应关系的雷达数据和摄像机图像作为初始条件。可自主判别追踪的可信度是否达到预确定的阈值，以便检测器选择适合的使用时机。在追踪过程中可以执行有监督学习以获得检测器中的参数，基于追踪结果的可信度在追踪过程中对检测器的参数进行纠正。在一些实施例中，纠正检测器的参数包括基于追踪结果的所述可信度低于阈值而使用所述检测器对目标进行检测从而利用在线学习进行纠正。在一些实施例中，检测器可以使用多分类器级联，其中包括以空间位置为判别标准的分类器。学习算法可以使用在线机器学习，以便进行检测器参数的更新。在步骤S301中，预备事先确定的初始边界框以用于跟踪过程。该初始边界框可以在确定追踪结果的可信度不满足预先确定的阈值时由检测器进行重新初始化。在步骤S302中，将上述具有时间和空间对应关系的雷达数据和摄像机图像进行融合并作为初始条件用于检测、学习以及追踪的机器学习过程。在步骤S303，S304和S305中示出了检测、学习以及追踪过程，使用追踪算法对目标进行追踪，并对追踪结果的可信度进行评价，如可信度低于某一预确定的阈值，就使用检测器在当前时刻下对目标进行检测，该检测可以使用半监督学习来迭代进行。半监督学习包括但不限于半监督分类、半监督回归、半监督聚类和/或其组合。在一些实施例中，检测器中的参数可以先根据初始边界框执行有监督而学习得到。在一些实施例中，检测器的参数训练需要加入学习器生成的正负样本以进行半监督学习。在使用半监督学习得到本次迭代的检测参数的迭代过程中，利用上一次迭代所得的检测器得到图像像素的分类，并如图4所示根据追踪过程所获得的时间、空间结构性关系，针对检测器在样本分类过程中出现的误检和漏检进行纠正。并重复该迭代过程，直至追踪结束。图5示出了根据本公开一些实施例的车辆追踪装置500的框图。车辆追踪装置500包括标定板501、雷达501、摄像机505和处理器507。标定板501可以是如上文所述的现有技术中的多种机器视觉标定板。在一些实施例中，雷达501包括单线激光雷达、多线激光雷达和/或车载三维激光雷达。在一些实施例中，摄像机505包括可见光摄像机、红外摄像机、CCD摄像机、CMOS摄像机、网络摄像机和/或任何可以提供视频图像序列的设备。处理器507可以包括复杂指令集计算机处理器(CISC)、精简指令集计算机处理器(RISC)、x86指令集兼容的处理器、多核处理器、多核移动处理器、微处理器、微控制器和/或中央处理单元(CPU)等。在一些实施例中，处理器507可以包括专用集成电路、组合逻辑电路、组合电子电路等任何可以执行逻辑命令的逻辑单元。标定板501用于获得雷达坐标系与世界坐标系的关系以及摄像机图像坐标系与世界坐标系的关系。处理器507根据所获得的上述坐标系关系得出雷达坐标系与摄像机图像坐标系的转移矩阵。处理器507还将雷达数据和摄像机图像的选定的时刻的时间对应关系和基于上述转移矩阵的空间对应关系作为初始条件以评价目标追踪过程中结果的可信度。在追踪过程中处理器507还执行有监督学习获得检测器中的参数，以及基于追踪结果的可信度对检测器的参数进行纠正。例如处理器507可在可信度低于阈值而使用该检测器对目标进行检测。本公开的实施例的效果还使用了时域和空域相对应的的雷达数据和摄像机图像进行了验证，首先水平固定摆放雷达、摄像机，并通过移动标定板获取图像、雷达数据，共计25组，其中20组用于计算，5组用于测试。然后，在交通环境下同时拍摄视频及雷达点云数据。所得视频和雷达点云数据在中央处理器为i5-34703.2GHzCPU、内存4G、OS为WINDOWS10的系统上运用MATLAB软件进行仿真。评测标准是基于真实边界框与实验结果边界框重叠率、中心位置欧氏距离的AUC、precision指标，该评测标准可从文献“Y.Wu,J.Lim,andH.Ling,OnlineObjectTracking:ABenchmark,Proc.IEEEConf.ComputerVisionandPatternRecognition,pp.1808-1814,2013”公知。经检测，本公开实施例的算法precision为0.5487，AUC为0.4575，相比现有技术中的算法具有一定优势，尤其是在长时间的追踪中明显优于现有算法，这有益于长时间车辆跟踪中的实际需要。本文中的部分方法步骤和流程可能需要由计算机执行，从而以硬件、软件、固件及其任何组合的方式来实施，并且可以包括计算机可执行的指令。该计算机可执行的指令可以以计算机程序产品的形式存储在机器可读介质上或者以从远程服务器下载的方式进行提供，并由通用计算机、专用计算机和/或其他可编程数据处理装置的一个或多个处理器读取和执行以实现方法步骤和流程中指明的功能/动作。机器可读介质包括但不限于软盘、光盘、压缩盘、磁光盘、只读存储器ROM、随机存取存储器RAM、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、存储卡、闪存和/或电、光、声以及其他形式的传播信号(例如载波、红外信号、数字信号等)。另外需注意，本文中的术语“和/或”可表示“和”、“或”、“异或”、“一个”、“一些但不是全部”、“两者皆不”和/或“两者皆是”，但在此方面并无限制。本文虽然已经示出和描述了本公开的具体实施例，但对本领域技术人员显然可以在不脱离所附权利要求书范围的情况下进行众多改变、变化和修改。另外，在上述具体实施方式中，可看到各种特征在单个实施例中组合在一起以便简化公开内容。此公开方式不应解释为反映要求保护的实施方式需要比每个权利要求项明确所述的具有更多特征。相反，如权利要求所反映的一样，本公开的主题依赖的是比单个公开实施方式所有特征更少的特征。因此，权利要求书的每个权利要求项本身保持为单独的完整的实施例。综上，本领域技术人员将认识到在不脱离本公开的范围和精神的情况下，可在更广阔的各方面中进行改变和修改。所附权利要求书在其范围内涵盖了落入本公开真实范围和精神内的所有此类改变、变化和修改。当前第1页1 2 3