专利名称：基于车辆状态分类的车辆跟踪方法和装置的制作方法
技术领域：
本发明涉及一种车辆跟踪方法和装置，尤其涉及一种基于车辆状态分类的车辆跟踪方法和装置。
背景技术：
在基于视觉的车辆跟踪领域，现有技术提出了很多跟踪的方法，主要有模板匹配跟踪方法(也称为相关跟踪)、基于特征的跟踪方法和光流法跟踪方法。
模板匹配跟踪方法是一种传统的跟踪方法，这种方法的思想是计算模板与匹配区域的相似程度，以最相似位置作为匹配点。模板匹配跟踪方法的优点是稳定性好，原理简单，可以解决车辆在正常状态、被遮挡状态下的跟踪。它的缺点是算法的实时性差，而且当车辆图像发生形变(如车辆拐弯时)或光照条件发生变化时，该方法的跟踪效果不好。
基于特征的跟踪方法首先在一个图像帧中选取一些车辆特征，然后在以后各个图像帧中利用一些约束条件寻找这些车辆特征，并进行匹配。基于特征的跟踪方法的优点在于跟踪速度快，但是当图像帧中车辆特征不明显时，常常导致跟踪失败。
光流法跟踪方法基于图像帧上车辆的亮度模式不会随着车辆的运动而改变的原理来跟踪车辆，因此通过对前后图像帧进行光流分析，能够达到车辆检测和跟踪的目的。光流法跟踪方法的优点在于车辆在图像帧间的运动范围的限制较少，可以处理车辆在图像帧间位移较大的情况；其缺点是计算方法相当复杂且抗噪性能差，实时性差。
由上述可知，上面的各种跟踪方法只能分别用于跟踪处于某种特定情景中的车辆，但在实际情况中，车辆可能行驶在各种不同的情景中，上面的任何一种跟踪方法都不能很好地很好地适用于各种情景。另外，当车辆处于进入隧道或者进入桥洞这种特殊的情景(车辆大部分特征消失)时，上面的任何一种跟踪方法不能很好地跟踪车辆。
发明内容
本发明的一个目的是提出一种基于车辆状态分类的车辆跟踪方法和装置，在该车辆跟踪方法和装置中，根据车辆的运行情景对车辆的运动状态进行分类，并根据不同的状态分类使用不同的跟踪方法来跟踪车辆。
本发明的另一个目的是提出一种基于车辆状态分类的车辆跟踪方法和装置，该车辆跟踪方法和装置能够很好地跟踪行驶在阴影情景中的车辆。
为了实现本发明的目的，按照本发明的一种基于车辆状态分类的车辆跟踪方法，包括步骤(a)获取一个图像帧；(b)基于已跟踪或检测得到的车辆在以前图像帧中的位置和大小信息，进行车辆运动估计以确定所述车辆在所述获取的图像帧中所处的可能区域；(c)确定所述车辆的状态分类；(d)根据确定的所述车辆的状态分类，使用相应的跟踪方法来处理所述确定的可能区域，以确定所述车辆在所述获取的图像帧中的位置和大小；以及(e)输出所述车辆在所述获取的图像帧中的位置和大小信息。
为了实现本发明的目的，按照本发明的一种基于车辆状态分类的车辆跟踪装置，包括获取单元，用于获取一个图像帧；区域确定单元，用于基于已跟踪或检测得到的车辆在以前图像帧中的位置和大小信息，进行车辆运动估计以确定所述车辆在所述获取的图像帧中所处的可能区域；分类确定单元，用于确定所述车辆的状态分类；
位置和大小确定单元，用于根据确定的所述车辆的状态分类，使用相应的跟踪方法来处理所述确定的可能区域，以确定所述车辆在所述获取的图像帧中的位置和大小；以及输出单元，用于输出所述车辆在所述获取的图像帧中的位置和大小信息。
与现有技术相比，由于本发明的车辆跟踪方法和装置根据车辆的不同行驶情景，例如被遮挡、到达边界、进入阴影、处于机动或正常，选择相应的跟踪方法来跟踪车辆，所以本发明的车辆跟踪方法和装置能够很好地跟踪在各种情景中行驶的车辆。
附图简述根据下面结合了附图的详细描述，本发明的这些和其它目的、优点和特征将变得显而易见。在附图中
图1是本发明的基于车辆状态分类的车辆跟踪方法流程图；图2是本发明的车辆状态分类的处理流程图；图3是本发明的判断车辆进入阴影的方法流程图；图4是本发明的车辆进入阴影的跟踪方法流程图；图5是本发明的特征还原跟踪法的流程图；图6A-6D是本发明的用于说明特征还原跟踪法的图像；图7示出了利用本发明的基于车辆状态分类的车辆跟踪方法来跟踪处于图像边界的车辆的结果；图8示出了利用本发明的基于车辆状态分类的车辆跟踪方法来跟踪被遮挡的车辆的结果；图9示出了利用本发明的基于车辆状态分类的车辆跟踪方法来跟踪进入桥洞阴影中的车辆的结果；图10示出了利用本发明的基于车辆状态分类的车辆跟踪方法来跟踪进入隧道阴影中的车辆的结果；图11示出了本发明的基于车辆状态分类的车辆跟踪装置。
发明详述图1是本发明的基于车辆状态分类的车辆跟踪方法流程图。下面基于图1的流程图，以已经跟踪得到车辆在第1-9帧图像中的位置和大小等的信息，现在正准备跟踪车辆在第10帧图像中的位置和大小等的信息为例，详细描述本发明的车辆跟踪方法。
首先，从摄像机或图像传感器中读入第10帧图像(步骤S10)。然后，判断在第1-9帧图像中跟踪或检测得到的车辆中，哪些车辆是新出现车辆(即被跟踪次数少于预定值的车辆)和哪些车辆是已存在车辆(被跟踪次数大于或等于预定值的车辆)(步骤S20)。例如，可以将只在最近的两帧图像中才被跟踪或检测到的车辆定义为新出现车辆，而将在最近的三帧或三帧以上的图像中被跟踪或检测到的车辆定义为已存在车辆。
对于新出现车辆，根据已经跟踪或检测得到的新出现车辆在图像帧中的位置和大小信息，进行车辆运动估计以确定新出现车辆在第10帧图像中所处的可能区域(步骤S30)。然后，使用基于特征的跟踪方法来处理该确定的可能区域，以确定新出现车辆在第10帧图像中的位置和大小(步骤S40)。由于使用基于特征的跟踪方法来处理图像帧是现有技术，所以本发明在此省略了其处理过程的详细描述。最后，将确定的新出现车辆在第10帧图像中的位置和大小信息作为跟踪结果进行输出(步骤S)。在本发明中，由于新出现车辆可用的历史信息(位置和大小信息等)不多，因此只能使用相对简单的基于特征的跟踪方法来跟踪。
对于已存在车辆，根据已经跟踪或检测得到的已存在车辆在第1-9帧图像中的位置和大小信息，进行车辆运动估计以确定已存在车辆在第10帧图像中所处的可能区域(步骤S50)。
接着，根据已经跟踪得到的已存在车辆在第1-9帧图像中的位置和大小信息，确定已存在车辆的状态分类(步骤S60)。
图2是根据本发明的车辆状态分类的处理流程图。下面将基于图2详细描述如何确定已存在车辆的状态分类。
如图2所示，首先，根据已存在车辆在第9帧图像中的位置和大小信息，确定每个已存在车辆在第9帧图像中所占据的图像区域(步骤S600)。
然后，判断每个已存在车辆所占据的图像区域是否被其他车辆所占据的图像区域遮挡(步骤S602)。若有已存在车辆其所占据的图像区域被其他车辆所占据的图像区域遮挡，则将该已存在车辆的状态分类设定为遮挡状态(步骤S604)，并输出该已存在车辆的状态分类结果((步骤S620)。
若已存在车辆所占据的图像区域没有其他车辆所占据的图像区域遮挡，则然后判断已存在车辆所占据的图像区域是否到达了第9帧图像的边界(步骤S606)。若有已存在车辆其所占据的图像区域已经到达了第9帧图像的边界，则将该已存在车辆的状态分类设定为边界状态(步骤S608)，并输出该已存在车辆的状态分类结果。
若已存在车辆所占据的图像区域没有到达第9帧图像的边界，则接着判断已存在车辆是否已经被设置了已进入阴影的标(步骤S610)。若有已存在车辆被设置了已进入阴影的标志，则将该已存在车辆的状态分类设定为阴影状态(步骤S612)，并输出该已存在车辆的状态分类结果(步骤S620)。
若已存在车辆没有被设置已进入阴影的标志，则判断已存在车辆在第9帧图像中的位置相对于其在以前图像帧中的位置是否有显著变化(步骤S614)，例如，已存在车辆在第9帧图像中的位置是否远离了其在以前图像帧中的位置所形成的直线，或者，已存在车辆在第8帧和第9帧图像中的位置变化量是否远大于其在第7帧和第8帧图像中的位置变化量。若有已存在车辆其在第9帧图像中的位置相对于其在以前图像帧中的位置有显著变化，则将该已存在车辆的状态分类设定为机动状态(步骤S616)，并输出该已存在车辆的状态分类结果(步骤S620)。
若已存在车辆在第9帧图像中的位置相对于其在以前图像帧中的位置没有显著的变化，则将该已存在车辆的状态分类设定为正常状态(步骤S618)，并输出该已存在车辆的状态分类结果(步骤S620)。
上述就是本发明的车辆状态分类的处理流程。
在确定出已存在车辆的状态分类后，根据每个已存在车辆的状态分类选择相应的跟踪方法来处理其在第10帧图像中所确定的可能区域，以确定其在第10帧图像中的位置和大小。
具体而言，当已存在车辆的状态分类为遮挡状态时，使用模板匹配跟踪方法来跟踪该已存在车辆在第10帧图像中的位置和大小，跟踪时只利用该车辆未被遮挡部分的模板(分块的模板匹配跟踪方法)(步骤S70)。由于分块的模板匹配跟踪方法是现有技术，所以在此省略了其处理过程的详细描述。
当已存在车辆的状态分类为边界状态时，由于该已存在车辆的其中一部分已经位于图像帧之外，所以使用模板匹配跟踪方法来跟踪该车辆在第10帧图像中的位置和大小(步骤S80)。由于模板匹配跟踪方法是现有技术，所以在此省略了其处理过程的详细描述当已存在车辆的状态分类为阴影状态时，使用下面详细描述的车辆进入阴影的跟踪方法(结合附图4加以说明)，来跟踪该已存在车辆在第10帧图像中的位置和大小(步骤S90)。
当已存在车辆的状态分类为机动或正常状态时，使用基于特征的跟踪方法来跟踪得到该已存在车辆在第10帧图像中的位置和大小，并且利用该已存在车辆在以前图像帧中的位置和大小信息来对其进行校正(步骤S100和S110)。然后，根据该已存在车辆在第9和10帧图像中的位置和大小信息，利用下面详细描述的判断车辆进入阴影的方法(结合图3加以说明)，判断该已存在车辆在第10帧图像中是否已进入了阴影(步骤S120)，若判断该车辆在第10帧图像中已进入了阴影中，则利用下面详细描述的车辆进入阴影的跟踪方法(结合附图4加以说明)，对该已存在车辆在第10帧图像中的位置和大小进行重新跟踪(步骤S130)。
在确定出已存在车辆在第10帧图像中的位置和大小后，将其作为跟踪结果进行输出(步骤S140)。
上述就是本发明的基于车辆状态分类的车辆跟踪方法。
图3是本发明的判断车辆进入阴影的方法流程图。下面结合图3，详细描述上面提到的判断车辆进入阴影的方法。
如图3所示，当如上面步骤S90和S100所述的跟踪得到了车辆在第10帧图像中的位置和大小后，首先，根据该车辆在第9和10帧图像中的位置和大小信息，判断该车辆在第10帧图像中的下底边的位置与其在第9帧图像中的下底边的位置相比是否有较大变化(步骤S1100)。
如果判断没有较大变化，则确定该已存在车辆没有进入阴影中(步骤S1110)。
如果判断有较大变化，则计算该车辆在第10帧图像中所处的可能区域的下部区域(优选该下部区域的高度为该可能区域的高度的0.2-0.6)中，总像素数量和亮度值低于阈值T(T取值范围优选为30-80)的像素数量(步骤S1102)。然后，判断该亮度值低于阈值T的像素数量与该总像素数量的比值是否大于预定值R(优选R大于0.7)(步骤S1104)。若判断该比值大于该预定值R，则向该车辆设置已进入阴影的标志(步骤S1106)，并且确定该车辆已进入阴影中(步骤S1108)。否则，确定该车辆没有进入阴影中(步骤S1110)。
图4是本发明的车辆进入阴影的跟踪方法流程图。下面结合图4，以跟踪车辆在第10帧图像中的位置和大小信息为例，详细描述上面提到的车辆进入阴影的跟踪方法。
如图4所示，首先，根据已跟踪得到的该车辆在最近图像帧中的位置和大小信息，判断该车辆是否还处在阴影中(步骤S400)。其中，当该车辆进入阴影的跟踪方法在图2所示的步骤S90中使用时，该最近图像帧为第9帧图像，而当该车辆进入阴影的跟踪方法在图2所示的步骤S130中使用时，该最近图像帧为第10帧图像。
具体而言，当判断该车辆是否还处在阴影中时，首先，计算该车辆在最近图像帧中所处的可能区域的下部区域(优选该下部区域的高度为该可能区域的高度的0.2-0.6)中，总像素数量和亮度值低于阈值T(T取值范围优选为30-80)的像素数量。然后，判断该亮度值低于阈值T的像素数量与该总像素数量的比值是否大于预定值R(优选R大于0.7)。若该比值大于该预定值R，则判断该车辆还处在阴影中。否则，判断该车辆已不在阴影中。
若判断该车辆已不在阴影中，则撤消该车辆已进入阴影的标志(步骤S402)，然后将该车辆当作车辆状态分类为正常状态的车辆来跟踪其在第10帧图像中的位置和大小(步骤S404)，并且将跟踪得到的该车辆在第10帧图像中的位置和大小信息作为跟踪结果进行输出(步骤S412)。
若判断该车辆还处在阴影中，则判断该车辆在最近图像帧中是否还保留有车辆上部特征(步骤S406)。其中，该车辆上部特征主要包括车辆的上顶边和左右边。
若该车辆在最近图像帧中未保留有车辆上部特征，则利用已跟踪得到的该车辆在第10帧图像之前的图像帧(例如第6-9帧图像)中的位置和大小信息，进行车辆运动估计以跟踪该车辆在第10帧图像中的位置和大小(步骤S408)，并将跟踪得到的该车辆在第10帧图像中的位置和大小消息作为跟踪结果进行输出(步骤S412)。
若该车辆在最近图像帧中还保留有车辆上部特征，则使用下面详细描述的特征还原跟踪法来跟踪该车辆在第10帧图像中的位置和大小(结合图5和6加以说明)(步骤S410)，并将跟踪得到的该车辆在第10帧图像中的位置和大小消息作为跟踪结果进行输出(步骤S412)。
图5是本发明的特征还原跟踪法的流程图。图6是本发明的用于说明特征还原跟踪法的图像。下面结合图5和6，以确定车辆在第10帧图像中的位置和大小为例，详细描述本发明的特征还原跟踪法。
如图5所示，首先，从第10帧图像中车辆所处的可能区域(如图6A所示)中，获取包含该车辆上部特征的那一部分图像(如图6B所示)(步骤S500)。然后，对获取的该部分图像进行边缘提取以得到图像边缘特征(如图6C所示)(步骤S502)。接着，根据该车辆在第9帧图像中的位置和大小信息以及得到的该图像边缘特征，确定该车辆在第10帧图像中的上顶边和左右边，通过该车辆在第10帧图像中的上顶边和左右边就确定了该车辆在第10帧图像中的大致位置(步骤S504)。接下来，根据该车辆在第10帧图像中的位置信息和其在第9帧图像中的大小信息(即，上顶边、左右边和下底边)，还原出该车辆在第10帧图像中的下底边，得到的该车辆第10帧图像中的上顶边、左右边和下底边就决定了该车辆第10帧图像中的位置和大小信息(如图6D所示)(步骤S506)。最后，将得到的该车辆第10帧图像中的位置和大小信息作为跟踪结果进行输出(步骤S508)。
图7-10分别示出了利用本发明的基于车辆状态分类的车辆跟踪方法来跟踪处于图像边界的车辆、被遮挡的车辆、进入桥洞阴影中的车辆和进入隧道阴影中的车辆的结果。从图中可以看出，使用本发明的车辆跟踪方法能够很好地跟踪行驶在不同情景中的车辆。
图11示出了本发明的基于车辆状态分类的车辆跟踪装置，其中，只示出了与本发明相关的单元，而现有技术中与本发明无关的单元没有示出。本发明的基于车辆状态分类的车辆跟踪装置能够使用软件、硬件或软硬件结合的方式来实现。
如图11所示，本发明的车辆跟踪装置包括一个获取单元10，用于获取一个图像帧；一个区域确定单元20，用于基于已跟踪或检测得到的车辆在以前图像帧中的位置和大小信息，进行车辆运动估计以确定所述车辆在所述获取的图像帧中所处的可能区域；一个分类确定单元30，用于确定所述车辆的状态分类；一个位置和大小确定单元40，用于根据确定的所述车辆的状态分类，使用相应的跟踪方法来处理所述确定的可能区域，以确定所述车辆在所述获取的图像帧中的位置和大小；以及，一个输出单元50，用于输出所述车辆在所述获取的图像帧中的位置和大小信息。
其中，分类确定单元30进一步包括一个占据区域确定单元、一个判断单元和一个设定单元。该占据区域确定单元，根据所述车辆在所述获取的图像帧的前一帧图像中的位置和大小信息，确定所述车辆在所述前一帧图像中所占据的图像区域。该判断单元，首先判断所述车辆在所述前一帧图像中所占据的图像区域是否被其它车辆遮挡；当确定已被遮挡时，该设定单元设定所述车辆的状态分类为遮挡状态；当确定没有被遮挡时，该判断单元接着判断所述车辆在所述前一帧图像中所占据的图像区域是否到达所述前一帧图像的边界；当确定到达了边界时，该设定单元设定所述车辆的状态分类为边界状态；当确定没有到达边界时，该判断单元接着判断所述车辆是否被设置了已进入阴影的标志；当确定被设置了已进入阴影的标志时，该设定单元设定所述车辆的状态分类为阴影状态；当确定没有被设置已进入阴影的标志时，该判断单元根据所述车辆在所述以前图像帧中的位置和大小信息，通过所述车辆运动估计来判断所述车辆是否处于机动行驶状态；当确定处于机动行驶状态时，该设定单元设定所述车辆的状态分类为机动状态；当确定没有处于机动行驶状态时，该设定单元设定所述车辆的状态分类为正常状态。
其中，当所述车辆的状态分类分别为所述遮挡状态和所述边界状态时，位置和大小确定单元40分别使用分块的模板匹配跟踪方法和模板匹配跟踪方法来处理所述确定的可能区域。
其中，当所述车辆的状态分类为所述机动或正常状态时，位置和大小确定单元40进一步包括一个处理单元，用于当所述车辆的状态分类为所述机动或正常状态时，使用基于特征的跟踪方法来处理所述确定的可能区域，以得到所述车辆在所述获取的图像帧中的位置和大小信息；一个校正单元，用于基于所述车辆在所述以前图像帧中的位置和大小信息，校正得到的所述车辆在所述获取的图像帧中的位置和大小信息；一个进入阴影判断单元，用于根据得到的所述车辆在所述获取的图像帧和所述前一帧图像中的位置和大小信息，判断所述车辆在所述获取的图像帧中是否已进入阴影中；一个跟踪单元，用于当确定已进入阴影中时，使用车辆进入阴影的跟踪方法来重新跟踪所述车辆在所述获取的图像帧中的位置和大小信息；一个标志撤消单元，用于当确定所述车辆已经不在阴影中时，撤消设置给所述车辆的所述进入阴影的标志；以及，一个正常跟踪单元，用于当确定所述车辆已经不在阴影中时，把所述车辆当作所述正常状态的车辆来跟踪其在所述获取的图像帧中的位置和大小信息。
所述进入阴影判断单元进一步包括一个下底边位置判断单元，用于判断所述车辆在所述获取的图像帧中的下底边的位置与其在所述前一帧图像中的下底边的位置相比是否有较大变化；一个像素计算单元，用于当确定有较大变化时，计算所述车辆在所述获取的图像帧中所处的所述可能区域的下部区域中，总像素数量和亮度值小于预定阈值的像素数量；一个比值判断单元，用于判断所述亮度值小于预定阈值的像素数量与所述总像素数量的比值是否大于预定值；一个标志设置单元，用于当确定大于所述预定值时，向所述车辆设置所述已进入阴影的标志；以及，一个进入阴影确定单元，用于确定所述车辆在所述获取的图像帧中已进入阴影。
所述跟踪单元进一步包括一个阴影判断单元，用于判断所述车辆在所述获取的图像帧中是否还处于阴影中；一个特征判断单元，用于当确定还处于阴影中时，判断在所述获取的图像帧中是否保留有所述车辆的上部特征；一个还原跟踪单元，用于当确定还保留有所述车辆的上部特征时，使用特征还原跟踪方法来重新跟踪所述车辆在所述获取的图像帧中的位置和大小信息；以及，一个运动估计跟踪单元，用于当确定没保留有所述车辆的上部特征时，根据已跟踪得到的所述车辆在所述以前图像帧中的位置和大小信息，进行所述车辆运动估计以确定所述车辆在所述获取的图像帧中的位置和大小信息。
所述还原跟踪单元进一步包括一个图像获取单元，用于从所述车辆在所述获取的图像帧中所处的可能区域中，获取包含所述车辆上部特征的那一部分图像；一个边缘提取单元，用于对所述获取的那部分图像进行边缘提取以得到图像边缘特征；一个边缘确定单元，用于根据所述车辆在所述前一帧图像中的位置和大小信息以及所述得到的图像边缘特征，确定所述车辆在所述获取的图像帧中的上顶边和左右边；以及，一个下底边还原单元，用于根据所述车辆在所述获取的图像帧中的上顶边和左右边以及其在所述前一帧图像中的大小信息，还原出所述车辆在所述图像帧中的下底边，其中，得到的所述车辆在所述图像帧中的上顶边、左右边和下底边决定了所述车辆在所述图像帧中的位置和大小信息。
另外，当所述车辆的状态分类为所述阴影状态时，位置和大小确定单元40仅包括上述跟踪单元，即包括一个阴影判断单元，用于当所述车辆的状态分类为所述阴影状态时，判断所述车辆在所述前一帧图像中是否还处于阴影中；一个特征判断单元，用于当确定还在阴影中时，判断在所述前一帧图像中是否保留有所述车辆的上部特征；一个还原跟踪单元，用于确定还保留有所述车辆的上部特征时，使用特征还原跟踪方法来跟踪所述车辆在所述获取的图像帧中的位置和大小信息；一个运动估计跟踪单元，用于当确定没保留有所述车辆的上部特征时，根据已跟踪得到的所述车辆在所述以前图像帧中的位置和大小信息，进行所述车辆运动估计以确定所述车辆在所述获取的图像帧中的位置和大小信息；一个标志撤消单元，用于当确定所述车辆已经不在阴影中时，撤消设置给所述车辆的所述进入阴影的标志；以及，一个正常跟踪单元，用于当确定所述车辆已经不在阴影中时，把所述车辆当作所述正常状态的车辆来跟踪其在所述获取的图像帧中的位置和大小信息。
所述还原跟踪单元进一步包括一个图像获取单元，用于从所述车辆在所述获取的图像帧中所处的可能区域中，获取包含所述车辆上部特征的那一部分图像；一个边缘提取单元，用于对所述获取的那部分图像进行边缘提取以得到图像边缘特征；一个边缘确定单元，用于根据所述车辆在所述前一帧图像中的位置和大小信息以及所述得到的图像边缘特征，确定所述车辆在所述获取的图像帧中的上顶边和左右边；以及，一个下底边还原单元，用于根据所述车辆在所述获取的图像帧中的上顶边和左右边以及其在所述前一帧图像中的大小信息，还原出所述车辆在所述图像帧中的下底边，其中，得到的所述车辆在所述图像帧中的上顶边、左右边和下底边决定了所述车辆在所述图像帧中的位置和大小信息。
本发明的上述描述本质上仅是示范性的，由此，不脱离本发明的精神的各种变化被确定为在本发明的范围内。这样的变化不被认为是偏离本发明的精神和范围。
权利要求
1.一种基于车辆状态分类的车辆跟踪方法，包括步骤(a)获取一个图像帧；(b)基于已跟踪或检测得到的车辆在以前图像帧中的位置和大小信息，进行车辆运动估计以确定所述车辆在所述获取的图像帧中所处的可能区域；(c)确定所述车辆的状态分类；(d)根据确定的所述车辆的状态分类，使用相应的跟踪方法来处理所述确定的可能区域，以确定所述车辆在所述获取的图像帧中的位置和大小；以及(e)输出所述车辆在所述获取的图像帧中的位置和大小信息。
2.如权利要求1所述的车辆跟踪方法，其中，所述步骤(c)进一步包括根据所述车辆在所述获取的图像帧的前一帧图像中的位置和大小信息，确定所述车辆在所述前一帧图像中所占据的图像区域；判断所述车辆在所述前一帧图像中所占据的图像区域是否被其它车辆遮挡；若确定已被遮挡，则设定所述车辆的状态分类为遮挡状态；若确定没有被遮挡，则判断所述车辆在所述前一帧图像中所占据的图像区域是否到达所述前一帧图像的边界；若确定到达了边界，则设定所述车辆的状态分类为边界状态；若确定没有到达边界，则判断所述车辆是否被设置了已进入阴影的标志；若确定被设置了已进入阴影的标志，则设定所述车辆的状态分类为阴影状态；若确定没有被设置已进入阴影的标志，则根据所述车辆在所述以前图像帧中的位置和大小信息，通过所述车辆运动估计来判断所述车辆是否处于机动行驶状态；若确定处于机动行驶状态，则设定所述车辆的状态分类为机动状态；以及若确定没有处于机动行驶状态，则设定所述车辆的状态分类为正常状态。
3.如权利要求2所述的车辆跟踪方法，其中，所述步骤(d)进一步包括若所述车辆的状态分类为所述遮挡状态，则使用分块的模板匹配跟踪方法来处理所述确定的可能区域。
4.如权利要求2所述的车辆跟踪方法，其中，所述步骤(d)进一步包括若所述车辆的状态分类为所述边界状态，则使用模板匹配跟踪方法来处理所述确定的可能区域。
5.如权利要求2所述的车辆跟踪方法，其中，所述步骤(d)进一步包括(d1)若所述车辆的状态分类为所述机动或正常状态，则使用基于特征的跟踪方法来处理所述确定的可能区域，以得到所述车辆在所述获取的图像帧中的位置和大小信息；(d2)基于所述车辆在所述以前图像帧中的位置和大小信息，校正得到的所述车辆在所述获取的图像帧中的位置和大小信息；(d3)根据得到的所述车辆在所述获取的图像帧和所述前一帧图像中的位置和大小信息，判断所述车辆在所述获取的图像帧中是否已进入阴影中；以及(d4)若确定已进入阴影中，则使用车辆进入阴影的跟踪方法来重新跟踪所述车辆在所述获取的图像帧中的位置和大小信息。
6.如权利要求5所述的车辆跟踪方法，其中，所述步骤(d3)进一步包括判断所述车辆在所述获取的图像帧中的下底边的位置与其在所述前一帧图像中的下底边的位置相比是否有较大变化；若确定有较大变化，则计算所述车辆在所述获取的图像帧中所处的所述可能区域的下部区域中，总像素数量和亮度值大于预定阈值的像素数量；判断所述亮度值小于预定阈值的像素数量与所述总像素数量的比值是否大于预定值；若确定大于所述预定值，则向所述车辆设置所述已进入阴影的标志；以及确定所述车辆在所述获取的图像帧中已进入阴影。
7.如权利要求5所述的车辆跟踪方法，其中，所述步骤(d4)进一步包括判断所述车辆在所述获取的图像帧中是否还处于阴影中；若确定还处于阴影中，则判断在所述获取的图像帧中是否保留有所述车辆的上部特征；若确定还保留有所述车辆的上部特征，则使用特征还原跟踪方法来重新跟踪所述车辆以获取其在所述获取的图像帧中的位置和大小信息；以及若确定没保留有所述车辆的上部特征，则根据已跟踪得到的所述车辆在所述以前图像帧中的位置和大小信息，进行所述车辆运动估计以确定所述车辆在所述获取的图像帧中的位置和大小信息。
8.如权利要求2所述的车辆跟踪方法，其中，所述步骤(d)进一步包括若所述车辆的状态分类为所述阴影状态，则判断所述车辆在所述前一帧图像中是否还处于阴影中；若确定还在阴影中，则判断在所述前一帧图像中是否保留有所述车辆的上部特征；若确定还保留有所述车辆的上部特征，则使用特征还原跟踪方法来跟踪所述车辆在所述获取的图像帧中的位置和大小信息；以及若确定没保留有所述车辆的上部特征，则根据已跟踪得到的所述车辆在所述以前图像帧中的位置和大小信息，进行所述车辆运动估计以确定所述车辆在所述获取的图像帧中的位置和大小信息。
9.如权利要求7或8所述的车辆跟踪方法，其中，还包括步骤若确定所述车辆已经不在阴影中，则撤消设置给所述车辆的所述进入阴影的标志；以及把所述车辆当作所述正常状态的车辆来跟踪其在所述获取的图像帧中的位置和大小信息。
10.如权利要求7或8所述的车辆跟踪方法，其中，所述利用特征还原跟踪方法来跟踪所述车辆的步骤进一步还包括从所述车辆在所述获取的图像帧中所处的可能区域中，获取包含所述车辆上部特征的那一部分图像；对所述获取的那部分图像进行边缘提取以得到图像边缘特征；根据所述车辆在所述前一帧图像中的位置和大小信息以及所述得到的图像边缘特征，确定所述车辆在所述获取的图像帧中的上顶边和左右边；以及根据所述车辆在所述获取的图像帧中的上顶边、左边和右边以及其在所述前一帧图像中的大小信息，还原出所述车辆在所述图像帧中的下底边，其中，得到的所述车辆在所述图像帧中的上顶边、左边、右边和下底边决定了所述车辆在所述图像帧中的位置和大小信息。
11.一种基于车辆状态分类的车辆跟踪装置，包括获取单元，用于获取一个图像帧；区域确定单元，用于基于已跟踪或检测得到的车辆在以前图像帧中的位置和大小信息，进行车辆运动估计以确定所述车辆在所述获取的图像帧中所处的可能区域；分类确定单元，用于确定所述车辆的状态分类；位置和大小确定单元，用于根据确定的所述车辆的状态分类，使用相应的跟踪方法来处理所述确定的可能区域，以确定所述车辆在所述获取的图像帧中的位置和大小；以及输出单元，用于输出所述车辆在所述获取的图像帧中的位置和大小信息。
12.如权利要求11所述的车辆跟踪装置，其中，所述分类确定单元进一步包括占据区域确定单元，用于根据所述车辆在所述获取的图像帧的前一帧图像中的位置和大小信息，确定所述车辆在所述前一帧图像中所占据的图像区域；判断单元，用于判断所述车辆在所述前一帧图像中所占据的图像区域是否被其它车辆遮挡；设定单元，用于当确定已被遮挡时，设定所述车辆的状态分类为遮挡状态；所述判断单元，当确定没有被遮挡时，判断所述车辆在所述前一帧图像中所占据的图像区域是否到达所述前一帧图像的边界；所述设定单元，当确定到达了边界时，设定所述车辆的状态分类为边界状态；所述判断单元，当确定没有到达边界时，判断所述车辆是否被设置了已进入阴影的标志；所述设定单元，当确定被设置了已进入阴影的标志时，设定所述车辆的状态分类为阴影状态；所述判断单元，当确定没有被设置已进入阴影的标志时，根据所述车辆在所述以前图像帧中的位置和大小信息，通过所述车辆运动估计来判断所述车辆是否处于机动行驶状态；所述设定单元，当确定处于机动行驶状态时，设定所述车辆的状态分类为机动状态；以及所述设定单元，当确定没有处于机动行驶状态时，设定所述车辆的状态分类为正常状态。
13.如权利要求12所述的车辆跟踪装置，其中，当所述车辆的状态分类为所述遮挡状态时，所述位置和大小确定单元使用分块的模板匹配跟踪方法来处理所述确定的可能区域。
14.如权利要求12所述的车辆跟踪装置，其中，当所述车辆的状态分类为所述边界状态时，所述位置和大小确定单元使用模板匹配跟踪方法来处理所述确定的可能区域。
15.如权利要求12所述的车辆跟踪装置，其中，所述位置和大小确定单元进一步包括处理单元，用于当所述车辆的状态分类为所述机动或正常状态时，使用基于特征的跟踪方法来处理所述确定的可能区域，以得到所述车辆在所述获取的图像帧中的位置和大小信息；校正单元，用于基于所述车辆在所述以前图像帧中的位置和大小信息，校正得到的所述车辆在所述获取的图像帧中的位置和大小信息；进入阴影判断单元，用于根据得到的所述车辆在所述获取的图像帧和所述前一帧图像中的位置和大小信息，判断所述车辆在所述获取的图像帧中是否已进入阴影中；以及跟踪单元，用于当确定已进入阴影中时，使用车辆进入阴影的跟踪方法来重新跟踪所述车辆在所述获取的图像帧中的位置和大小信息。
16.如权利要求15所述的车辆跟踪装置，其中，所述进入阴影判断单元进一步包括下底边位置判断单元，用于判断所述车辆在所述获取的图像帧中的下底边的位置与其在所述前一帧图像中的下底边的位置相比是否有较大变化；像素计算单元，用于当确定有较大变化时，计算所述车辆在所述获取的图像帧中所处的所述可能区域的下部区域中，总像素数量和亮度值小于预定阈值的像素数量；比值判断单元，用于判断所述亮度值小于预定阈值的像素数量与所述总像素数量的比值是否大于预定值；标志设置单元，用于当确定大于所述预定值时，向所述车辆设置所述已进入阴影的标志；以及进入阴影确定单元，用于确定所述车辆在所述获取的图像帧中已进入阴影。
17.如权利要求15所述的车辆跟踪装置，其中，所述跟踪单元进一步包括阴影判断单元，用于判断所述车辆在所述获取的图像帧中是否还处于阴影中；特征判断单元，用于当确定还处于阴影中时，判断在所述获取的图像帧中是否保留有所述车辆的上部特征；还原跟踪单元，用于当确定还保留有所述车辆的上部特征时，使用特征还原跟踪方法来重新跟踪所述车辆在所述获取的图像帧中的位置和大小信息；以及运动估计跟踪单元，用于当确定没保留有所述车辆的上部特征时，根据已跟踪得到的所述车辆在所述以前图像帧中的位置和大小信息，进行所述车辆运动估计以确定所述车辆在所述获取的图像帧中的位置和大小信息。
18.如权利要求12所述的车辆跟踪装置，其中，所述位置和大小确定单元进一步包括阴影判断单元，用于当所述车辆的状态分类为所述阴影状态时，判断所述车辆在所述前一帧图像中是否还处于阴影中；特征判断单元，用于当确定还在阴影中时，判断在所述前一帧图像中是否保留有所述车辆的上部特征；还原跟踪单元，用于确定还保留有所述车辆的上部特征时，使用特征还原跟踪方法来跟踪所述车辆在所述获取的图像帧中的位置和大小信息；以及运动估计跟踪单元，用于当确定没保留有所述车辆的上部特征时，根据已跟踪得到的所述车辆在所述以前图像帧中的位置和大小信息，进行所述车辆运动估计以确定所述车辆在所述获取的图像帧中的位置和大小信息。
19.如权利要求17或18所述的车辆跟踪装置，其中，还包括标志撤消单元，用于当确定所述车辆已经不在阴影中时，撤消设置给所述车辆的所述进入阴影的标志；以及正常跟踪单元，用于把所述车辆当作所述正常状态的车辆来跟踪其在所述获取的图像帧中的位置和大小信息。
20.如权利要求17或18所述的车辆跟踪装置，其中，所述还原跟踪单元进一步包括图像获取单元，用于从所述车辆在所述获取的图像帧中所处的可能区域中，获取包含所述车辆上部特征的那一部分图像；边缘提取单元，用于对所述获取的那部分图像进行边缘提取以得到图像边缘特征；边缘确定单元，用于根据所述车辆在所述前一帧图像中的位置和大小信息以及所述得到的图像边缘特征，确定所述车辆在所述获取的图像帧中的上顶边和左右边；以及下底边还原单元，用于根据所述车辆在所述获取的图像帧中的上顶边、左边和右边以及其在所述前一帧图像中的大小信息，还原出所述车辆在所述图像帧中的下底边，其中，得到的所述车辆在所述图像帧中的上顶边、左右边和下底边决定了所述车辆在所述图像帧中的位置和大小信息。
全文摘要
本发明涉及一种基于车辆状态分类的车辆跟踪方法和装置，该方法包括步骤获取一个图像帧；基于已跟踪或检测得到的车辆在以前图像帧中的位置和大小信息，进行车辆运动估计以确定所述车辆在所述获取的图像帧中所处的可能区域；确定所述车辆的状态分类；根据确定的所述车辆的状态分类，使用相应的跟踪方法来处理所述确定的可能区域，以确定所述车辆在所述获取的图像帧中的位置和大小；以及，输出所述车辆在所述获取的图像帧中的位置和大小信息。利用本发明的车辆跟踪方法和装置，能够很好地跟踪行驶在不同情景(包括阴影)中的车辆。
文档编号G06T7/00GK101029823SQ20061000937
公开日2007年9月5日 申请日期2006年2月28日 优先权日2006年2月28日
发明者刘威, 朱琳琳 申请人:沈阳东软软件股份有限公司, 阿尔派株式会社