对象检测方法和系统的制作方法
【专利摘要】本发明涉及一种目标检测方法和系统。该目标检测方法包括：获取当前场景的当前图像帧；基于当前图像帧之前连续多帧图像帧的历史序列中历史信息，预测当前图像帧的特征区域；基于根据具体应用所需而提取的特征，针对当前图像帧中所预测的特征区域，相对于前一帧的特征区域进行特征区域匹配；基于当前图像帧中被匹配上的特征区域之间的位移矢量、空间邻接性以及跟踪信息，进行特征区域的目标集合分析，从而获得目标的特征区域的集合，并将所获得目标集合作为检测对象输出；基于所述提取特征以及空间邻接性对未匹配的点进行聚类；以及采用目标集合分析的结果以及聚类结果更新当前图像帧的特征区域以及区域特征。
【专利说明】对象检测方法和系统
【技术领域】
[0001]本发明涉及一种对象检测方法和装置。具体而言，本发明涉及一种在车辆自主驾驶过程中采用位移矢量特征、空间邻接性特征与跟踪信息进行对象集合的分析，以实现自学习来不断增强特征区域与特征值，进而提高检测性能的对象检测方法和系统。
【背景技术】
[0002]随着视频检测的广泛使用，人们对在视频图像中检测对象的精度有了越来越高的要求。而且随着人们对自动驾驶技术的需要，如何可靠地获取3D道路环境对于车辆的自主驾驶十分重要。3D道路环境识别任务主要包括路面估计，消失点计算，目标检测等，其中，目标对象检测作为最为重要的部分，对自主车的控制有着直接的影响。
[0003]针对各种对象在图像中体现的各种特性，人们提出了各种对象检测方法。美国专利申请US005937079A提出了一种用于立体图对象检测的方法，该专利通过立体图像估计来检测对象。在其他结构类别中为像素确定对应的是差值并且以给定频率增量汇集在视差直方图中。属于该直方图的个顶分组点区域的像素组随后被认为是将被检测的对象。在该专利申请中，当在给定的分组点区域内存在多个对象或者存在等距离存在多个对象时，通过视差直方图不能确定对象。
[0004]美国专利US7801330B2披露了一种从视频流中进行目标检测和跟踪的方法。该方法包括接收视频，检测视频中的运动像素，基于所检测到的运动像素检测视频中的线段和运动块，基于所检测的线段或运动块是识别视频中的目标，基于所识别的目标跟踪视频中的目标，以及管理视频中的被跟踪的目标。在该专利中，在每帧中检测线段或运动块进行匹配。
[0005]从现有技术看，当前的目标检测方法主要有两类:(1)基于帧内信息的检测方法；
(2)基于帧间信息的检测方法。第一类方法利用空间的分布特征对相信的点进行聚类以检测目标。这类方法对于简单场景下的检测非常有效，但对于复杂场景下相邻目标的分割效果不好，并且容易将大目标错误的分成若干个小目标。第二类方法通过过帧间的匹配以得到相对运动信息来进行目标检测。这类方法通常计算量非常大，并且对于像素点位移的确定不太稳定。
[0006]基于帧内信息在视差图上进行目标检测是一种广泛使用的目标检测方法。但是目前的该方法中还存在一些问题:由于相机的参数未能非常精确的获得，因而视差计算得到的结果也不十分准确。同一个目标上的视差值的方差非常大，以致于难于区分相邻的目标.如图1A和IB所示，其中从图1A的灰度图中看出来属于两个目标的行人和车辆在视差图1B中被识别为同一目标。在图1B中的矩形框是检测到的目标区域。。在稀疏视差图中，水平双目相机所获得视差图中的目标的水平边缘几乎没有视差值，因此容易将同一个目标分割为不同的小目标。如图2A和2B所示，由于水平双目相机获得视差图在车辆的中间部分无法获得正确的匹配结果，因此车辆尾部的中间水平边缘部分没有视差，因此该车辆被识别为两个部分。如图2B所示，其中两个矩形框是检测到的目标区域。
【发明内容】
[0007]本发明主要针对这两个问题，采用所提出的新方法进行解决。
[0008]根据本发明的一个方面，提供了一种目标检测方法，包括:获取当前场景的当前图像帧；基于当前图像帧之前连续多帧图像的历史序列中历史信息，预测当前图像帧的特征区域；基于根据具体应用所需而提取的特征，针对当前图像帧中所预测的特征区域，相对于上一帧的特征区域进行特征区域匹配；基于当前图像帧中被匹配上的特征区域之间的位移矢量、空间邻接性以及跟踪信息，对当前图像帧的特征区域进行目标集合分析，从而获得待检测目标的特征区域的集合，并将所获得的目标集合作为检测对象输出；基于所述提取特征以及空间邻接性对未匹配的点进行聚类；以及采用目标集合分析的结果以及聚类结果更新当前图像帧的特征区域以及区域的特征以便针对下一帧图像重复上述步骤。
[0009]根据本发明的目标检测方法，所述进行目标集合分析步骤包括:对于当前图像帧中已匹配上的特征区域，基于特征区域的在当前图像帧之前连续多帧中的相对位移状态，计算处已匹配上的特征区域的位移矢量；基于在当前图像帧之前连续多帧的历史信息所显示的跟踪轨迹，校正当前图像帧中所计算的特征区域的位移矢量；以及针对当前图像帧，基于特征区域的校正后的位移矢量、特征区域彼此之间的空间邻接性以及跟踪信息，进行特征区域的合并，以获得目标集合。因此，根据本发明的方法使用运动信息和用于分段的空间连接信息能够有效地区分相邻的对象。
[0010]根据本发明的目标检测方法，所述进行目标集合分析步骤还包括:对所合并的目标集合的形状进行分析，以确定属于所合并的目标集合的潜在的目标区域；基于根据具体应用所需而提取的特征，将所确定的潜在的目标区域作为特征区域相对于上一帧的特征区域进行重新匹配；以及将被匹配上的并且与已合并的目标集合具有相同位移矢量的潜在的目标区域合并到已合并的目标集合，从而得到目标的整个集合区域，并保留未匹配上的潜在的目标区域作为新的特征区域。
[0011]根据本发明的目标检测方法，还包括:在所述当前图像帧为第一帧的情况下，直接进行基于提取特征以及空间邻接性对未匹配的点进行聚类，从而获得第一帧的特征区域。
[0012]根据本发明的目标检测方法，所述更新步骤包括:将目标集合区域作为当前图像帧的新的特征区域；将未被匹配上的潜在目标区域作为当前图像帧的新的特征区域；将未匹配点聚类生成的区域作为当前图像帧的新的特征区域；以及针对提取的特征对每个新特征区域的特征值更新。因此，本发明的方法对特征区域和特征值进行自我学习，特征强度连续并且具有更强的鲁棒性。
[0013]根据本发明的目标检测方法，所述历史序列记录当前图像帧之前连续多帧图像中的每个特征区域运动状态参数。
[0014]根据本发明的目标检测方法，所述特征区域的预测通过卡尔曼滤波器建立运动模型来进行。
[0015]根据本发明的目标检测方法，在当前帧中被合并的特征区域之间应具有相同位移矢量以及空间上相邻，并且在连续的数帧中具有相同的位移矢量、空间关系和相同的运动轨迹。
[0016]根据本发明的目标检测方法，所述确定潜在的目标区域通过预先建立不同目标的形状模型来检测潜在的目标区域。
[0017]根据本发明的另一个方面，还提供了一种目标检测系统，包括:图像获取单元，获取当前场景的当前图像帧；特征区域预测单元，基于当前图像帧之前连续多帧图像帧的历史序列中历史信息，预测当前图像帧的特征区域；特征区域匹配单元，基于根据具体应用所需而提取的特征，针对当前图像帧中所预测的特征区域，相对于上一帧的特征区域进行特征区域匹配；目标集合分析单元，基于当前图像帧中被匹配上的特征区域之间的位移矢量、空间邻接性以及跟踪信息，对当前图像帧的特征区域进行目标集合分析，从而获得待检测目标的特征区域的集合，并将所获得的目标集合作为检测对象输出；聚类单元，基于所述提取特征以及空间邻接性对未匹配的点进行聚类；以及特征更新单元，采用目标集合分析的结果以及聚类结果更新当前图像帧的特征区域以及区域的特征以便针对下一帧图像重复上述步骤。
[0018]根据本发明的目标检测方法，采用位移矢量特征，空间邻接性特征与跟踪信息进行目标集合的分析，以实现自学习来不断增强特征区域与特征值，进而提高检测性能。
【专利附图】
【附图说明】
[0019]图1A和IB是现有技术中视差图中的两个相邻目标被识别为一个目标的示意图。
[0020]图2A和2B是现有技术中视差图中的一个目标被识别为两个目标的示意图。
[0021]图3所示的是根据本发明的目标检测方法的总体流程图。
[0022]图4所示的是根据本发明的方法进行特征匹配的流程图。
[0023]图5A显示了前一帧画面中特征区域的示意图。
[0024]图5B显示了通过特征区域预测获得当前帧画面(新的即时画面)中特征区域的示意图。
[0025]图6所示的是对图5B中预测的特征区域进行特征区域匹配后的结果的示意图。
[0026]图7所示的是根据本发明的方法进行自学习检测的流程图。
[0027]图8所示的根据本发明的方法进行目标集合分析的流程图。
[0028]图9A所示的是确定位移矢量的示意图。
[0029]图9B是图9A中所确定位移矢量的放大示意图。
[0030]图9C和9D显示了针对图9A和9B所示的位移矢量进行校正后的位移矢量的示意图。
[0031]图10所示的是通过特征区域合并后的对象集合的示意图。
[0032]图11所示的是通过确定潜在的目标区域所得到的特征区域的示意图。
[0033]图12所示的是未匹配点被聚类后的结果的示意图。
[0034]图13A所示的是潜在目标区域未与合并目标集合合并而被更新为新的特征区域的结果示意图。
[0035]图13B所示的是合并目标集合与潜在目标区域合并后的结果被更新为新的特征区域的结果示意图。
[0036]图13C所示的未匹配点聚类的结果被更新为新特征区域的示意图。
[0037]图14A所示的是当前帧的原始视差图。
[0038]图14B所示的是采用传统对象检测方法(例如基于帧内信息的方法)的结果示意图。
[0039]图14C所示的是采用本发明的检测方法的结果示意图。
[0040]图15A所示的是当前帧的原始视差图。
[0041]图15B所示的是采用传统对象检测方法(例如基于帧内信息的方法)的结果示意图。
[0042]图15C所示的是采用本发明的检测方法的结果示意图。
[0043]图16所示的是采用本发明的对象检测方法的系统的功能模块图。
【具体实施方式】
[0044]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0045]根据本发明的实施例，如图3所示，提供了一种目标对象检测方法。首先，在步骤SlO处，由诸如双目相机的图像获取单元10捕获即时画面，包括当前场景的视差图或灰度图，并输出到特征区域生成单元11 (将在后面进行描述)。接着，在步骤Sll处，特征区域生成单元11基于每个特征区域的历史序列预测新的即时画面中特征区域并进行特征区域匹配，从而获得新的即时画面中的特征区域。特征区域生成单元11将匹配上的特征区域发送给自学习检测单元12 (将在后面进行描述)。在步骤S12处，自学习检测单元12对当前图像帧中的已经匹配上的特征区域进行目标集合分析以及对未匹配的点基于提取特征和空间邻接性进行聚类形成新的特征区域，并更新当前图像帧中的特征区域和这些特征区域中的特征并将更新结果发送到输出单元13 (将在后面进行描述)。随后，在步骤S13处，输出单元13将新的特征区域作为新的即时画面中的目标对象作为检测对象输出。
[0046]图4所示的是根据本发明的方法进行特征匹配的流程图。如图4所示，首先，对于在步骤SlO获得的即时画面的灰度图和视差图，在步骤SllO处判断该即时画面是否为采用本发明的检测方法的系统所接收到的第一帧图像。如果是第一帧图像，则处理进程转向后面将描述的步骤S122。如果不是第一帧图像，则进入步骤111。在步骤Slll中，对于所获得图像，特征区域预测111基于采用跟踪滤波器，建立的运动模型来预测每个特征区域在下一帧(新的即时画面)中的位置。跟踪滤波器，例如卡尔曼滤波器，可以建立运动模型，用于以描述每个特征区域的运动状态参数。当然，也可以使用其它现有的滤波器。特征区域在下一帧中的位置Pn+1和大小Sn+1都可以通过跟踪滤波器基于系统中保存的历史序列T来预测得到。
[0047]作为本申请的一个实例，在系统中保存的历史序列T记录了每个特征区域的运动轨迹:
[0048]T= {Tn, Tn^1,..., T0I
[0049]Ti= {00,
[0050]Oj= (Pi, Vi, S1...}
[0051]其中，是Oj目标(特征区域)的状态，它包含其在第i帧，的位置Pi,速度Vi,尺寸Si等。Ti包括m个目标在第帧i时的状态。T包含从第O帧到第η帧每一帧的历史信息。
[0052]图5Α显示了前一帧画面中特征区域的示意图。图5Β显示了通过特征区域预测获得当前图像帧(新的即时画面)中特征区域的示意图。
[0053]针对本发明，可能存在初始使用本发明所述目标检测方法的情况，即上述步骤SllO处被判断为即时画面为第一帧图像的情况。对此，本发明在初始状态下，可不进行上述步骤，而是直接进行后面将要描述的未匹配点聚类步骤S122。简单来说，在S122处，针对初始画面，基于空间邻接性进行聚类，将属于同一空间的像素点作为归为一类形成特征区域。例如，使用聚类方法(如，连接成分分析法，K-均值法等)，对具有相近视差值并且在X，Y方向相邻的点进行聚类。对于随后的第二帧，则基于具体检测对象的特点，在一定空间范围内进行匹配，从而获得第二帧中的特征区域或对象区域。例如，如果具体检测对象为人，则基于人的通常运动速度，设定人在相邻两帧的时间内通常移动距离，从而在以第一帧的特征区域为中心的该通常移动的距离(例如1、2、3、4或5个像素点距离)范围内进行特征匹配，从而在被匹配上的区域作为第二帧的特征区域。此后，基于前两帧的特征区域建立上述历史序列T，并对新的即时画面执行上述步骤S111。尽管如此，但是判断当前图像帧是否是第一帧的步骤也不是必须的。在实际实施本发明的检测方法中，系统通常与预设一些与具体应用对应的历史序列，这些预设的历史序列所记录的历史信息通常与具体应用所对应的实际环境之间存在相似之处，通常不会对特征的预测结果造成过大的差距。而且，即使特征区域预测结果存在很大的差距，也能够通过后面将进行的未匹配点聚类步骤而得到校正。
[0054]在对当前帧(新的即时画面)进行特征区域预测之后，在步骤S112处，特征区域匹配单元112基于提取的特征，针对当前图像帧中所预测的特征区域，相对于前一帧的特征区域进行特征区域匹配。所提取的特征对于不同的实际应用而言，可以有不同的特征。有许多特征可以被提取出来用于区域的匹配，如纹理、角点和形状等。以车辆检测为例，可以提取对称性特征进行匹配。对于人而言，可以采用纹理或形状特征进行匹配。这些特征的提取可以采用现有的各种方法进行。对于匹配方法，可以针对提取的不同特征。采用相应的匹配方法，如直方图匹配，模板匹配等方法。图6所示的是对图5B中预测的特征区域进行特征区域匹配后的结果的示意图。如图6所示，实心的矩形框指示匹配上的特征区域，空心的矩形框指示未匹配上的特征区域。由于车道线在相邻帧对应的矩形框内发生了变化，故位于车辆左下部的特征区域未匹配上。
[0055]如上面针对步骤Slll所述，在使用本发明的检测方法的初始阶段，对于最初的第一帧，由于没有匹配的基础，因此不会被执行步骤S112，而是直接进行后面将要描述的未匹配点聚类步骤。
[0056]图7所示的是根据本发明的方法进行自学习检测的流程图。如图7所示，在步骤S120处接收到从上一阶段得到对当前帧进行特征匹配之后的匹配上的特征区域以及原始图像之后，在步骤S121处，目标集合分析单元121基于匹配上的特征区域的位移矢量、空间邻接性以及跟踪信息，进行特征区域的目标集合分析，从而获得目标的特征区域的集合。图8所示的根据本发明的方法进行目标集合分析的流程图。
[0057]如图8所示，在步骤S120处接收到从上一阶段得到对当前帧进行特征匹配之后的匹配上的特征区域以及原始图像。随后，在步骤S1211处，目标集合分析单元121所包含的位移矢量确定单元1211对于当前帧中已匹配上的特征区域，基于特征区域的在之前连续多帧中的相对位移状态，可以计算出已匹配上的特征区域的位移矢量。具体计算方法可以通过现有的位移矢量计算方法进行。图9A所示的是确定位移矢量的示意图。图9B是图9A中所确定位移矢量的放大示意图。如图9A和9B图中的白色箭头指示计算得到的特征区域的移位矢量。对于那些没有匹配上的特征区域或未匹配上的像素点，则不能被计算出位移矢量。
[0058]随后，在步骤S1212处，目标集合分析单元121所包含的位移矢量校正单元1212，基于跟踪轨迹，校正所计算的特征区域的位移矢量。如上所述，采用本发明的目标检测方法的系统中保存有特征区域的历史跟踪序列，该历史跟踪序列记录每个特征区域的运动轨迹信息。以车辆作为被检测对象为实例，在车辆行驶过程中，在当前帧中的作为可能的车辆的位置的特征区域的位置不会发生突变。因此，历史跟踪序列中记录的每个特征区域的运动轨迹信息可以被用来校正/平滑所计算的对应特征区域的位移矢量。这种校正方法可以采用现有的数学校正方式类进行，因此不在此进行详细描述。图9C-9D显示了针对图9A和9B所示的位移矢量进行校正后的位移矢量的示意图。如图9C所示，经过校正后，在作为检测对象的车辆的位置附近，有三个特征区域具有相同的运动矢量，而如图9D所示，经过校正后，车辆的位置附近的其他特征区域具有不同的运动矢量。对于具有相同的位移矢量的特征区域采用相同的标记进行标注。
[0059]然后，在步骤S1213处，目标集合分析单元121所包含的特征区域合并单元1213基于特征区域的校正后的位移矢量、特征区域彼此之间的空间邻接性以及跟踪信息，进行特征区域的合并，以获得目标集合。被合并或集合的特征区域应该同时满足以下三个条件:首先，在当前帧中，将被合并的特征区域有相同的位移矢量，或者说具有相同的标记；其次，在当前帧中，将被合并的特征区域在空间上彼此相邻并且在这些特征区域之间没有任何作为背景的目标或区域特征；最后，将被合并的特征区域稳定并且在连续的数帧中具有相同的位移矢量、稳定空间关系以及相同的运动轨迹。若特征区域之间同时满足前面的三个准贝1J，特征区域合并单元1213则将这些特征区域合并，从而创建一个目标对象集合。有时候，满足上述三个准则的某些特征区域内部的某些特征区域可能不稳定(例如具有不同的位移矢量)，但是这种内部不稳定并不会影响最终的合并。图10所示的是通过特征区域合并后的对象集合的示意图。如图10所示，图9C中的具有相同位移矢量的三个特征区域稳定，并且在过去连续数帧中(例如，连续2、3、4、5、6-10帧中)具有相同的运动轨迹，同时它们在空间上是相邻或者具有稳定的相互空间关系，因此被合并。尽管图9D中所示的不同位移矢量区域存在于这三个特征区域之间，但是这三个特征区域内部之间那些小的特征区域很不稳定，并被确定为不是作为背景的目标，故这些小特征区域不会分裂该目标集合。当这些不稳定特征区域被确定为背景时，即，将要合并的目标集合可能不属于同一目标，则这些不稳定的特征区域则将被作为背景目标分裂将要合并的目标集合。
[0060]接着，在步骤S1214处，目标集合分析单元121所包含的潜在目标区域确定单元1214对所合并的目标集合的形状进行分析，以确定潜在的目标区域，并将该潜在的目标区域作为将要重新匹配的特征区域。通常，在不同的应用场合，例如，用于车辆检测场合或人的检测场合，采用本发明的检测方法的系统会建立不同检测对象的形状模型以检测潜在的目标区域。以车辆检测为例，可以用矩形模型来表示车辆形状。对于被合并的目标集合，即被检测到的车辆的一部分，根据预定义的车辆模型，可以估算出车辆的其余部分。然后，潜在目标区域确定单元1214把估算出车辆的其余部分确定为潜在的目标区域，作为将要重新匹配的特征区域。图11所示的是通过确定潜在的目标区域所得到的特征区域的示意图。如图11所示，图中的带斜线的多边形区域即为根据预定义的车辆模型确定的潜在目标区域。
[0061]然后，在步骤S1215处，目标集合分析单元121所包含的潜在目标区域重匹配单元1215将所确定的潜在目标区域或潜在特征区域作为新的特征区域进行重新匹配，以得到整个目标集合区域。具体而言，就是将新的特征区域与前一帧中的特征区域进行匹配。如果当前帧的所述潜在目标区域或潜在特征区域被匹配上并且其位移矢量与整个目标集合的位移矢量相同，则将其与已经被合并的目标集合进行合并。否则，将其保留作为新的特征区域，在下一帧中进行匹配。
[0062]最后，在步骤S1216处，将最终的目标集合作为检测到的目标或对象输出。
[0063]尽管以上对目标检测过程进行了描述，但是由于在实时对象检测过程中，场景会不断发生变化，当前帧中可能会出现新的要检测的对象，因此，必然存在根据历史序列可能匹配不上的对象，而这种未被匹配上的对象很可能正是系统应用场合所要检测的对象。因此，需要对当前帧中未匹配上的点进行聚类，以便防止在当前帧中新出现的对象被漏检。因此，本发明的对象检测方法还包括，在前面进行目标集合分析的基础上，在步骤S122处，聚类单元122对当前帧中未匹配的点基于所提取的特征和空间邻接性进行聚类。正如在前面在步骤Slll中所提到的，在本发明的方法开始进行时，由于第一帧没有匹配的基础，因此需要进行聚类以获得特征区域。在步骤S122处，对于第一帧，则认为此前没有获得目标集合，并且第一帧的所有点都被认为是未匹配点，都被用来进行聚类。而对于后续帧，则对除了目标集合之外的为匹配点进行聚类，从而产生可能对应于新出现的对象的新的区域特征。如上所述，对于未匹配的点及区域，使用聚类方法(如，连接成分分析法，K-均值法等)，对具有相近视差值并且在X，Y方向相邻的点进行聚类，以得到新的特征区域用来进行下一帧的匹配。图12所示的是未匹配点被聚类后的结果的示意图。如图12所示，图中的空心框就是未匹配点进行聚类后的结果。
[0064]随后，在步骤S123处，特征更新单元123对当前帧的特征区域以及特征值进行更新。具体而言，首先基于上述合并结果以及未匹配点聚类结果，更新特征区域。首先，如果某些特征区域被合并为一个目标集合，或者合并的目标集合与潜在目标区域再次合并为新的目标集合，则以最后的目标集合作为新的特征区域，即，则只是采用新合并生成的目标区域作为新的特征区域。图13B所示的是合并目标集合与潜在目标区域合并后的结果被更新为新的特征区域的结果示意图。其次，将未能被二次匹配的潜在目标区域更新为新的特征区域。若潜在的目标区域与其对应的目标集合发生了合并，则该潜在的目标区域将不会被单独作为一个新的特征区域。若其未与目标集合合并，则它会被单独作为一个新的特征区域。图13A所示的是潜在目标区域未与合并目标集合合并而被更新为新的特征区域的结果示意图。如图13A所示，位于车辆左下部的多边形作为签字目标区域被更新为新的特征区域，与此同时目标集合作为另一个新的特征区域，如车辆右上部的多边形所示。最后，将未匹配点聚类生成的区域作为新的特征区域。图13C所示的未匹配点聚类的结果被更新为新特征区域的示意图。如图13C所示，车辆左下部的矩形框表示未匹配点聚类结果作为新的特征区域。由以上三部分更新获得的新的特征区域将作为匹配基础或历史序列的一部分用于下一帧图像的目标检测。当然，这三部分并不一定每次都同时存在，也许在前面的步骤中并不存在被合并部分，或者并不存在潜在目标区域。
[0065]为了便于下一帧的特征区域匹配，除了更新特征区域之外，特征更新单元123还需要更新特征值。对于新确定的特征区域，更新其纹理、形状、角点等特征的特征值。而且，在连续帧的检测过程中，所检测到的目标集合在变化(视角不同、场景变化等原因所导致)，同时该目标本身也在发生变化(形状改变等原因所导致，如行走中的人的姿态的改变，目标之间的遮挡变化等)，所以在每帧之后进行特征值的更新以提高后续帧中对象检测的准确性和可靠性。
[0066]图14A所示的是当前帧的原始视差图。图14B所示的是采用传统对象检测方法(例如基于帧内信息的方法)的结果示意图。图14C所示的是采用本发明的检测方法的结果示意图。从图14A-14C可以看出，由于视差图中水平边缘不连续，图14B所示的结果中显示检测到的车辆被错误的分裂开。而由于本发明提出的自学习检测方法采用位移矢量特征、空间邻接性特征以及跟踪信息进行目标集合分析，车辆被精确的检测到了，如图14C所示。因此本发明的对象检测方法能够有效处理视差图中水平边缘不连续的情况，并且能够准确分割相邻的目标。
[0067]图15A所示的是当前帧的原始视差图。图15B所示的是采用传统对象检测方法(例如基于帧内信息的方法)的结果示意图。图15C所示的是采用本发明的检测方法的结果示意图。从图15A-15C可以看出，由于视差值不精确，基于传统的帧内信息的方法检测到的车辆与行人混在了一起。然而，由于本发明提出的方法利用了位移与轨迹信息，车辆与行人被准确的分割开了，如图15C所示。
[0068]另一方面，著名的基于帧间信息的目标检测方法一光流算法相对于光流算法采用角点、边缘等固定的微观特征进行像素点或块的匹配。而本发明的检测方法通过自学习不断增强特征区域与特征值，然后再匹配增强过的特征区域，在连续帧的检测中，特征区域与特征值能够不断增强，因此本方法的鲁棒性更强，且计算量更小。
[0069]图16所示的是采用本发明的对象检测方法的系统的功能模块图。如图16所示，根据本发明的对象检测系统包括:图像获取单元10，捕获即时画面，包括当前场景的视差图或灰度图；特征区域匹配单元11，基于每个特征区域的历史序列对新的即时画面进行特征区域预测并进行特征区域匹配，从而获得新的即时画面中的特征区域；以及自学习检测单元12，对匹配上的特征区域进行目标集合分析以及对未匹配的点进行空间邻接性进行聚类形成新的特征区域，并更新所获得特征区域。所述特征区域匹配单元11包括特征区域预测111，基于采用跟踪滤波器，建立的运动模型来预测每个特征区域在下一帧(新的即时画面)中的位置；以及特征区域匹配单元112，基于提取的特征，在所预测的特征区域内进行特征区域匹配。所述自学习检测单元12包括:目标集合分析单元121，基于匹配上的特征区域的位移矢量、空间邻接性以及跟踪信息，进行特征区域的目标集合分析，从而获得目标的特征区域的集合；未匹配点聚类单元122，对当前帧中未匹配的点基于空间邻接性进行聚类；以及特征更新单元123对当前帧的特征区域以及特征值进行更新。所述标集合分析单元121包括:位移矢量确定单元1211，对于当前帧中已匹配上的特征区域，基于特征区域的在之前连续多帧中的相对位移状态，可以计算处已匹配上的特征区域的位移矢量；位移矢量校正单元1212，基于跟踪轨迹，校正所计算的特征区域的位移矢量；特征区域合并单元1213，基于特征区域的校正后的位移矢量、特征区域彼此之间的空间邻接性以及跟踪信息，进行特征区域的合并，以获得目标集合；潜在目标区域确定单元1214，对所合并的目标集合的形状进行分析，以确定潜在的目标区域，并将该潜在的目标区域作为将要重新匹配的特征区域；以及潜在目标区域重匹配单元1215将所确定的潜在目标区域或潜在特征区域作为新的特征区域进行重新匹配，以得到整个目标集合区域。
[0070]以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0071 ] 因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0072]还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0073]上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
【权利要求】
1.一种目标检测方法，包括: 获取当前场景的当前图像帧； 基于当前图像帧之前连续多帧图像的历史序列中历史信息，预测当前图像帧的特征区域； 基于根据具体应用所需而提取的特征，针对当前图像帧中所预测的特征区域，相对于上一帧的特征区域进行特征区域匹配； 基于当前图像帧中被匹配上的特征区域之间的位移矢量、空间邻接性以及跟踪信息，对当前图像帧的特征区域进行目标集合分析，从而获得待检测目标的特征区域的集合，并将所获得的目标集合作为检测对象输出； 基于所述提取特征以及空间邻接性对未匹配的点进行聚类；以及采用目标集合分析的结果以及聚类结果更新当前图像帧的特征区域以及区域的特征以便针对下一帧图像重复上述步骤。
2.如权利要求1所述的目标检测方法，其中所述进行目标集合分析步骤包括: 对于当前图像帧中已匹配上的特征区域，基于特征区域的在当前图像帧之前连续多帧中的相对位移状态，计算处已匹配上的特征区域的位移矢量； 基于在当前图像帧之前连续多帧的历史信息所显示的跟踪轨迹，校正当前图像帧中所计算的特征区域的位移矢量；以及 针对当前图像帧，基于特征区域的校正后的位移矢量、特征区域彼此之间的空间邻接性以及跟踪信息，进行特征区域的合并，以获得目标集合。
3.如权利要求2所述的目标检测方法，其中所述进行目标集合分析步骤还包括: 对所合并的目标集合的形状进行分析，以确定属于所合并的目标集合的潜在的目标区域； 基于根据具体应用所需而提取的特征，将所确定的潜在的目标区域作为特征区域相对于上一帧的特征区域进行重新匹配；以及 将被匹配上的并且与已合并的目标集合具有相同位移矢量的潜在的目标区域合并到已合并的目标集合，从而得到目标的整个集合区域，并保留未匹配上的潜在的目标区域作为新的特征区域。
4.如权利要求1-3之一所述的目标检测方法，其还包括: 在所述当前图像帧为第一帧的情况下，直接进行基于提取特征以及空间邻接性对未匹配的点进行聚类，从而获得第一帧的特征区域。
5.如权利要求4所述的目标检测方法，其中所述更新步骤包括: 将目标集合区域作为当前图像帧的新的特征区域； 将未被匹配上的潜在目标区域作为当前图像帧的新的特征区域； 将未匹配点聚类生成的区域作为当前图像帧的新的特征区域；以及 针对提取的特征对每个新特征区域的特征值更新。
6.如权利要求5所述的目标检测方法，其中所述历史序列记录当前图像帧之前连续多帧图像中的每个特征区域运动状态参数。
7.如权利要求6所述的目标检测方法，其中所述特征区域的预测通过卡尔曼滤波器建立运动模型来进行。
8.如权利要求7所述的目标检测方法，其中在当前帧中被合并的特征区域之间应具有相同位移矢量以及空间上相邻，并且在连续的数帧中具有相同的位移矢量、空间关系和相同的运动轨迹。
9.如权利要求8所述的目标检测方法，其中所述确定潜在的目标区域通过预先建立不同目标的形状模型来检测潜在的目标区域。
10.一种目标检测系统,包括: 图像获取单元，获取当前场景的当前图像帧； 特征区域预测单元，基于当前图像帧之前连续多帧图像帧的历史序列中历史信息，预测当前图像帧的特征区域； 特征区域匹配单元，基于根据具体应用所需而提取的特征，针对当前图像帧中所预测的特征区域，相对于上一帧的特征区域进行特征区域匹配； 目标集合分析单元，基于当前图像帧中被匹配上的特征区域之间的位移矢量、空间邻接性以及跟踪信息，对当前图像帧的特征区域进行目标集合分析，从而获得待检测目标的特征区域的集合，并将所获得的目标集合作为检测对象输出； 聚类单元，基于所述提取特征以及空间邻接性对未匹配的点进行聚类；以及特征更新单元，采用目标集合分析的结果以及聚类结果更新当前图像帧的特征区域以及区域的特征以便针对下一帧图像重复上述步骤。
【文档编号】G06T7/00GK104517275SQ201310450046
【公开日】2015年4月15日 申请日期:2013年9月27日 优先权日:2013年9月27日
【发明者】陈超, 鲁耀杰, 师忠超, 王刚 申请人:株式会社理光