检测图像中特定对象区域的方法和设备的制作方法

专利名称：检测图像中特定对象区域的方法和设备的制作方法
技术领域：
本发明涉及一种检测图像中特定对象区域的方法和设备，更具体地说，本发明涉及一种利用特定对象特有特征进行特定对象区域检测的方法和设备。
背景技术：
随着计算机图像处理技术的发展和广泛应用，对于对象检测技术的需求也与日俱增，需求较大的检测对象诸如人脸、行人、车辆等等。人脸检测、行人检测、车辆检测已经成为计算机视觉和模式识别领域的基本问题，上述技术可以用于障碍物检测、场景识别、网站图像分类等。其中，车辆检测对于智能交通监控、驾驶辅助系统和自动驾驶等等是必 需技术，目前有研究工作关注此领域并提出了各种解决方案。专利文件US 20060153459A1描述了为碰撞预警系统而研究的车辆/非车辆分类方法。其主要方案为首先通过雷达感应从视频帧中捕捉感兴趣区域(ROI)，即对象的可能位置；对捕捉到的ROI进行检验。检验策略为从ROI区域提取正交矩特征、Gabor滤波特征，二者均为纹理特征；合并所提取到的正交矩特征和Gabor滤波特征；根据合并得到的特征判断ROI区域为车辆还是非车辆。专利文件US 20080273752A1描述了一种车辆检测和跟踪的系统和方法，其中，获取包含多帧的视频数据；使用一个或多个车辆检测器从第一帧图像中检测车辆，生成车辆假设，即候选的车辆区域；通过用一系列从粗到细的条件限制检查车辆左右角点对，来判断车辆假设是否为车辆；以及用融合形状模板匹配方法跟踪车辆。专利文件WO 2010006361A1提供了一种从夜间场景图像中检测车辆的方法。其中，基于亮度从图像中识别候选车头灯对；确定包含候选车头灯对的候选车辆区域；通过判断候选车辆区域是否包含预定义的车辆特征(非车头灯)，来判断候选车辆区域是否是车辆区域。上述方法考虑了使用局部特征进行车辆检测；然而，大多数仍然采用原本为人脸/行人/通用对象检测而设计的特征，而并非关于车辆特定对象的局部特征。另外，现有专利文献中提到的车辆检测方法即使对对称车辆特征有所提及，然而，其所采用的特征仍为普通对象特征或一些相对简单的车辆特征。此外，上述方法所涉及的应用场景一般为夜间场景、车道场景，关注上述场景下的后视图车辆检测。

发明内容
鉴于现有技术中存在的上述问题而做出本发明。本发明提出了一种利用特定对象特有特征进行特定对象区域检测的方法和设备。在所针对的特定对象为车辆的情况下，本发明采用了车辆所特有的局部特征来进行车辆区域的检测。根据本发明实施例的一个方面，提出了一种检测图像中特定对象区域的方法，包括提取步骤，通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及验证步骤，根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。根据本发明实施例的另一个方面，提出了一种检测图像中特定对象区域的设备，包括提取装置，通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及验证装置，根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。


图I示出按照本发明实施例的检测图像中特定对象区域的方法的总体流程图。
图2示出Haar特征的模板示例，其中，图2A示出线性Haar特征的模板模板示例，图2B示出边缘Haar特征的模板示例，图2C示出环绕中心Haar特征的模板示例。图3示出用于训练检测器的样本示例，其中，图3A示出用于训练检测器的正样本示例，图3B示出用于训练检测器的负样本示例。图4示出了示出按照本发明实施例的验证步骤的流程图。图5A和图5B分别示出了将候选框划分为多个子候选框的划分方式的示例。图6示出特有特征中的基本特征的示例，其中，图6A所示为水平线，图6B所示为正d度线，图6C所示为负d度线，图6D所示为圆弧。图7包括图7A到图7F,分别示出了二元联合特征的示例。图8包括图8A-图8C，分别示出了三元非对称联合特征的示例。图9包括图9A-图9C，分别示出了三元对称联合特征的示例。图10示出按照本发明实施例的检测图像中特定对象区域的设备的总体框图。图IlA至图IlF示出检测图像中特定对象区域的方法和设备对图像的处理过程实例。
具体实施例方式下面结合附图描述本发明实施例。图I示出按照本发明实施例的检测图像中特定对象区域的方法的总体流程图，其中可以包括提取步骤S100，可以通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及验证步骤S200，可以根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。本发明实施例所处理的图像可以通过各种已知输入技术来输入，诸如从各种存储设备读入、从网络获取、或利用扫描仪扫描得到等等，经过处理所得到的结果可以通过各种已知输出技术来输出，诸如存储到各种存储设备、经由网络输出、或利用打印机打印出等
坐寸ο
本发明的实施例可以以诸如人脸、行人、及车辆等等的任何对象作为特定对象来检测，由于检测的过程中需要利用检测器，而检测器要通过利用内容已知的样本进行训练而得到，因此，针对某一类特定对象，需要已知的包含该特定对象的正样本和不包含该特定对象的负样本进行训练，而且，关于同一类特定对象，由于图像拍摄的角度不同，需要从不同角度拍摄的样本图像来训练检测器。不同的拍摄角度可以视为不同的验证属性，视图可以主要归为三大类前视图(特定对象的正面，还可以包含部分侧面)、后视图(特定对象的背面，还可以包含部分侧面)和侧视图(特定对象的侧面，还可以包含部分正面或背面)。在本发明的实施例中，验证属性包括特定对象的前视图、后视图、及侧视图中的任意一个或多个。不论待检测的特定对象具体为何物，均可以提取通用对象特征来检测，然而，每一类特定对象均具有其共同的特有特征，例如，相比于人脸或行人，车辆具有更加相对一致的结构特征，例如包含车轮、保险杠、车柱、车窗等，而且在很多情况下这些特征具备对称性。按照本发明实施例的检测图像中特定对象区域的方法可以从所输入的自然场景图像中检测特定对象。 在实施如图I所示的检测图像中特定对象区域的方法之前，即在所述提取步骤之前，还可以进行以下步骤的处理预处理步骤，可以确定图像中对象的轮廓；排除步骤，可以根据图像中对象的轮廓，排除图像中不包含前景对象的背景区域，获得排除背景区域之后的图像。在预处理步骤，对输入图像进行预处理，以使图像更适合后续检测等操作。例如，可以先采用索贝尔(Sobel)算子处理输入图像，对图像中的对象进行边缘增强，得到边缘增强后的灰度图像。然后，对索贝尔算子处理后的灰度图像进行二值化操作，得到二值化的边缘信息图像，即确定图像中对象的轮廓。此预处理可以采用现有技术的手段，而且不限于上述处理方式，例如，也可以不经过边缘增强而直接通过二值化操作来确定图像中对象的轮廓，或者也可以不经过二值化操作而是使边缘增强后的灰度图像进入此后的处理。排除步骤可以加快此后步骤中的检测操作，排除图像中不包含前景对象的背景区域，获得排除背景区域之后的图像。对预处理后的图像，根据轮廓特征，检查其最外围区域是否为非对象区域；对每一方向上的外围区域，由外到内逐步检查。例如，可以按照如下方式排除图像中的背景区域。从上、下、左、右四个方向分别从外向内检查判断是否是背景区域。在某一方向，从该方向上的图像边缘开始，每次向内划定一定数目像素的宽度，从而形成一个边长分别为该方向上的图像边缘的长度和该一定像素的宽度的矩形，来作为单位检测区域。对象的轮廓在图像中实际上占据一定的像素，可以判断单位检测区域中所占面积(即所占的像素数目)大于某一阈值的轮廓的数量。如果该数量小于(或小于等于)另一阈值，则可以认为该单位检测区域属于背景区域，而不包含有意义的对象，可以从图像中排除；然后，再次向内划定该一定数目像素的宽度以形成单位检测区域，对此时的单位检测区域以与上述相同的手段进行判断。如果在某次判断中，单位检测区域中所占面积大于某一阈值的轮廓的数量大于对于(或大于)该另一阈值，则可以认为该单位检测区域已经到达图像中对象轮廓的边缘，在该方向上的排除背景区域的操作停止，该单位检测区域的外侧边缘即为排除背景区域之后的图像在该方向上的外边缘。例如，如果此时检测方向为右侧，则将该单位检测区域的右侧边缘设定为图像的右边缘。在上下左右四个方向均进行了上述处理之后，获得排除背景区域之后的图像。本领域技术人员可以理解，判断上述单位检测区域是否为背景区域的方式不限于上文所述，例如，可以通过仅仅比较某个单位检测区域中对象轮廓所占像素数目是否大于(或大于等于)某阈值，而不考虑对象轮廓的数目，来判断该单位检测区域是否应被认为是背景区域。另外，也可以通过仅仅比较某个单位检测区域中对象轮廓的数目是否大于某阈值，而不考虑对象轮廓所占像素数目，来判断该单位检测区域是否应被认为是背景区域。排除背景区域的方法不限于上文所述，背景区域通常是图像中的平滑区域、梯度平均分布的区域等等。在室外场景的情况下，不论特定对象是人脸、行人、还是车辆，道路和天空通常可以认为是背景区域，道路区域通常出现在对象下方，天空区域通常出现在对象上方。因此，可以通过现有的场景识别方法确定图像中灰阶相对平滑的区域，作为背景区域来排除。对于排除了背景区域的图像，可以考虑在排除过背景区域的方向上，向外侧扩展一定像素数目的宽度，来作为图像的边缘。 此排除操作旨在排除图像中明显不是对象的背景区域，可以避免后续操作中对于图像中的背景区域进行不必要的处理，从而加速整个处理的进程。然而，本领域技术人员可以理解，即使不进行上述的预处理步骤和排除步骤的处理，仍然可以对图像实施按照本发明实施例的检测图像中特定对象区域的方法。也就是，上述提取步骤SlOO所处理的对象，既可以是经过了预处理步骤和排除步骤的处理而排除了背景区域的图像，也可以是未经上述处理的从外部输入的图像。提取步骤SlOO中采用的通用对象特征可以例如是Haar特征，通过样本来训练检测器的方法例如可以是adaboost方法。图像中Haar特征的提取通过将Haar特征的模板放置在图像中并计算该模板所覆盖区域的特征值而得到，每个特征值均对应于图像中的某个位置。关于Haar特征定义和提取已经有现有的技术可以实现，例如，在RainerLienhart 和 Jochen Maydt 的非专利文件 An Extended Set of Haar-Iike Features forRapid Object Detection, IEEE ICIP 2002，Vol. 1，pp. 900-903，Sep. 2002 中，定义了一些Haar特征，并提出了对其进行提取的技术。图2示出Haar特征的模板示例，其中，图2A示出线性Haar特征的模板示例，图2B示出边缘Haar特征的模板示例，图2C示出中心环绕Haar特征的模板示例。可以采用的Haar特征的模板不限于图2所示，本领域技术人员可以理解，其它Haar特征模板例如图2所示的模板的各种组合也可以应用于本发明的实施例。特征模板包括以两种色彩(例如白色和黑色)区分的两个区域，模板放置的区域的Haar特征值可以是白色区域像素灰度值之和的加权值减去黑色区域像素灰度值之和的加权值，在此的两个加权值均大于零，具体值可以根据不同Haar特征模版设定。从而每幅图像对应一组具体的Haar特征值。本领域技术人员可以理解，白色和黑色仅仅用于体现将特征模板分为两个区域，例如其它两种色彩，或者可以仅仅用线条来划分特征模板。图3示出用于训练检测器的样本示例，其中，图3A示出用于训练检测器的正样本示例，图3B示出用于训练检测器的负样本示例。图2中所体现的各个Haar特征均为通用对象特征，具体是通用的局部形状特征，并不取决于所要检测的具体特定对象，非某种特定对象所特有，即各个Haar特征与特定对象为人脸、行人、车辆、还是飞行器无关。而图3中所示的用于训练的正样本图像所体现的特定对象均为车辆，而负样本图像均不包含车辆。从此，以车辆为特定对象的例子来进行说明，并且以验证属性为侧视图的例子来进行说明。然而，本领域技术人员可以理解，本发明实施例也可以针对诸如人脸、行人、飞行器等等的其 它特定对象，并且可以以诸如前视图、后视图的其它视图来作为验证属性。用局部形状特征Haar特征和典型机器学习方法adaboost训练检测器的过程描述如下首先，收集训练所需的正样本图像和负样本图像，图3A和图3B分别示出了在以车辆为特定对象、以侧视图为验证属性的情况下的正样本图像、负样本图像；然后，按照例如图2所示的作为局部形状特征的Haar特征的各个模板，提取每个训练样本图像的Haar特征值，每个训练样本图像对应一组Haar特征值，其中可以包括通过诸如图2A所示的线性Haar特征模板获得的Haar特征值、通过诸如图2B所示的边缘Haar特征模板和/或诸如图2C所示的中心环绕Haar特征模板获得的Haar特征值,把每组Haar特征值作为一个样本，每个正样本图像对应的一组Haar特征值为一个正样本，每个负样本图像对应的一组Haar特征值为一个负样本；然后，基于提取得到的样本集合，进行adaboost机器学习，得到与验证属性及特定对象相应的检测器，检测器的典型表示方法为XML (可扩展置标语言，extensible MarkupLanguage)描述的文件。检测器的训练结果是，其可以判断出一组Haar特征值是否可以被认为是正样本，即是否符合特定对象。基于训练得到的检测器，从待处理图像中检测特定对象的过程描述如下首先，以与样本训练相同的方式，从待处理的图像中提取与图像中位置相对应的Haar特征值；然后，把得到的与待处理图像相对应的一组Haar特征值输入到通过训练得到的检测器中进行检测，可能得到O个、I个、或多个检测结果。关于检测器的检测，可以采用基于滑动窗口的扫描策略，即，首先定义一个窗口，其尺寸可以是感兴趣的特定对象最小尺寸，从待处理图像左上角开始滑动一直到右下角结束，每次平移一定数目的像素，对该窗口所覆盖的区域的Haar特征值进行判断检测，如符合特定对象，则保留该窗口的矩形左上角点坐标、矩形宽度、矩形高度作为检测结果，否则略过该窗口区域。然后，按照一定比例放大窗口尺寸，重复滑动过程，直到窗口尺寸放大到待处理图像尺寸为上。尽管在此处的描述中，窗口尺寸由小到大逐次放大，并且滑动方向为从待处理图像左上角到右下角，然而，本领域技术人员可以理解，还可以采用其它多种方式，例如窗口尺寸由大到小逐次缩小，滑动方向该为从左下到右上，只要能够遍历整个图像即可。此外，每次的平移步长可以是一个、也可以是若干个像素的距离。另外，尽管在此处的描述中，先提取整幅图像的Haar特征值，然而，本领域技术人员可以理解，也可以随着窗口的滑动随时提取窗口区域的Haar特征值。本领域技术人员可以理解，采用Haar特征作为通用对象特征、采用adaboost训练方法作为机器学习的方法仅仅为示例，也可以用其它特征和训练方法完成检测器的训练。例如，关于通用对象特征采用方向梯度直方图(Histograms of Oriented Gradients,HOG)特征，关于训练方法采用支持向量机(Support Vector Machine, SVM)训练方法。本领域技术人员可以理解，通用对象特征和学习训练方法可以是上述的变化组合，例如，可以采用Haar特征和SVM训练方法,或者HOG特征和adaboost训练方法等等。通过提取步骤SlOO所提取的候选框可能包含错误的检测结果，例如，并非该特定对象的关于该验证属性的图像区域被误认为是包含特定对象并符合该验证属性的矩形框，因此，作为对此阶段检测结果的改进，可以利用验证步骤S200对候选框进一步进行验证，判断候选框是否确实是关于该验证属性并包含特定对象的图像区域。图4示出了示出按照本发明实施例的验证步骤S200的流程图。如图4所示，验证步骤S200可以包括候选框划分步骤S220，可以将候选框划分为多个子候选框；响应值计算步骤S240，可以利用与验证属性相对应的计算器来计算特有特征关于子候选框的响应值；置信度计算步骤S260，可以根据与子候选框相应的响应值计算候选框的置信度；判断步骤S280，可以将候选框的置信度与阈值相比较，以判断候选框是否包含特定对象。图5A和图5B分别示出了将候选框划分为多个子候选框的划分方式的示例，在图 5A中，一个候选框在水平方向划分为DRl和DR2两个子候选框，在图5B中，一个候选框在水平、垂直方向划分为DR11、DR12、DR21、DR22四个子候选框。在候选框划分步骤S220，为了获得更好的验证准确性，候选框的划分方式可以与验证属性相对应，一个验证属性可以对应至少一种划分方式。例如，对于验证某个候选框是否是包含车辆侧视图的图像区域，可以将候选框按照图5A及图5B所示的方式划分。然而，本领域技术人员可以理解，对于其它情况，例如验证某个候选框是否是车辆前视图或后视图的图像区域，也可以采用上述的划分方式；另一方面，对于上述的验证某个候选框是否是包含车辆侧视图的图像区域的情况，也可以采用其它的划分方式，例如在纵向上将候选框一分为二。通过上述各种方式进行划分以获得更准确的验证结果，本领域技术人员将会认识至IJ，在如下文所述的采用特定对象特有特征进行验证的情况下，即使不对候选框进行划分，仍然能够相比于现有技术获得更准确的验证结果。在响应值计算步骤S240，需要利用特定对象的特有特征进行计算。特有特征可以包括基本特征和由η个基本特征组成的η元联合特征中的任意一个或多个，所述η元联合特征包括η元对称联合特征和η元非对称联合特征中的任意一个或多个，其中η为大于等于2的自然数。图6示出特有特征中的基本特征的示例，其中，图6Α所示为水平线(O度线)，标记为e1(l ;图6B所示为正d度线,标记为eld，图6C所示为负d度线，标记为图6D所示为圆弧，标记为eaTC。其中，d为线相对于水平方向的角度，O < d彡90。在特定对象为车辆、验证属性为侧视图的情况下，d可以设为45，然而，本领域技术人员可以认识到，d可以也可以是诸如15、30、60、90等等的其它数值，圆弧可以为1/4圆弧，然而也可以是诸如半圆弧的其它度数的圆弧。尽管以验证侧视图为例，然而本领域技术人员可以认识到，上述基本特征也可以应用于其它验证属性，例如在验证属性为前视图或后视图的情况下，η例如可以是90，也可以是45。可以由基本特征定义集合F11 = {e10}及F12 = {eld, e^, ealxJ ,基本特征的集合F1可以是集合F11和F12的并集，即F1 = F11 U F12。η元联合特征由η个基本特征组成。
图7包括图7A到图7F，分别示出了二元联合特征的示例，二元联合特征的集合F2可以定义为F2(e) = Ieltl ·θ，θ MltlKeeF12，其中“·”表示其前后两个特征的联合关系。二元联合特征可以包括0度线基本特征联合正d度线基本特征(如图7A所示)、正d度线基本特征联合O度线基本特征(如图7B所示)、0度线基本特征联合负d度线基本特征(如图7C所示)、负d度线基本特征联合O度线基本特征(如图7D所示)、O度线基本特征联合圆弧基本特征(如图7E所示)、或者圆弧基本特征联合O度线基本特征(如图7F所示)。图8包括图8A-图8C，分别示出了三元非对称联合特征的示例，其集合Fns可以定义为FNS(e) = {e10*e10},e e F120三元非对称特征例如可以包括由以下联合操作所得到的所有特征0度线基本特征联合正d度线基本特征或者负d度线基本特征或者圆弧基本特征，再联合O度线基本特征，分别如图8A、图SB、图SC所示。其中，图SC所示的O度线基本特征联合圆弧基本特征再联合O度线基本特征的特征在处理上可以视作三元非对称特征。
图9包括图9A-图9C，分别示出了三元对称联合特征的示例，其集合Fs可以定义为Fs = {eld · e10 · Θη, · e10 · eld, earc · e10 · earc}。三元对称联合特征例如可以包括正d度线基本特征联合O度线基本特征再联合负d度线基本特征(如图9A所示)、负d度线基本特征联合O度线基本特征再联合正d度线基本特征(如图9B所示)、圆弧基本特征联合O度线基本特征再联合圆弧基本特征(如图9C所示)。三元联合特征的集合F3可以是集合Fns和Fs的并集，即F3 = Fns U Fs。本领域技术人员可以认识到，基本特征不限于上文所描述的形式，由基本特征组合而成的二元联合特征及三元联合特征更不限于上文所描述的形式，而且，还可以由基本特征组成更多元次的对称或非对称的联合特征。本领域技术人员将能够认识到，定义并采用不同的特征可能获得准确度不同的验证结果，然而，在采用上述的针对特定对象即车辆所定义的基本特征及联合特征的情况下，在验证候选框是否是特定对象即车辆区域的情况下，能够相比于现有技术获得更准确的验证结果。另外，本领域技术人员可以认识到，上述基本特征及联合特征不仅可以应用于关于侧视图进行验证，也可以用于关于诸如前视图或后视图的其它验证属性的验证。F1中的特征元素可以以如下所述方式描述诸如O度线、正d度线、负d度线的直线段特征元素可以用起点和终点坐标描述；圆弧特征元素可以用弧线上沿顺时针方向的所有像素坐标点的集合描述。当然，也可以用其它任何能够描述直线段特征和弧线特征的方式替换前述方式。在此基础上可以进一步包括特征元素的像素宽度约束(例如6-8像素宽度，当然不限于此)、以及直线角度约束(角度d两侧的一定范围)等等，来描述F1中的特征元素。F2及F3中的特征元素可以通过F1中的特征元素和不同F1特征元素间的距离/位置度量进行描述。联合特征由基本特征组成，可以通过上述对基本特征的描述方式来描述联合特征的各个组成部分即基本特征，通过描述各个基本特征和各个基本特征之间的关系来描述联合特征。例如F2中的e1(l · eld元素可描述为e1(l的描述、eld的描述、e10最右端和eld最左端的距离；F3中的e1(l · eld · e10元素可描述为左侧e1(l的描述、eld的描述、右侧e1(l的描述、左侧e1(l最右端和eld最左端的距离、eld最右端和右侧e1(l最左端的距离。关于联合特征的约束，除了包括基本特征元素的像素宽度约束及直线角度约束等等之外，还可以包括诸如基本特征之间的距离最大值的约束。
在图像中提取F1中的特征元素可以通过以下过程实现首先，从图像中用已有的诸如霍夫(Hough)变换方法等等方法提取直线段、弧线元素；然后，对提取得到的直线段、弧线元素进行特征元素像素宽度约束、直线角度约束等过滤，去除不符合条件的直线段、弧线元素，得到的元素即为图像中提取得到的F1特征元素。可以通过类似于上述的在图像中提取F1中的特征元素的过程，进一步考虑特征元素之间的距离的约束，来从图像中提取F2及F3中的特征元素。在响应值计算步骤S240，还需要与验证属性相对应的计算器以用来计算特有特征关于子候选框的响应值。计算器与验证属性相对应是指对于侧视图、前视图、及后视图，可以采用不同的计算方式。然而，本领域技术人员将会理解，由于可以采用上述特有特征来用于验证车辆侧视图、前视图或后视图，因此可以采用针对车辆侧视图的计算器来验证车辆前视图或后视图，例如d = 90甚至d = 45既可以用于验证车辆侧视图，也可以用于验证车辆前视图或后视图。可能验证结果的准确性有所差异，或者可能当采用针对车辆侧视图的计算器来验证车辆前视图或后视图时会产生冗余的计算(例如关于圆弧特征的计算)，但是由于采用针对特定对象即车辆所定义的基本特征及联合特征，因此在验证候选框是否是 车辆区域的情况下，能够相比于现有技术获得更准确的验证结果。后文既将给出为验证车辆侧视图而设计的计算器的例子，该例子也可以用于验证车辆前视图或后视图；后文还将给出为验证车辆前视图或后视图而设计的计算器的例子，该例子也可以用于验证车辆侧视图。计算器可以包括级联的计算单元，计算单元用于计算特有特征关于子候选框的响应值。计算某图像区域(例如某个子候选框DR)上特征e的响应值的计算单元可以为Γ (e，DR)，e G F1 U F2 U F3。例如，对于图5A所示的划分方式，计算特征e1(l的在子候选框DRl和DR2中的响应值的计算单元可以是Γ (F11 [I]，DRj) = h，j = I V 2其中，由于e1(l是集合F11中的第一个兀素(仅一个)，因此表不为F11 [I]，“ V，，表示“或”的关系，即j可以是1，也可以是2，h为在子候选框DRj中提取到的特有特征e1(l的数目，即提取到多少个特征e1(l，则e1(l在子候选框DRj中的响应值就是多少，如果在DRj中未提取出e1(l特征，则e1(l在子候选框DRj中没有响应。例如，对于图5B所示的划分方式，计算特征eaM的在子候选框DR21和DR22中的
响应值的计算单元可以是
f 100,有响应吼[3]，两)=U有响应，7=2iv22其中，earc是集合F12中的第三个元素，因此表示为F12 [3]，只要在子候选框DRj中提取到的特有特征eaTC，则响应值为100，如果在DRj中未提取出eaM特征，则eaTC在子候选框DRj中没有响应，响应值为O。计算器可以由级联的多个计算单元组成，一种划分方式对应至少一级计算单元，例如，图5A及图5B所示的划分方式均可以分别对应多级计算单元。然而，按照在同一级中可能获得的响应值由强到弱的顺序级联排列多级计算单元，在前级计算单元计算得到响应值的情况下，该前级计算单元之后的后级计算单元不进行计算。换句话说，只要在前级操作中在子候选框中提取到特定特征，也就是在前级中存在响应，则无需进行后级的计算。根据通过对样本分析而得出的特定对象的各种特有特征相对于该特定对象的相关程度来设定各种特有特征的响应值，联合特征的响应值强于基本特征的响应值，对称联合特征的响应值强于非对称联合特征的响应值。因此，在计算器中，按照计算所针对的联合特征的元次由大到小的顺序级联排列计算单元，关于联合特征的计算单元排列在关于基本特征的计算单元的前级，在元次相同的情况下，关于对称联合特征的计算单元排列在关于非对称联合特征的计算单元的前级，关于相同元次对称联合特征的计算单元排列在同级，关于相同元次非对称联合特征的计算单元排列在同级。验证车辆侧视图的计算器可以以以下方式由多个计算单元级联而成。例如，第一级关于图5A所示的划分方式，其可以包括两个计算单元Γ (Fs [I], DRl)和Γ (FS[3]，DR2)，FS[1]和Fs[3]分别代表Fs集合中的第一个和第三个元素，分别如图9左右两侧所示。可以设定在第一级的计算过程中，如果在子候选框中提取到相应特征，则获得 较大的响应值，例如3000或以上、5000或以上，总之确保大于其后级所能够获得的响应值即可，并且在获得响应的情况下，无需进行后级的处理。例如，第二级关于图5B所示的划分方式，其可以包括计算单元Γ (Fns[i]，DRj)。第三级关于图5B所示的划分方式，其可以包括计算单元Γ (F2 (F12 [i]) [I], DRj)和计算单元Γ (F2(F12[i]) [2]，DRj)。第四级仍然关于图5B所示的划分方式，其可以包括多个计算单元r (F12[i]，DRj)。其中(i = I Λ j = 11) V (i = 2 Λ j = 12) V (i = 3 Λ j = 21 V 22)，“[i]”表示相应集合中的第i个元素，“V”表示“或”的关系，“Λ”表示“并且”的关系。在第二级、第三级、第四级，可以设定在提取到特征的情况下，即有响应的情况下，计算单元的响应值可以例如为前一级的1/4至1/2，即在第二级、第三级、第四级中，有响应的情况下，计算单元获得的响应值分别为1000、400、及100。本领域技术人员可以理解，上述数值仅仅是例子，只要确保在前级所能够获得的响应值大于在其后级所能够获得的响应值即可，并且在前级获得响应的情况下，无需进行后级的处理。例如，第五级关于图5Α所示的划分方式，其可以包括两个计算单元Γ (F11 [I],DRl)和Γ (F11 [I], DR2)，有响应的情况下，计算单元获得的响应值例如可以是所提取的特征的数目。本领域技术人员可以理解，上述计算器的构成方式仅仅是一个例子，可以有多种其它方式实现计算器。例如，上述任何一个的计算单元，或任何一级的计算单元都可以省略。在存在响应的情况下的取值也可以有多种不同方式，例如，在上述第一至第四级，也可以考虑所提取的特有特征的数目，每提取一个特有特征则增加一定的响应值；在上述第五级，也可以不考虑所提取的特有特征的数目，只要有响应则获得一定的响应值。验证车辆前视图或后视图的计算器可以以以下方式由多个计算单元级联而成。例如，第一级关于图5Α所示的划分方式，其可以包括两个计算单元Γ (Fs [I], DRl)和Γ (FS[3]，DR2)，FS[1]和Fs[3]分别代表Fs集合中的第一个和第三个元素，分别如图9左右两侧所示。可以设定在第一级的计算过程中，如果在子候选框中提取到相应特征，则获得较大的响应值，例如3000或以上、5000或以上，总之确保大于其后级所能够获得的响应值即可，并且在获得响应的情况下，无需进行后级的处理。
例如，第二级关于图5B所示的划分方式，其可以包括四个计算单元Γ (F2 (F12[I]), DR11), Γ (F2 (F12 [2]) [2], DR21), Γ (F2 (F12 [2]) [I]，DR12)、和 Γ (F2 (F12 [I]) [I]，DR22)，可以设定在提取到特征的情况下，即有响应的情况下，计算单元的响应值可以例如为前一级的1/5至1/4，即在第二级中有响应的情况下，计算单元获得的响应值可以例如为500。本领域技术人员可以理解，上述数值仅仅是例子，只要确保在前级所能够获得的响应值大于在其后级所能够获得的响应值即可。例如，第三级关于图5A所示的划分方式，其包括两个计算单元Γ (F11 [I]，DRl)和Γ (F11 [I], DR2)，有响应的情况下，计算单元获得的响应值例如可以是所提取的特征的数 目。本领域技术人员可以理解，上述计算器的构成方式仅仅是一个例子，可以有多种其它方式实现计算器。例如，上述任何一个的计算单元，或任何一级的计算单元都可以省略。在存在响应的情况下的取值也可以有多种不同方式，例如，在上述第一至第二级，也可以考虑所提取的特有特征的数目，每提取一个特有特征则增加一定的响应值；在上述第三级，也可以不考虑所提取的特有特征的数目，只要有响应则获得一定的响应值。在置信度计算步骤S260中可以将关于同一划分的子候选框的响应值相加得到候选框的置信度。由于同一级的计算单元所针对的子候选框均来自同一次的划分，并且在前级中提取到特有特征的情况下，不再进行后级的计算，因此虽然在计算单元的级联结构中多个级别针对同一划分，然而同一划分的子候选框的响应值必然是同一级的计算单元所计算得到。可以将置信度表示为η。在上述验证车辆侧视图的计算器的情况下，如果在第四级提取出特有特征，则该候选框的置信度n = Γ (F12[3]，DR21) + r (F12[3]，DR22)。在上述验证车辆侧视图的计算器的情况下，如果在第五级提取出特有特征，或者在上述验证车辆前视图或后视图的计算器的情况下，如果在第三级提取出特有特征，则该候选框的置信度n = r (F11 [I], DRl)+ Γ (Fn[l],DR2)o本领域技术人员可以理解，将子候选框的响应值相加得到候选框的置信度不限于以上方式，例如，可以对不同的子候选框设置不同的权重来进行加权相加。在判断步骤S280中的阈值可以是预定阈值，该预定阈值的确定可以考虑验证属性，即取决于验证属性的不同而不同，还可以取决于响应值的量级，例如，在上述的验证车辆侧视图的情况下，预定阈值例如可以是10。如果候选框的置信度大于(或大于等于)该预定阈值，则判断该候选框包含特定对象，是图像中的特定对象区域。本领域技术人员可以理解，预定阈值的确定方式不限于此，例如还可以是15、20、甚至100等等的其它数值。可以不论验证属性是侧视图、前视图还是后视图，均采用同一预定阈值。除采用上述简单的预定阈值处理方式之外，还可以通过对已知正样本进行训练，获得样本的典型置信度，以该典型置信度作为阈值，也就是用候选框的置信度比较该典型置信度，如果候选框的置信度大于(或大于等于)该阈值，则判断该候选框包含特定对象，是图像中的特定对象区域。根据本发明的另一方面，相应地提供一种检测图像中特定对象区域的设备。图10示出按照本发明实施例的检测图像中特定对象区域的设备的总体框图，其中可以包括提取装置100，可以执行前述提取步骤S100，以通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及验证装置200，可以执行前述验证步骤S200，以根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。本发明实施例所处理的图像可以通过各种已知输入技术来输入，诸如从各种存储设备读入、从网络获取、或利用扫描仪扫描得到等等，经过处理所得到的结果可以通过各种已知输出技术来输出，诸如存储到各种存储设备、经由网络输出、或利用打印机打印出等
坐寸ο本发明的实施例可以以诸如人脸、行人、及车辆等等的任何对象作为特定对象来检测，由于检测的过程中需要利用检测器，而检测器要通过利用内容已知的样本进行训练而得到，因此，针对某一类特定对象，需要已知的包含该特定对象的正样本和不包含该特定对象的负样本进行训练，而且，关于同一类特定对象，由于图像拍摄的角度不同，需要从不 同角度拍摄的样本图像来训练检测器。不同的拍摄角度可以视为不同的验证属性，视图可以主要归为三大类前视图(特定对象的正面，还可以包含部分侧面)、后视图(特定对象的背面，还可以包含部分侧面)和侧视图(特定对象的侧面，还可以包含部分正面或背面)。在本发明的实施例中，验证属性包括特定对象的前视图、后视图、及侧视图中的任意一个或多个。不论待检测的特定对象具体为何物，均可以提取通用对象特征来检测，然而，每一类特定对象均具有其共同的特有特征，例如，相比于人脸或行人，车辆具有更加相对一致的结构特征，例如包含车轮、保险杠、车柱、车窗等，而且在很多情况下这些特征具备对称性。按照本发明实施例的检测图像中特定对象区域的设备可以从所输入的自然场景图像中检测特定对象。在如图10所示的检测图像中特定对象区域的设备中，还可以包括以下装置预处理装置，可以执行前述预处理步骤，以确定图像中对象的轮廓；排除装置，可以执行前述排除步骤，以根据图像中对象的轮廓，排除图像中不包含前景对象的背景区域，获得排除背景区域之后的图像。该预处理装置和排除装置连接在提取装置100之前。预处理装置可以对输入图像进行预处理，以使图像更适合后续检测等操作。例如，可以先采用索贝尔(Sobel)算子处理输入图像，对图像中的对象进行边缘增强，得到边缘增强后的灰度图像。然后，对索贝尔算子处理后的灰度图像进行二值化操作，得到二值化的边缘信息图像，即确定图像中对象的轮廓。此预处理可以采用现有技术的手段，而且不限于上述处理方式，例如，也可以不经过边缘增强而直接通过二值化操作来确定图像中对象的轮廓，或者也可以不经过二值化操作而是使边缘增强后的灰度图像进入此后的处理。排除装置可以加快此后所连接的装置中的检测操作，排除图像中不包含前景对象的背景区域，获得排除背景区域之后的图像。对预处理后的图像，根据轮廓特征，检查其最外围区域是否为非对象区域；对每一方向上的外围区域，由外到内逐步检查。例如，可以按照如下方式排除图像中的背景区域。从上、下、左、右四个方向分别从外向内检查判断是否是背景区域。在某一方向，从该方向上的图像边缘开始，每次向内划定一定数目像素的宽度，从而形成一个边长分别为该方向上的图像边缘的长度和该一定像素的宽度的矩形，来作为单位检测区域。对象的轮廓在图像中实际上占据一定的像素，可以判断单位检测区域中所占面积(即所占的像素数目)大于某一阈值的轮廓的数量。如果该数量小于(或小于等于)另一阈值，则可以认为该单位检测区域属于背景区域，而不包含有意义的对象，可以从图像中排除；然后，再次向内划定该一定数目像素的宽度以形成单位检测区域，对此时的单位检测区域以与上述相同的手段进行判断。如果在某次判断中，单位检测区域中所占面积大于某一阈值的轮廓的数量大于对于(或大于)该另一阈值，则可以认为该单位检测区域已经到达图像中对象轮廓的边缘，在该方向上的排除背景区域的操作停止，该单位检测区域的外侧边缘即为排除背景区域之后的图像在该方向上的外边缘。例如，如果此时检测方向为右侧，则将该单位检测区域的右侧边缘设定为图像的右边缘。在上下左右四个方向均进行了上述处理之后，获得排除背景区域之后的图像。本领域技术人员可以理解，判断上述单位检测区域是否为背景区域的方式不限于上文所述，例如，可以通过仅仅比较某个单位检测区域中对象轮廓所占像素数目是否大于(或大于等于)某阈值，而不考虑对象轮廓的数目，来判断该单位检测区域是否应被认为是背景区域。另外，也可以通过仅仅比较某个单位检测区域中对象轮廓的数目是否大于某阈 值，而不考虑对象轮廓所占像素数目，来判断该单位检测区域是否应被认为是背景区域。排除背景区域的方式不限于上文所述，背景区域通常是图像中的平滑区域、梯度平均分布的区域等等。在室外场景的情况下，不论特定对象是人脸、行人、还是车辆，道路和天空通常可以认为是背景区域，道路区域通常出现在对象下方，天空区域通常出现在对象上方。因此，可以通过现有的场景识别技术确定图像中灰阶相对平滑的区域，作为背景区域来排除。对于排除了背景区域的图像，可以考虑在排除过背景区域的方向上，向外侧扩展一定像素数目的宽度，来作为图像的边缘。此排除操作旨在排除图像中明显不是对象的背景区域，可以避免后续操作中对于图像中的背景区域进行不必要的处理，从而加速整个处理的进程。然而，本领域技术人员可以理解，即使不包括上述的预处理装置和排除装置，仍然可以实现按照本发明实施例的检测图像中特定对象区域的设备。也就是，上述提取装置100所处理的对象，既可以是经过了预处理装置和排除装置的处理而排除了背景区域的图像，也可以是未经上述处理的从外部输入的图像。提取装置100中采用的通用对象特征可以例如是Haar特征，通过样本来训练检测器的方法例如可以是adaboost方法。图像中Haar特征的提取通过将Haar特征的模板放置在图像中并计算该模板所覆盖区域的特征值而得到，每个特征值均对应于图像中的某个位置。关于Haar特征定义和提取已经有现有的技术可以实现，例如，在RainerLienhart 和 Jochen Maydt 的非专利文件 An Extended Set of Haar-Iike Features forRapid Object Detection, IEEE ICIP 2002，Vol. 1，pp. 900-903，Sep. 2002 中，定义了一些Haar特征，并提出了对其进行提取的技术。图2示出Haar特征的模板示例，其中，图2A示出线性Haar特征的模板示例，图2B示出边缘Haar特征的模板示例，图2C示出中心环绕Haar特征的模板示例。可以采用的Haar特征的模板不限于图2所示，本领域技术人员可以理解，其它Haar特征模板例如图2所示的模板的各种组合也可以应用于本发明的实施例。
特征模板包括以两种色彩(例如白色和黑色)区分的两个区域，模板放置的区域的Haar特征值可以是白色区域像素灰度值之和的加权值减去黑色区域像素灰度值之和的加权值，在此的两个加权值均大于零，具体值可以根据不同Haar特征模版设定。从而每幅图像对应一组具体的Haar特征值。本领域技术人员可以理解，白色和黑色仅仅用于体现将特征模板分为两个区域，例如其它两种色彩，或者可以仅仅用线条来划分特征模板。图3示出用于训练检测器的样本示例，其中，图3A示出用于训练检测器的正样本示例，图3B示出用于训练检测器的负样本示例。图2中所体现的各个Haar特征均为通用对象特征，具体是通用的局部形状特征，并不取决于所要检测的具体特定对象，非某种特定对象所特有，即各个H aar特征与特定对象为人脸、行人、车辆、还是飞行器无关。而图3中所示的用于训练的正样本图像所体现的特定对象均为车辆，而负样本图像均不包含车辆。从此，以车辆为特定对象的例子来进行说明，并且以验证属性为侧视图的例子来进行说明。然而，本领域技术人员可以理解，本发明实施例也可以针对诸如人脸、行人、飞行器等等的其它特定对象，并且可以以诸如前视图、后视图的其它视图来作为验证属性。用局部形状特征Haar特征和典型机器学习方法adaboost训练检测器的过程描述如下首先，收集训练所需的正样本图像和负样本图像，图3A和图3B分别示出了在以车辆为特定对象、以侧视图为验证属性的情况下的正样本图像、负样本图像；然后，按照例如图2所示的作为局部形状特征的Haar特征的各个模板，提取每个训练样本图像的Haar特征值，每个训练样本图像对应一组Haar特征值，其中可以包括通过诸如图2A所示的线性Haar特征模板获得的Haar特征值、通过诸如图2B所示的边缘Haar特征模板和/或诸如图2C所示的中心环绕Haar特征模板获得的Haar特征值,把每组Haar特征值作为一个样本，每个正样本图像对应的一组Haar特征值为一个正样本，每个负样本图像对应的一组Haar特征值为一个负样本；然后，基于提取得到的样本集合，进行adaboost机器学习，得到与验证属性及特定对象相应的检测器，检测器的典型表示方法为XML (可扩展置标语言，extensible MarkupLanguage)描述的文件。检测器的训练结果是，其可以判断出一组Haar特征值是否可以被认为是正样本，即是否符合特定对象。基于训练得到的检测器，从待处理图像中检测特定对象的过程描述如下首先，以与样本训练相同的方式，从待处理的图像中提取与图像中位置相对应的Haar特征值；然后，把得到的与待处理图像相对应的一组Haar特征值输入到通过训练得到的检测器中进行检测，可能得到O个、I个、或多个检测结果。关于检测器的检测，可以采用基于滑动窗口的扫描策略，即，首先定义一个窗口，其尺寸可以是感兴趣的特定对象最小尺寸，从待处理图像左上角开始滑动一直到右下角结束，每次平移一定数目的像素，对该窗口所覆盖的区域的Haar特征值进行判断检测，如符合特定对象，则保留该窗口的矩形左上角点坐标、矩形宽度、矩形高度作为检测结果，否则略过该窗口区域。然后，按照一定比例放大窗口尺寸，重复滑动过程，直到窗口尺寸放大到待处理图像尺寸为止。尽管在此处的描述中，窗口尺寸由小到大逐次放大，并且滑动方向为从待处理图像左上角到右下角，然而，本领域技术人员可以理解，还可以采用其它多种方式，例如窗口尺寸由大到小逐次缩小，滑动方向该为从左下到右上，只要能够遍历整个图像即可。此外，每次的平移步长可以是一个、也可以是若干个像素的距离。另外，尽管在此处的描述中，先提取整幅图像的Haar特征值，然而，本领域技术人员可以理解，也可以随着窗口的滑动随时提取窗口区域的Haar特征值。本领域技术人员可以理解,采用Haar特征作为通用对象特征、采用adaboost训练方法作为机器学习的方法仅仅为示例，也可以用其它特征和训练方法完成检测器的训练。例如，关于通用对象特征采用方向梯度直方图(Histograms of Oriented Gradients,HOG)特征，关于训练方法采用支持向量机(Support Vector Machine, SVM)训练方法。本领域技术人员可以理解，通用对象特征和学习训练方法可以是上述的变化组合，例如，可以采用Haar特征和SVM训练方法,或者HOG特征和adaboost训练方法等等。通过提取装置100所提取的候选框可能包含错误的检测结果，例如，并非该特定对象的关于该验证属性的图像区域被误认为是包含特定对象并符合该验证属性的矩形框， 因此，作为对此阶段检测结果的改进，可以利用验证装置200对候选框进一步进行验证，判断候选框是否确实是关于该验证属性并包含特定对象的图像区域。验证装置200可以进一步包括候选框划分装置，可以执行前述候选框划分步骤S220,以将候选框划分为多个子候选框；响应值计算装置，可以执行前述响应值计算步骤S240,以利用与验证属性相对应的计算器来计算特有特征关于子候选框的响应值；置信度计算装置，可以执行前述置信度计算步骤S260，以根据与子候选框相应的响应值计算候选框的置信度；判断装置，可以执行前述判断步骤S280，以将候选框的置信度与阈值相比较，以判断候选框是否包含特定对象。图5A和图5B分别示出了将候选框划分为多个子候选框的划分方式的示例，在图5A中，一个候选框在水平方向划分为DRl和DR2两个子候选框，在图5B中，一个候选框在水平、垂直方向划分为DR11、DR12、DR21、DR22四个子候选框。候选框划分装置为了获得更好的验证准确性，候选框的划分方式可以与验证属性相对应，一个验证属性可以对应至少一种划分方式。例如，对于验证某个候选框是否是包含车辆侧视图的图像区域，可以将候选框按照图5A及图5B所示的方式划分。然而，本领域技术人员可以理解，对于其它情况，例如验证某个候选框是否是车辆前视图或后视图的图像区域，也可以采用上述的划分方式；另一方面，对于上述的验证某个候选框是否是包含车辆侧视图的图像区域的情况，也可以采用其它的划分方式，例如在纵向上将候选框一分为二。通过上述各种方式进行划分以获得更准确的验证结果，本领域技术人员将会认识至IJ，在如下文所述的采用特定对象特有特征进行验证的情况下，即使不对候选框进行划分，仍然能够相比于现有技术获得更准确的验证结果。响应值计算装置需要利用特定对象的特有特征进行计算。特有特征可以包括基本特征和由η个基本特征组成的η元联合特征中的任意一个或多个，所述η元联合特征包括η元对称联合特征和η元非对称联合特征中的任意一个或多个，其中η为大于等于2的自然数。图6示出特有特征中的基本特征的示例，其中，图6Α所示为水平线(O度线)，标记为e1(l ;图6B所示为正d度线,标记为eld，图6C所示为负d度线，标记为图6D所示为圆弧，标记为eaTC。其中，d为线相对于水平方向的角度，O < d彡90。在特定对象为车辆、验证属性为侧视图的情况下，d可以设为45，然而，本领域技术人员可以认识到，d可以也可以是诸如15、30、60、90等等的其它数值，圆弧可以为1/4圆弧，然而也可以是诸如半圆弧的其它度数的圆弧。尽管以验证侧视图为例，然而本领域技术人员可以认识到，上述基本特征也可以应用于其它验证属性，例如在验证属性为前视图或后视图的情况下，η例如可以是90，也可以是45。可以由基本特征定义集合F11 = {e10}及F12 = {eld, e^, ealxJ ,基本特征的集合F1可以是集合F11和F12的并集，即F1 = F11 U F12。η元联合特征由η个基本特征组成。图7包括图7Α到图7F，分别示出了二元联合特征的示例，二元联合特征的集合F2可以定义为F2(e) = Ieltl ·θ，θ MltlKeeF12，其中“·”表示其前后两个特征的联合关系。二元联合特征可以包括0度线基本特征联合正d度线基本特征(如图7A所示)、正d度线基本特征联合O度线基本特征(如图7B所示)、0度线基本特征联合负d度线基本特征(如图7C所示)、负d度线基本特征联合O度线基本特征(如图7D所示)、O度线基本特征联合圆弧基本特征(如图7E所示)、或者圆弧基本特征联合O度线基本特征(如图7F所示)。图8包括图8A-图8C，分别示出了三元非对称联合特征的示例，其集合Fns可以定义为FNS(e) = Ie10 · e · e10}，e e F120三元非对称特征例如可以包括由以下联合操作所得到的所有特征0度线基本特征联合正d度线基本特征或者负d度线基本特征或者圆弧基本特征，再联合O度线基本特征，分别如图8A、图SB、图SC所示。其中，图SC所示的O度线基本特征联合圆弧基本特征再联合O度线基本特征的特征在处理上可以视作三元非对称特征。图9包括图9A-图9C，分别示出了三元对称联合特征的示例，其集合Fs可以定义 为Fs = {eld · e10 · Θη, · e10 · eld, earc · e10 · earc}。三元对称联合特征例如可以包括正d度线基本特征联合O度线基本特征再联合负d度线基本特征(如图9A所示)、负d度线基本特征联合O度线基本特征再联合正d度线基本特征(如图9B所示)、圆弧基本特征联合O度线基本特征再联合圆弧基本特征(如图9C所示)。三元联合特征的集合F3可以是集合Fns和Fs的并集，即F3 = Fns U Fs。本领域技术人员可以认识到，基本特征不限于上文所描述的形式，由基本特征组合而成的二元联合特征及三元联合特征更不限于上文所描述的形式，而且，还可以由基本特征组成更多元次的对称或非对称的联合特征。本领域技术人员将能够认识到，定义并采用不同的特征可能获得准确度不同的验证结果，然而，在采用上述的针对特定对象即车辆所定义的基本特征及联合特征的情况下，在验证候选框是否是特定对象即车辆区域的情况下，能够相比于现有技术获得更准确的验证结果。另外，本领域技术人员可以认识到，上述基本特征及联合特征不仅可以应用于关于侧视图进行验证，也可以用于关于诸如前视图或后视图的其它验证属性的验证。F1中的特征元素可以以如下所述方式描述诸如O度线、正d度线、负d度线的直线段特征元素可以用起点和终点坐标描述；圆弧特征元素可以用弧线上沿顺时针方向的所有像素坐标点的集合描述。当然，也可以用其它任何能够描述直线段特征和弧线特征的方式替换前述方式。在此基础上可以进一步包括特征元素的像素宽度约束(例如6-8像素宽度，当然不限于此)、以及直线角度约束(角度d两侧的一定范围)等等，来描述F1中的特征元素。F2及F3中的特征元素可以通过F1中的特征元素和不同F1特征元素间的距离/位置度量进行描述。联合特征由基本特征组成，可以通过上述对基本特征的描述方式来描述联合特征的各个组成部分即基本特征，通过描述各个基本特征和各个基本特征之间的关系来描述联合特征。例如F2中的e1(l · eld元素可描述为e1(l的描述、eld的描述、e10最右端和eld最左端的距离；F3中的e1(l · eld · e10元素可描述为左侧e1(l的描述、eld的描述、右侧e1(l的描述、左侧e1(l最右端和eld最左端的距离、eld最右端和右侧e1(l最左端的距离。关于联合特征的约束，除了包括基本特征元素的像素宽度约束及直线角度约束等等之外，还可以包括诸如基本特征之间的距离最大值的约束。在图像中提取F1中的特征元素可以通过以下过程实现首先，从图像中用已有的诸如霍夫(Hough)变换方法等等方法提取直线段、弧线元素；然后，对提取得到的直线段、弧线元素进行特征元素像素宽度约束、直线角度约束等过滤，去除不符合条件的直线段、弧 线元素，得到的元素即为图像中提取得到的F1特征元素。可以通过类似于上述的在图像中提取F1中的特征元素的过程，进一步考虑特征元素之间的距离的约束，来从图像中提取F2及F3中的特征元素。响应值计算装置还需要与验证属性相对应的计算器以用来计算特有特征关于子候选框的响应值。计算器与验证属性相对应是指对于侧视图、前视图、及后视图，可以采用不同的计算方式。然而，本领域技术人员将会理解，由于可以采用上述特有特征来用于验证车辆侧视图、前视图或后视图，因此可以采用针对车辆侧视图的计算器来验证车辆前视图或后视图，例如d = 90甚至d = 45既可以用于验证车辆侧视图，也可以用于验证车辆前视图或后视图。可能验证结果的准确性有所差异，或者可能当采用针对车辆侧视图的计算器来验证车辆前视图或后视图时会产生冗余的计算(例如关于圆弧特征的计算)，但是由于采用针对特定对象即车辆所定义的基本特征及联合特征，因此在验证候选框是否是车辆区域的情况下，能够相比于现有技术获得更准确的验证结果。后文既将给出为验证车辆侧视图而设计的计算器的例子，该例子也可以用于验证车辆前视图或后视图；后文还将给出为验证车辆前视图或后视图而设计的计算器的例子，该例子也可以用于验证车辆侧视图。计算器可以包括级联的计算单元，计算单元用于计算特有特征关于子候选框的响应值。计算某图像区域(例如某个子候选框DR)上特征e的响应值的计算单元可以为Γ (e，DR)，e G F1 U F2 U F3。例如，对于图5A所示的划分方式，计算特征e1(l的在子候选框DRl和DR2中的响应值的计算单元可以是Γ (F11 [I], DRj) = h, j = I V 2其中，由于e1(l是集合F11中的第一个兀素(仅一个)，因此表不为F11 [I]，“ V，，表示“或”的关系，即j可以是1，也可以是2，h为在子候选框DRj中提取到的特有特征e1(l的数目，即提取到多少个特征e1(l，则e1(l在子候选框DRj中的响应值就是多少，如果在DRj中未提取出e1(l特征，则e1(l在子候选框DRj中没有响应。例如，对于图5B所示的划分方式，计算特征eaM的在子候选框DR21和DR22中的响应值的计算单元可以是
f 100,有响应吼[3]，两) = lo，没有响应，7 = 21v22其中，earc是集合F12中的第三个元素，因此表示为F12 [3]，只要在子候选框DRj中提取到的特有特征eaTC，则响应值为100，如果在DRj中未提取出eaM特征，则eaTC在子候选框DRj中没有响应，响应值为O。计算器可以由级联的多个计算单元组成，一种划分方式对应至少一级计算单元，例如，图5A及图5B所示的划分方式均可以分别对应多级计算单元。然而，按照在同一级中可能获得的响应值由强到弱的顺序级联排列多级计算单元，在前级计算单元计算得到响应值的情况下，该前级计算单元之后的后级计算单元不进行计算。换句话说，只要在前级操作中在子候选框中提取到特定特征，也就是在前级中存在响应，则无需进行后级的计算。
根据通过对样本分析而得出的特定对象的各种特有特征相对于该特定对象的相关程度来设定各种特有特征的响应值，联合特征的响应值强于基本特征的响应值，对称联合特征的响应值强于非对称联合特征的响应值。因此，在计算器中，按照计算所针对的联合特征的元次由大到小的顺序级联排列计算单元，关于联合特征的计算单元排列在关于基本特征的计算单元的前级，在元次相同的情况下，关于对称联合特征的计算单元排列在关于非对称联合特征的计算单元的前级，关于相同元次对称联合特征的计算单元排列在同级，关于相同元次非对称联合特征的计算单元排列在同级。验证车辆侧视图的计算器可以以以下方式由多个计算单元级联而成。例如，第一级关于图5A所示的划分方式，其可以包括两个计算单元Γ (Fs [I], DRl)和Γ (FS[3]，DR2)，FS[1]和Fs[3]分别代表Fs集合中的第一个和第三个元素，分别如图9左右两侧所示。可以设定在第一级的计算过程中，如果在子候选框中提取到相应特征，则获得较大的响应值，例如3000或以上、5000或以上，总之确保大于其后级所能够获得的响应值即可，并且在获得响应的情况下，无需进行后级的处理。例如，第二级关于图5B所示的划分方式，其可以包括计算单元Γ (Fns[i]，DRj)。第三级关于图5B所示的划分方式，其可以包括计算单元Γ (F2 (F12 [i]) [I], DRj)和计算单元Γ (F2(F12[i]) [2]，DRj)。第四级仍然关于图5B所示的划分方式，其可以包括多个计算单元r (F12[i]，DRj)。其中(i = I Λ j = 11) V (i = 2 Λ j = 12) V (i = 3 Λ j = 21 V 22)，
“[i]”表示相应集合中的第i个元素，“V”表示“或”的关系，“Λ”表示“并且”的关系。在第二级、第三级、第四级，可以设定在提取到特征的情况下，即有响应的情况下，计算单元的响应值可以例如为前一级的1/4至1/2，即在第二级、第三级、第四级中，有响应的情况下，计算单元获得的响应值分别为1000、400、及100。本领域技术人员可以理解，上述数值仅仅是例子，只要确保在前级所能够获得的响应值大于在其后级所能够获得的响应值即可，并且在前级获得响应的情况下，无需进行后级的处理。例如，第五级关于图5Α所示的划分方式，其可以包括两个计算单元Γ (F11 [I],DRl)和Γ (F11 [I], DR2)，有响应的情况下，计算单元获得的响应值例如可以是所提取的特征的数目。本领域技术人员可以理解，上述计算器的构成方式仅仅是一个例子，可以有多种其它方式实现计算器。例如，上述任何一个的计算单元，或任何一级的计算单元都可以省略。在存在响应的情况下的取值也可以有多种不同方式，例如，在上述第一至第四级，也可以考虑所提取的特有特征的数目，每提取一个特有特征则增加一定的响应值；在上述第五级，也可以不考虑所提取的特有特征的数目，只要有响应则获得一定的响应值。验证车辆前视图或后视图的计算器可以以以下方式由多个计算单元级联而成。例如，第一级关于图5A所示的划分方式，其可以包括两个计算单元Γ (Fs [I], DRl)和Γ (FS[3]，DR2)，FS[1]和Fs[3]分别代表Fs集合中的第一个和第三个元素，分别如图9左右两侧所示。可以设定在第一级的计算过程中，如果在子候选框中提取到相应特征，则获得较大的响应值，例如3000或以上、5000或以上，总之确保大于其后级所能够获得的响应值即可，并且在获得响应的情况下，无需进行后级的处理。例如，第二级关于图5B所示的划分方式，其可以包括四个计算单元Γ (F2 (F12[I]) [2], DR11), Γ (F2 (F12 [2]) [2], DR21), Γ (F2 (F12 [2]) [I]，DR12)、和 Γ (F2 (F12 [I]) [I]，DR22)，可以设定在提取到特征的情况下，即有响应的情况下，计算单元的响应值可以例如为前一级的1/5至1/4，即在第二级中有响应的情况下，计算单元获得的响应值可以例如为500。本领域技术人员可以理解，上述数值仅仅是例子，只要确保在前级所能够获得的响应值大于在其后级所能够获得的响应值即可。例如，第三级关于图5A所示的划分方式，其包括两个计算单元Γ (F11 [I], DRl)和Γ (F11 [I], DR2)，有响应的情况下，计算单元获得的响应值例如可以是所提取的特征的数目。本领域技术人员可以理解，上述计算器的构成方式仅仅是一个例子，可以有多种其它方式实现计算器。例如，上述任何一个的计算单元，或任何一级的计算单元都可以省略。在存在响应的情况下的取值也可以有多种不同方式，例如，在上述第一至第二级，也可以考虑所提取的特有特征的数目，每提取一个特有特征则增加一定的响应值；在上述第三级，也可以不考虑所提取的特有特征的数目，只要有响应则获得一定的响应值。置信度计算装置可以将关于同一划分的子候选框的响应值相加得到候选框的置信度。由于同一级的计算单元所针对的子候选框均来自同一次的划分，并且在前级中提取到特有特征的情况下，不再进行后级的计算，因此虽然在计算单元的级联结构中多个级别针对同一划分，然而同一划分的子候选框的响应值必然是同一级的计算单元所计算得到。可以将置信度表示为η。在上述验证车辆侧视图的计算器的情况下，如果在第四级提取出特有特征，则该候选框的置信度n = Γ (F12[3]，DR21) + r (F12[3]，DR22)。在上述验证车辆侧视图的计算器的情况下，如果在第五级提取出特有特征，或者在上述验证车辆前视图或后视图的计算器的情况下，如果在第三级提取出特有特征，则该候选框的置信度n = r (F11 [I]，DRl) + Γ (F11 [I]，DR2)。本领域技术人员可以理解，将子候选框的响应值相加得到候选框的置信度不限于以上方式，例如，可以对不同的子候选框设置不同的权重来进行加权相加。判断装置采用的阈值可以是预定阈值，该预定阈值的确定可以考虑验证属性，即取决于验证属性的不同而不同，还可以取决于响应值的量级，例如，在上述的验证车辆侧视图的情况下，预定阈值例如可以是10。如果候选框的置信度大于(或大于等于)该预定阈值，则判断该候选框包含特定对象，是图像中的特定对象区域。本领域技术人员可以理解，预定阈值的确定方式不限于此，例如还可以是15、20、甚至100等等的其它数值。可以不论验证属性是侧视图、前视图还是后视图，均采用同一预定阈值。除采用上述简单的预定阈值处理方式之外，还可以通过对已知正样本进行训练，获得样本的典型置信度，以该典型置信度作为阈值，也就是用候选框的置信度比较该典型置信度，如果候选框的置信度大于(或大于等于)该阈值，则判断该候选框包含特定对象，是图像中的特定对象区域。下面参照图IlA至图11F，通过实例来描述检测图像中特定对象区域的方法和设备对图像的处理过程。图IlA示出待处理的输入图像，尺寸为231*154。对于图IlA所示的图像，可以直接在其中提取通用对象特征并利用检测器检测，以在图像中获取关于特定对象处理的侧视图的候选框；或者，也可以对其实施预处理，即利用索贝尔算子进行对象边缘增强，然后进行二值化处理来获得图像中对象的轮廓，如图IlB所示。 对于图IlB所示的图像，可以排除其中不包含前景对象的背景区域，获得排除背景区域之后的图像。此排除过程可以在图像的上下左右四个方向由外向内进行，例如，图Iic示出在“上”方向排除背景区域之后的结果。在上下左右四个方向分别进行排除处理之后获得的图像尺寸为231*94，还原到原色彩或灰度状态则如图IlD所示。也就是，即使经过上述预处理过程及排除处理过程，在进行提取操作之前，仍然将图像还原到原色彩或灰度状态，只是尺寸可以缩小，从而减少此后操作的处理量。在此假定未采用预处理操作及排除操作，S卩，对于图IlA所示的图像，直接在其中提取通用对象特征，如Haar特征，并利用检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的侧视图的候选框，如图IlE中所示的两个矩形框，P框和Q框。然后，利用车辆的特有特征对P框和Q框进行验证，判断其是否是包含车辆侧视图的候选框，可以判断出P框并非图像中关于侧视图的车辆区域，而Q框是图像中关于侧视图的车辆区域，如图IlF所示。上面关于本发明实施例说明了检测图像中特定对象区域的方法和设备，本发明实施例特别可以应用于从自然场景图像中检测车辆，利用车辆特有的局部特征进行错误去除，从而完成结果验证。本发明实施例基于车辆一般具有对称性结构的假定，首先利用通用对象特征(如Haar特征)离线训练车辆检测器，利用训练得到的车辆检测器粗略地从图像中检测出车辆图像框；然后，利用车辆局部特征验证检测结果，精细地去除错误的检测。在进行上述处理之前，可以考虑对输入的自然场景图像进行预处理操作，从而使图像更适合后续操作，如对输入图像进行平滑操作、二值化操作等。其次，为了加快下一步的提取操作，可以从预处理后的输入图像中粗略地去除非对象的背景区域。关于最后的结果验证，定义了车辆局部特征和基于车辆局部特征的区别性响应计算策略；所定义的车辆局部特征以及响应计算策略对不同角度的视图可以相同或者不同。对每个需要被验证的所提取的图像框，首先根据相应的所定义策略计算其响应值，并进一步计算置信度；其次对计算得到的置信度作阈值处理，判断检测结果是否为车辆，从而提高从图像中检测特定对象区域的准确性。在上文的举例描述中，以车辆为特定对象对实施例进行了说明，然而，本领域技术人员可以理解，本发明实施例的实施不依赖于任何具体的特定对象，而是可以用来检测图像中任何具体的特定对象。
在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。例如，可以把计算机程序预先存储到作为记录介质的硬盘或者R0M(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、⑶-ROM(光盘只读存储器)、M0 (磁光)盘、DVD (数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。
本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。
权利要求
1.一种检测图像中特定对象区域的方法，包括 提取步骤，通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及 验证步骤，根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。
2.按照权利要求I所述的方法，其中，所述验证步骤包括 候选框划分步骤，将候选框划分为多个子候选框； 响应值计算步骤，利用与验证属性相对应的计算器来计算特有特征关于子候选框的响应值； 置信度计算步骤，根据与子候选框相应的响应值计算候选框的置信度； 判断步骤，将候选框的置信度与阈值相比较，以判断候选框是否包含特定对象。
3.按照权利要求2所述的方法，其中， 所述特有特征包括基本特征和由η个基本特征组成的η元联合特征中的任意一个或多个，所述η元联合特征包括η元对称联合特征和η元非对称联合特征中的任意一个或多个，其中η为大于等于2的自然数。
4.按照权利要求3所述的方法，其中， 所述计算器包括级联的计算单元，计算单元用于计算特有特征关于子候选框的响应值，在前级计算单元计算得到响应值的情况下，该前级计算单元之后的后级计算单元不进行计算。
5.按照权利要求I所述的方法，其中， 所述验证属性包括特定对象的前视图、后视图、及侧视图中的任意一个或多个。
6.按照权利要求4所述的方法，其中， 在所述计算器中，按照计算所针对的联合特征的元次由大到小的顺序级联排列计算单元，关于联合特征的计算单元排列在关于基本特征的计算单元的前级，在元次相同的情况下，关于对称联合特征的计算单元排列在关于非对称联合特征的计算单元的前级，关于相同元次对称联合特征的计算单元排列在同级，关于相同元次非对称联合特征的计算单元排列在同级。
7.按照权利要求4所述的方法，其中， 一个验证属性对应至少一种将候选框划分为多个子候选框的划分方式，一种划分方式对应至少一级计算单元。
8.按照权利要求I所述的方法，其中，在所述提取步骤之前还可以包括 预处理步骤，确定图像中对象的轮廓； 排除步骤，根据图像中对象的轮廓，排除图像中不包含前景对象的背景区域，获得排除背景区域之后的图像。
9.按照权利要求2所述的方法，其中， 在置信度计算步骤中，将关于同一划分的子候选框的响应值相加得到候选框的置信度。
10.一种检测图像中特定对象区域的设备，包括提取装置，通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相 应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及 验证装置，根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。
全文摘要
本发明实施例提供一种检测图像中特定对象区域的方法，包括提取步骤，通过在图像中提取通用对象特征，并利用通过样本训练所得到的与验证属性相应的检测器检测所提取的通用对象特征，来在图像中获取关于特定对象的符合验证属性的候选框；以及验证步骤，根据验证属性及特定对象的特有特征，对所获取的候选框进行验证以判断该候选框是否包含特定对象，判断为包含特定对象的候选框为特定对象区域。本发明实施例还相应地提供一种检测图像中特定对象区域的设备。
文档编号G06K9/00GK102779267SQ201110122148
公开日2012年11月14日 申请日期2011年5月12日 优先权日2011年5月12日
发明者刘丽艳, 潘苹萍 申请人:株式会社理光