定位交通灯背景框的方法、装置及车辆与流程

文档序号：14120805阅读：210来源：国知局

本公开涉及图像处理技术领域，具体地，涉及一种定位交通灯背景框的方法、装置及车辆。

背景技术：

随着社会经济的快速发展，汽车越来越普及，然而人们在享受汽车带来的好处的同时，也面临着日益加剧的城市交通安全问题和路口通行效率问题，因此，用于车辆行驶安全的交通信号灯识别技术应运而生，而交通灯背景框的定位方法在交通信号灯的识别过程中起着举足轻重的作用。

目前的交通灯背景框定位方法都是基于2d摄像头采集回来的彩色图像，在此基础上利用背景框的一些特征结合相应的图像处理技术进行定位。由于交通路况的复杂性，要想获得准确的定位结果，除了对图像质量要求特别高之外，对算法复杂度的要求也很苛刻，同时定位结果也不尽人意，主要原因在于2d图像本身的图像质量有一定局限，且图像质量受外界干扰影响比较大，这些都会对定位结果产生直接的影响。

技术实现要素：

本公开的目的是提供一种定位交通灯背景框的方法、装置及车辆，以简化定位交通灯背景框的过程，提高定位交通灯背景框的效率和准确度。

为了实现上述目的，本公开提供一种定位交通灯背景框的方法，所述方法包括：

对3d摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；

从3d摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；

对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；

根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框。

可选地，在根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框之前，所述方法还包括：

确定所述目标区域的边缘在所述目标区域的y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的x轴方向的宽度变化情况；

若所述目标区域的边缘在所述y轴方向的高度存在突变，或所述目标区域的边缘在所述x轴方向的宽度存在突变，则确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；

断开所述交通灯背景框候选区域和所述交通灯灯杆区域。

可选地，所述对3d摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像，包括：

确定3d摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；

以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。

可选地，所述确定所述目标区域的边缘在所述目标区域的y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的x轴方向的宽度变化情况，包括：

根据所述目标区域的中心点分别在所述x轴方向以及所述y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；

若所述交通灯相对于地面是水平放置的，则分别向所述x轴的正负方向遍历所述目标区域的边缘在所述y轴方向的高度；

若所述交通灯相对于地面是垂直放置的，则分别向所述y轴的正负方向遍历所述目标区域的边缘在所述x轴方向的宽度。

可选地，通过以下方式确定所述目标区域的边缘在所述y轴方向的高度存在突变：

在所述目标区域的边缘中与所述x轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；

记录所述第一像素点在所述y轴方向的第一高度与所述第二像素点在所述y轴方向的第二高度之间的高度差值；

自所述中心点起，以预定步长分别沿所述x轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述y轴方向的第一高度与所述第二像素点在所述y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；

通过以下方式确定所述目标区域的边缘在所述x轴方向的宽度存在突变：

在所述目标区域的边缘中与所述y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；

记录所述第三像素点在所述x轴方向的第一宽度与所述第四像素点在所述x轴方向的第二宽度之间的宽度差值；

自所述中心点起，以预定步长分别沿所述y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述x轴方向的第一宽度与所述第四像素点在所述x轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。

可选地，所述断开所述交通灯背景框候选区域和所述交通灯灯杆区域，包括：

确定在所述高度差值出现突变时，所述第一滑动窗的位置；

根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；

根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者

所述断开所述交通灯背景框候选区域和所述交通灯灯杆区域，包括：

确定在所述宽度差值出现突变时，所述第二滑动窗的位置；

根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；

根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。

本公开还提供一种定位交通灯背景框的装置，所述装置包括：

颜色分割模块，用于对3d摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；

目标深度图像提取模块，用于从3d摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；

目标区域提取模块，用于对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；

定位模块，用于根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框。

可选地，所述装置还包括：

第一确定模块，用于在根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框之前，确定所述目标区域的边缘在所述目标区域的y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的x轴方向的宽度变化情况；

第二确定模块，用于在所述目标区域的边缘在所述y轴方向的高度存在突变，或所述目标区域的边缘在所述x轴方向的宽度存在突变时，确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域；

断开模块，用于断开所述交通灯背景框候选区域和所述交通灯灯杆区域。

可选地，所述颜色分割模块包括：

色调值确定子模块，用于确定3d摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；

图像分割子模块，用于以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。

可选地，所述第一确定模块包括：

第一确定子模块，用于根据所述目标区域的中心点分别在所述x轴方向以及所述y轴方向的延伸长度，确定交通灯相对于地面是水平放置的或垂直放置的；

第一遍历模块，用于在所述交通灯相对于地面是水平放置时，分别向所述x轴的正负方向遍历所述目标区域的边缘在所述y轴方向的高度；

第二遍历模块，用于在所述交通灯相对于地面是垂直放置时，分别向所述y轴的正负方向遍历所述目标区域的边缘在所述x轴方向的宽度。

可选地，所述第二确定模块包括：

第一滑动窗生成子模块，用于在所述目标区域的边缘中与所述x轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；

第一记录子模块，用于记录所述第一像素点在所述y轴方向的第一高度与所述第二像素点在所述y轴方向的第二高度之间的高度差值；

第一移动子模块，用于自所述中心点起，以预定步长分别沿所述x轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述y轴方向的第一高度与所述第二像素点在所述y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止；

第二滑动窗生成子模块，用于在所述目标区域的边缘中与所述y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；

第二记录子模块，用于记录所述第三像素点在所述x轴方向的第一宽度与所述第四像素点在所述x轴方向的第二宽度之间的宽度差值；

第二移动子模块，用于自所述中心点起，以预定步长分别沿所述y轴的正负方向移动所述第二滑动窗，并重复执行记录所述第三像素点在所述x轴方向的第一宽度与所述第四像素点在所述x轴方向的第二宽度之间的宽度差值的步骤，直到所述宽度差值出现突变为止。

可选地，所述断开模块包括：

第一位置确定子模块，用于确定在所述高度差值出现突变时，所述第一滑动窗的位置；

第一交界线确定子模块，用于根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；

第一断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域；或者

所述断开模块包括：

第二位置确定子模块，用于确定在所述宽度差值出现突变时，所述第二滑动窗的位置；

第二交界线确定子模块，用于根据所述第二滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；

第二断开子模块，用于根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。

本公开还提供一种车辆，所述车辆包括：

3d摄像头，用于采集具有深度信息的图像；以及

本公开提供的上述定位交通灯背景框的装置。

基于3d摄像头采集到的具有深度信息的图像，对交通灯背景框进行定位。由于3d摄像头的深度成像原理不受自然光照影响，所以在定位交通灯背景框的过程中，对于白天、夜晚等不同光照情况下的识别会更加准确。并且，由于深度信息是由3d摄像头直接输出的，无需额外处理，因此在一定程度上可以减少图像处理的复杂度，提升识别效率。此外，3d摄像头对深度信息与颜色信息的输出在时间轴上几乎是一致的，这样使得在结合两者对交通灯背景框进行定位时，定位结果更加准确。无需采集样本以及机器学习，简化了定位交通灯背景框的过程，提高了定位交通灯背景框的效率和准确度。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种定位交通灯背景框的方法的流程图。

图2是根据一示例性实施例示出的目标深度图像的示意图。

图3是根据一示例性实施例示出的从目标区域中定位出交通灯背景框的流程图。

图4是根据一示例性实施例示出的一种定位交通灯背景框的装置的示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

相关技术中，交通灯背景框的定位方法是基于2d摄像头采集到的彩色图像进行研究的，由于2d摄像头采集到的图像本身有质量上的局限性，且图像质量受外界干扰影响较大，进而对交通灯背景框的定位结果产生影响。为解决该技术问题，本公开提出一种利用cmos(中文：互补金属氧化物半导体；英文：complementarymetaloxidesemiconductor)结合tof(中文：飞行时间；英文：timeofflight)的新型传感器(3d摄像头)来定位交通灯背景框的方法。该3d摄像头可以获取具有深度信息的彩色图像，利用彩色图像的深度信息，结合其他图像处理方法，能够快速定位交通灯背景框。

请参考图1，图1是根据一示例性实施例示出的一种定位交通灯背景框的方法的流程图。如图1所示，该方法包括以下步骤：

步骤s11：对3d摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；

步骤s12：从3d摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；

步骤s13：对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；

步骤s14：根据所述目标区域的矩形度和长宽比，从所述目标区域中定位出交通灯背景框。

交通灯背景框是指用于装载交通信号灯的矩形框架，故在本公开中，交通灯背景框的定位是在确定交通信号灯的区域的基础上进行的，即首先确定符合交通信号灯颜色(红、绿和黄)的区域，然后在相对应的区域范围内确定交通灯背景框的区域。另外，交通灯背景框的安装位置、高度以及框架结构都由《gb14886-2006道路交通信号灯设置与安装规范》作了相关规定，因此交通灯背景框的面积大小、长宽比等特性都是有相关依据的。

本公开中，使用3d摄像头代替传统的2d摄像头，以获得彩色图像的深度信息，因而在算法处理过程中融入了对图像的深度信息的处理。

在实际应用中，3d摄像头可以安装在汽车的车身上，一种可能的安装方式是：将3d摄像头安装在车内后视镜前方的挡风玻璃处。这样能够保证在汽车的行驶过程中，3d摄像头可以实时采集前方道路的图像，从而实时定位交通灯背景框。

可选地，3d摄像头向上或向下的安装角度可以根据实际采集回来的图像进行标定，以便于在进行图像处理时，可以减少图像处理的区域和数据量，还能减少一部分其它光源(如部分汽车尾灯等)带来的影响。一种可能的标定方式是：结合《gb14886-2006道路交通信号灯设置与安装规范》，保证3d摄像头采集回来的图像中的交通信号灯区域位于图像的上面1/2处(上一半)。

步骤s11，对3d摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像，也就是通过颜色分割处理确定交通信号灯可能存在的区域。该步骤包括：

确定3d摄像头采集到的具有深度信息的彩色图像上各个像素点的色调值；

以红、绿和黄三种颜色分别对应的色调值为阈值，分割出像素点的色调值满足红、绿或黄任一种颜色对应的色调值的图像。

一种可能的实施方式是：由于hsv色彩空间(色调h、饱和度s和明度v)中h与v具有无关性，可以将3d摄像头采集到的rgb(红r、绿g和蓝b)图像转换为hsv图像，利用不同交通信号灯颜色的h阈值对图像进行颜色分割。其中，红色的h值范围是小于6或大于244，绿色的h值范围是81至130之间，黄色的h值范围是21至46之间。如何确定红、绿和黄三种颜色的h值范围，可参考相关技术，在此就不再赘述。

步骤s12，从3d摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像。利用3d摄像头采集图像，可以获取图像的深度信息，即图像中的每一个像素点都有一个距离信息，根据预设深度阈值范围进行适当筛选，可以排除一些干扰区域。而该预设深度阈值范围的一种可能的设定方式是：根据《gb14886-2006道路交通信号灯设置与安装规范》，图像中太近或太远的目标区域则为干扰区域，在适当范围内(例如50～200m范围内)的区域则为需要提取出来的目标深度图像，如图2所示，图2是根据一示例性实施例示出的目标深度图像的示意图，图中显示的数字表示深度信息。

可选地，考虑到提取出的目标深度图像中存在一些细小的突出物，使得交通灯背景框周围存在噪声干扰。为消除噪声干扰，使得交通灯背景框的轮廓变得平滑，可以对目标深度图像进行形态学开运算处理，以去除细小的突出物。

步骤s13，对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域。该步骤是结合图像的颜色特性和深度信息，确定既符合交通信号灯颜色要求又满足预设深度阈值范围的区域，更加准确地定位出交通灯背景框可能存在的区域。

可选地，目标区域中可能出现交通灯背景框候选区域与交通灯灯杆区域相连的情况，则在从所述目标区域中定位出交通灯背景框之前，需要断开交通灯背景框候选区域和交通灯灯杆区域，包括以下步骤：

确定所述目标区域的边缘在所述目标区域的y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的x轴方向的宽度变化情况；

断开所述交通灯背景框候选区域和所述交通灯灯杆区域。

在实际应用中，交通信号灯相对于地面可能是水平放置的，也可能是垂直放置的。而交通信号灯放置方式不同，使得所述目标区域的边缘在所述目标区域的x轴方向或y轴方向的变化情况不同，因此，所述确定所述目标区域的边缘在所述目标区域的y轴方向的高度变化情况，并确定所述目标区域的边缘在所述目标区域的x轴方向的宽度变化情况，包括以下步骤：

根据所述目标区域的中心点分别在所述x轴方向以及所述y轴方向的延伸长度，确定交通信号灯相对于地面是水平放置的或垂直放置的；

若所述交通灯相对于地面是水平放置的，则分别向所述x轴的正负方向遍历所述目标区域的边缘在所述y轴方向的高度；

若所述交通灯相对于地面是垂直放置的，则分别向所述y轴的正负方向遍历所述目标区域的边缘在所述x轴方向的宽度。

经过以上步骤之后，便确定了交通信号灯的放置方式，以及目标区域的边缘在该目标区域的x轴方向或y轴方向的变化情况。然后确定该目标区域的边缘在相应x轴方向或y轴方向是否存在突变。

若确定交通信号灯相对于地面是水平放置的，则目标区域的边缘在该目标区域的y轴方向的高度可能存在突变，通过以下方式确定所述目标区域的边缘在所述y轴方向的高度是否存在突变：

在所述目标区域的边缘中与所述x轴平行的同一边缘上取相距预定距离的第一像素点和第二像素点，以形成第一滑动窗；

记录所述第一像素点在所述y轴方向的第一高度与所述第二像素点在所述y轴方向的第二高度之间的高度差值；

自所述中心点起，以预定步长分别沿所述x轴的正负方向移动所述第一滑动窗，并重复执行记录所述第一像素点在所述y轴方向的第一高度与所述第二像素点在所述y轴方向的第二高度之间的高度差值的步骤，直到所述高度差值出现突变为止。

若确定交通信号灯相对于地面是垂直放置的，则目标区域的边缘在该目标区域的x轴方向的宽度可能存在突变，通过以下方式确定所述目标区域的边缘在所述x轴方向的宽度是否存在突变：

在所述目标区域的边缘中与所述y轴平行的同一边缘上取相距预定距离的第三像素点和第四像素点，以形成第二滑动窗；

记录所述第三像素点在所述x轴方向的第一宽度与所述第四像素点在所述x轴方向的第二宽度之间的宽度差值；

通过以上步骤，确定所述目标区域包括交通灯背景框候选区域和交通灯灯杆区域之后，断开交通灯背景框候选区域和所述交通灯灯杆区域。

若交通信号灯相对于地面是水平放置的，包括以下步骤：

确定在所述高度差值出现突变时，所述第一滑动窗的位置；

根据所述第一滑动窗的位置，确定所述交通灯背景框候选区域与所述交通灯灯杆区域的交界线；

根据所述交界线，断开所述交通灯背景框候选区域和所述交通灯灯杆区域。

若交通信号灯相对于地面是垂直放置的，则根据所述第二滑动窗的位置进行类似操作。

在断开所述交通灯背景框候选区域和所述交通灯灯杆区域后，保留下所述交通灯背景框候选区域(例如图2中位于85m处的目标区域，滤除交通灯灯杆区域)，从所述交通灯背景框候选区域中定位交通灯背景框。

步骤s14，根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框，该步骤包括：

步骤s1401，根据所述目标区域的面积大小特性，排除不是交通灯背景框的目标区域；

步骤s1402，根据所述目标区域的矩形度，排除不是交通灯背景框的目标区域；

步骤s1403，根据所述目标区域的长宽比，排除不是交通灯背景框的目标区域。

步骤s1401、s1402和s1403是三个相对独立的过程，三者的执行顺序不分先后。请参考图3，图3是根据一示例性实施例示出的从目标区域中定位出交通灯背景框的流程图。图3以按照步骤s1401、s1402和s1403顺序执行作为示例。

根据《gb14886-2006道路交通信号灯设置与安装规范》，交通灯背景框是一个长方形黑色矩形框，且该矩形框的面积大小有确切的规定值，因此当目标区域的面积过大或过小时，可确定该目标区域不是交通灯背景框，排除该目标区域(例如图2中位于20和180m处的目标区域)；当目标区域的面积满足规定值时，保留该目标区域。

根据《gb14886-2006道路交通信号灯设置与安装规范》，交通灯背景框是符合长宽比在一定范围内的规则矩形，因此可以通过对比目标区域的矩形度与预设矩形度阈值(例如预设矩形度阈值是0.92)，若目标区域的矩形度小于预设矩形度阈值，则确定该目标区域不是交通灯背景框，排除该目标区域(例如图2中位于80m处的目标区域)；若目标区域的矩形度大于或等于预设矩形度阈值，则保留该目标区域。

对比目标区域的长宽比与预设长宽比阈值范围(例如预设长宽比阈值范围是1/5至1/2之间)，若目标区域的长宽比不满足预设长宽比阈值范围，则确定该目标区域不是交通灯背景框，排除该目标区域；若目标区域的长宽比满足预设长宽比阈值范围，则保留该目标区域。

同时满足步骤s1401、s1402和s1403三个步骤中的保留条件的目标区域则是交通灯背景框(例如图2中位于85m处的目标区域)，由此实现从所述目标区域中定位出交通灯背景框。

本公开还提供一种定位交通灯背景框的装置。请参考图4，图4是根据一示例性实施例示出的一种定位交通灯背景框的装置的示意图。如图4所示，该装置400包括：

颜色分割模块401，用于对3d摄像头采集到的具有深度信息的彩色图像进行颜色分割，以获得具有红、绿和黄三种颜色特性的颜色分割图像；

目标深度图像提取模块402，用于从3d摄像头采集到的具有深度信息的彩色图像中提取出满足预设深度阈值范围的目标深度图像；

目标区域提取模块403，用于对比所述颜色分割图像和所述目标深度图像，以从所述目标深度图像中提取具有红、绿或黄三种颜色特性的目标区域；

定位模块404，用于根据所述目标区域的面积大小特性、矩形度以及长宽比，从所述目标区域中定位出交通灯背景框。