信号灯的识别方法、装置和系统与流程

本发明涉及自动驾驶领域，特别是涉及一种信号灯的识别方法、装置和系统。

背景技术：

adas(advanceddriverassistantsystem，先进驾驶辅助系统)一般是由多个独立的子系统相互配合，每个子系统通过各自的传感器实现各自的目的和功能。正因如此，adas中包含的传感器，如雷达、相机、超声波和高精电子地图等，相互独立的设计使得这些传感器只能发挥各自特定的功能，而无法互补结合，发挥更大的作用，这也导致了相关的adas产品的成本通常较为昂贵

技术实现要素：

基于此，有必要提供一种信号灯的识别方法、装置和系统，整合传感器的功能，降低相关adas产品的成本。

一种信号灯的识别方法，所述方法包括：

获取行驶过程中距离所述车辆最近的预先存储的信号灯的位置信息；

获取预先计算的所述车辆与所述信号灯之间的距离；

根据所述距离检测所述位置信息处是否存在所述信号灯；

若存在，则识别所述信号灯的颜色。

进一步的，所述获取行驶过程中距离所述车辆最近的预先存储的信号灯的位置信息，包括：

从预置的数据库中读取预先设置的所述车辆的行驶路线所包含的信号灯的位置信息；

根据所述车辆的位置信息获取距离所述车辆最近的所述信号灯的位置信息。

进一步的，所述获取预先计算的所述车辆与所述信号灯之间的距离，包括：

获取当前所述车辆的位置信息；

根据所述车辆的位置信息和所述信号灯的位置信息计算所述车辆与所述信号灯之间的距离。

进一步的，所述根据所述距离检测所述位置信息处是否存在所述信号灯，包括：

检测所述距离是否在预设的范围内；

若是，则检测相机所拍摄的图像中是否存在有所述信号灯。

进一步的，所述识别所述信号灯的颜色，包括：

获取所述信号灯在所述相机所拍摄的图像中的位置区域；

识别出所述信号灯在所述图像的位置区域中的颜色。

一种信号灯的识别装置，所述装置包括：

获取模块，用于获取行驶过程中距离所述车辆最近的预先存储的信号灯的位置信息；

计算模块，用于获取预先计算的所述车辆与所述信号灯之间的距离；

检测模块，用于根据所述距离检测所述位置信息处是否存在所述信号灯；

判断模块，用于在所述检测模块根据所述距离检测到所述位置信息处存在所述信号灯时，则识别所述信号灯的颜色。

进一步的，所述获取模块包括：

读取模块，用于从预置的数据库中读取预先设置的所述车辆的行驶路线所包含的信号灯的位置信息；

位置获取模块，用于根据所述车辆的位置信息获取距离所述车辆最近的所述信号灯的位置信息。

一种信号灯的识别系统，包括电子地图、相机和车载处理器，还包括预置的数据库，所述数据库存储有信号灯的位置信息；

所述车载处理器用于获取行驶过程中距离所述车辆最近的数据库存储的信号灯的位置信息，并计算车辆与所述信号灯的距离；

所述车载处理器还用于根据所述距离检测所述相机拍摄的图像中是否存在信号灯，并在所述图像中存在信号灯时，识别所述信号灯的颜色。

进一步的，所述车载处理器根据所述距离检测所述相机拍摄的图像中是否存在信号灯，具体为：

检测所述距离是否在预设的范围内；

若是，则接收所拍摄的图像，并检测相机所拍摄的图像中是否存在有所述信号灯。

进一步的，所述车载处理器识别所述信号灯的颜色，具体为：

获取所述信号灯在所述相机所拍摄的图像中的位置区域；

识别出所述信号灯在所述图像的位置区域中的颜色。

以上所述信号灯的识别方法、装置和系统中，通过雷达传感器预先生成并存储信号灯的位置信息，从而在车辆行驶过程中可以预先计算车辆与存储的最近的信号灯的距离，并根据该距离检测该位置信息处是否存在该信号灯，若存在，则识别所述信号灯的颜色；整个过程预先融合了雷达传感器和电子地图生成的数据，数据处理速度更快，提高了结果的可靠性；通过相机只需要检测是否存在信号灯和信号灯的颜色，避免设置更为复杂昂贵的相机，以降低相机的成本。

附图说明

图1为一实施例的信号灯的识别方法的流程图；

图2为一实施例的信号灯的识别装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例可应用于自动驾驶车辆中，如图1所示，一实施例的信号灯的识别方法包括步骤s120至步骤s180。

步骤s120，获取行驶过程中距离车辆最近的预先存储的信号灯的位置信息。

其中，步骤s120包括步骤s121和步骤s122。

步骤s121，从预置的数据库中读取预先设置的车辆的行驶路线所包含的信号灯的位置信息。

本实施例中，预置的数据库为预先生成的数据库。首先，通过安装有高精电子地图、相机和雷达的车辆在道路上采集信号灯的位置信息。其中，雷达可以采集车辆与信号灯之间的距离；通常相机设置于车辆的前方，因此，相机可以拍摄信号灯的图像，且相机拍摄的图像必然是在车辆由远及近靠近信号灯的过程中拍摄的，需要指出的是，相机拍摄的图像数量取决于设置的拍摄频率，在车辆靠近信号灯的过程中，相机会连续拍摄多张图像，并按照时间顺序形成图像序列。车辆向信号灯靠近时，不同的车辆状态下，车辆状态包括车辆与信号灯的距离、车辆的姿态等，相机拍摄的信号灯在图像区域中的位置会有不同。因此，本实施例实时采集到的信号灯的位置信息关联了对应采集时刻的相机拍摄的图像序列。使用离线算法处理采集到的图像序列，从各帧图像中检测信号灯，关联每一帧中的同一个信号灯。换言之，以上数据是通过采集车预先采集原始数据，再经由离线算法进行处理获取的。这些数据会被存储至数据库中，包括信号灯的位置信息以及图像序列等。

在车辆行驶过程，数据库存储的数据可以直接使用，在自动驾驶过程中，根据车辆的行驶路线，可以读取行驶路线中数据库已经存储的所有信号灯的位置信息。

步骤s122，根据车辆的位置信息获取距离车辆最近的信号灯的位置信息。

数据库中记载的信号灯可能具有多个，随着车辆的行驶，可以依次获取距离车辆最近的信号灯的位置信息。

步骤s140，获取预先计算的车辆与信号灯之间的距离。

其中，步骤s140包括步骤s141和步骤s142。

步骤s141，获取当前车辆的位置信息；

步骤s142，根据车辆的位置信息和信号灯的位置信息计算车辆与信号灯之间的距离。

本实施例中，计算的是车辆与数据库中存储的信号灯之间的距离。

步骤s160，根据距离检测位置信息处是否存在信号灯。

其中，步骤s160包括步骤s161和步骤s162。

步骤s161，检测距离是否在预设的范围内。

步骤s162，若是，则检测相机所拍摄的图像中是否存在有信号灯。

通常相机的拍摄距离是限的，因此，只有信号灯进入相机的拍摄距离内时相机才可以拍摄到信号灯。因此，本实施例中预设的范围可以是相机拍摄信号灯的有效距离。如果在有效距离内，则可以检测相机拍摄的图像中是否有信号灯。

步骤s180，若存在，则识别信号灯的颜色。

步骤s180包括步骤s181和步骤s182。

步骤s181，获取信号灯在相机所拍摄的图像中的位置区域。

因为数据库中存储有图像序列，图像序列关联有信号灯的位置信息，因此，获取信号灯在相机所拍摄的图像中的位置区域时，可以根据车辆与信号灯之间的距离从图像序列中筛选出对应的图像，并将图像与相机拍摄的图像进行对比，从而判断出信号灯在相机所拍摄的图像中的位置区域。

步骤s182，识别出信号灯在图像的位置区域中的颜色。

人们生活中接收的大量信息中，有几乎70％来自于视觉，而以相机作为机器视觉辅助手段可获得交通环境变量中的大部分信息。通过视觉技术采集的外部信息，分为单目采集和双目视觉或多目视觉采集这两种。单目视觉方法是采用一帧的图片，根据相机内部参数和焦距来估计一幅图像中更深度信息。另一种单目系统的案列有从视频图像序列中采用特整个向量匹配和光流技术估算还原双目中三维参数。其原理为：采用人的双目距离，采用位置固定的两台摄像机同时对同一副画面进行拍摄，通过三角测量原理计算每个像素间的位置偏差，恢复三维世界中的更深度信息，还原后较单目技术更为可靠，但其技术还不够成熟且计算量过大，不适用于实时系统。

hsv颜色模型是以人眼识别为基础，综合视觉特点，用色彩、色饱和度和明度三个分量来区分颜色。hsv色彩空间可以呈现在一个立体圆锥体空间中。用立体的圆锥模型来描述hsv色彩空间比较繁琐，但可以清晰的表达出其三个分量的变化过程。通常所说的色度是色彩和色饱和度两个分量的通称，用来表示区分颜色的种类与色调的参数值大小。由于人类的视觉对于光线强度的感知相较为敏感，为了方便对于色彩和识别的处理，在计算机中与人类的视觉系统想呼应的通常选取hsv色彩空间模型，它较之rgb色彩空间模型更加符合人类对色彩的认知和研究，hsv空间将亮度看成独立的分量，这样使得其在车辆跟踪中不盲目的跟从光照强度的突变。在数字图像处理的应用中和机器视觉中几乎所有算法都能在hsv的锥形空间中找到，并与之相匹配使用，它们可以单独分开处理因为它们也是相互独立的。在rgb空间里，利用计算机仿真从正方体的绝对零点出发沿对角线向最大值方向延伸灰度级逐渐变化，能够形成一个圆锥体的外部特征面。其中，椭圆形的边界、水平方向、垂直方向分别代表：色彩、色饱和度和亮度。在hsv颜色空间模型中，h为围绕v轴旋转，其旋转角取值范围为0～360°，h＝0表示红色，h＝120°表示绿色，h＝240°表示蓝色。s是一个比值，表示当前值与该颜色最大值之间的比率关系，其值域为0～1。s＝0，在计算机中通道数为1，s＝1表达椎体顶部面积。v为明亮的变换，值域为0～1。本实施例通过hsv颜色空间模型对信号灯的颜色进行识别。

以上所述信号灯的识别方法，通过雷达传感器预先生成并存储信号灯的位置信息，从而在车辆行驶过程中可以预先计算车辆与存储的最近的信号灯的距离，并根据该距离检测该位置信息处是否存在该信号灯，若存在，则识别所述信号灯的颜色；整个过程预先融合了雷达传感器和电子地图生成的数据，数据处理速度更快，提高了结果的可靠性；通过相机只需要检测是否存在信号灯和信号灯的颜色，避免设置更为复杂昂贵的相机，以降低相机的成本。

如图2所示，一实施例的信号灯的识别装置包括获取模块120、计算模块140、检测模块160和判断模块180。

获取模块120用于获取行驶过程中距离车辆最近的预先存储的信号灯的位置信息。

其中，获取模块120包括读取模块和位置获取模块。

读取模块用于从预置的数据库中读取预先设置的车辆的行驶路线所包含的信号灯的位置信息。

本实施例中，预置的数据库为预先生成的数据库。首先，通过安装有高精电子地图、相机和雷达的车辆在道路上采集信号灯的位置信息。其中，雷达可以采集车辆与信号灯之间的距离；通常相机设置于车辆的前方，因此，相机可以拍摄信号灯的图像，且相机拍摄的图像必然是在车辆由远及近靠近信号灯的过程中拍摄的，需要指出的是，相机拍摄的图像数量取决于设置的拍摄频率，在车辆靠近信号灯的过程中，相机会连续拍摄多张图像，并按照时间顺序形成图像序列。车辆向信号灯靠近时，不同的车辆状态下，车辆状态包括车辆与信号灯的距离、车辆的姿态等，相机拍摄的信号灯在图像区域中的位置会有不同。因此，本实施例实时采集到的信号灯的位置信息关联了对应采集时刻的相机拍摄的图像序列。使用离线算法处理采集到的图像序列，从各帧图像中检测信号灯，关联每一帧中的同一个信号灯。换言之，以上数据是通过采集车预先采集原始数据，再经由离线算法进行处理获取的。这些数据会被存储至数据库中，包括信号灯的位置信息以及图像序列等。

在车辆行驶过程，数据库存储的数据可以直接使用，在自动驾驶过程中，根据车辆的行驶路线，可以读取行驶路线中数据库已经存储的所有信号灯的位置信息。

位置获取模块用于根据车辆的位置信息获取距离车辆最近的信号灯的位置信息。

数据库中记载的信号灯可能具有多个，随着车辆的行驶，可以依次获取距离车辆最近的信号灯的位置信息。

计算模块140用于获取预先计算的车辆与信号灯之间的距离。

通过雷达和定位装置可以获取当前车辆的位置信息，根据车辆的位置信息和信号灯的位置信息计算车辆与信号灯之间的距离。本实施例中，计算的是车辆与数据库中存储的信号灯之间的距离。

检测模块160用于根据距离检测位置信息处是否存在信号灯。

通常相机的拍摄距离是限的，一般可以达到几百米的距离，因此，只有信号灯进入相机的拍摄距离内时相机才可以拍摄到信号灯。因此，本实施例中预设的范围可以是相机拍摄信号灯的有效距离。如果在有效距离内，则可以检测相机拍摄的图像中是否有信号灯，如果有信号灯，则检测相机所拍摄的图像中是否存在有信号灯。

判断模块180用于在检测模块根据距离检测到位置信息处存在信号灯时，则识别信号灯的颜色。

因为数据库中存储有图像序列，图像序列关联有信号灯的位置信息，因此，获取信号灯在相机所拍摄的图像中的位置区域时，可以根据车辆与信号灯之间的距离从图像序列中筛选出对应的图像，并将图像与相机拍摄的图像进行对比，从而判断出信号灯在相机所拍摄的图像中的位置区域。

人们生活中接收的大量信息中，有几乎70％来自于视觉，而以相机作为机器视觉辅助手段可获得交通环境变量中的大部分信息。通过视觉技术采集的外部信息，分为单目采集和双目视觉或多目视觉采集这两种。单目视觉方法是采用一帧的图片，根据相机内部参数和焦距来估计一幅图像中更深度信息。另一种单目系统的案列有从视频图像序列中采用特整个向量匹配和光流技术估算还原双目中三维参数。其原理为：采用人的双目距离，采用位置固定的两台摄像机同时对同一副画面进行拍摄，通过三角测量原理计算每个像素间的位置偏差，恢复三维世界中的更深度信息，还原后较单目技术更为可靠，但其技术还不够成熟且计算量过大，不适用于实时系统。

hsv颜色模型是以人眼识别为基础，综合视觉特点，用色彩、色饱和度和明度三个分量来区分颜色。hsv色彩空间可以呈现在一个立体圆锥体空间中。用立体的圆锥模型来描述hsv色彩空间比较繁琐，但可以清晰的表达出其三个分量的变化过程。通常所说的色度是色彩和色饱和度两个分量的通称，用来表示区分颜色的种类与色调的参数值大小。由于人类的视觉对于光线强度的感知相较为敏感，为了方便对于色彩和识别的处理，在计算机中与人类的视觉系统想呼应的通常选取hsv色彩空间模型，它较之rgb色彩空间模型更加符合人类对色彩的认知和研究，hsv空间将亮度看成独立的分量，这样使得其在车辆跟踪中不盲目的跟从光照强度的突变。在数字图像处理的应用中和机器视觉中几乎所有算法都能在hsv的锥形空间中找到，并与之相匹配使用，它们可以单独分开处理因为它们也是相互独立的。在rgb空间里，利用计算机仿真从正方体的绝对零点出发沿对角线向最大值方向延伸灰度级逐渐变化，能够形成一个圆锥体的外部特征面。其中，椭圆形的边界、水平方向、垂直方向分别代表：色彩、色饱和度和亮度。在hsv颜色空间模型中，h为围绕v轴旋转，其旋转角取值范围为0～360°，h＝0表示红色，h＝120°表示绿色，h＝240°表示蓝色。s是一个比值，表示当前值与该颜色最大值之间的比率关系，其值域为0～1。s＝0，在计算机中通道数为1，s＝1表达椎体顶部面积。v为明亮的变换，值域为0～1。本实施例通过hsv颜色空间模型对信号灯的颜色进行识别。

以上所述信号灯的识别装置，通过雷达传感器预先生成并存储信号灯的位置信息，从而在车辆行驶过程中可以预先计算车辆与存储的最近的信号灯的距离，并根据该距离检测该位置信息处是否存在该信号灯，若存在，则识别所述信号灯的颜色；整个过程预先融合了雷达传感器和电子地图生成的数据，数据处理速度更快，提高了结果的可靠性；通过相机只需要检测是否存在信号灯和信号灯的颜色，避免设置更为复杂昂贵的相机，以降低相机的成本。

本实施例还提供了一种信号灯的识别系统，包括电子地图、相机和车载处理器，还包括预置的数据库，数据库存储有信号灯的位置信息；

车载处理器用于获取行驶过程中距离车辆最近的数据库存储的信号灯的位置信息，并计算车辆与信号灯的距离；

车载处理器还用于根据距离检测相机拍摄的图像中是否存在信号灯，并在图像中存在信号灯时，识别信号灯的颜色。

以上所述信号灯的识别系统，通过雷达传感器预先生成并存储信号灯的位置信息，从而在车辆行驶过程中可以预先计算车辆与存储的最近的信号灯的距离，并根据该距离检测该位置信息处是否存在该信号灯，若存在，则识别所述信号灯的颜色；整个过程预先融合了雷达传感器和电子地图生成的数据，数据处理速度更快，提高了结果的可靠性；通过相机只需要检测是否存在信号灯和信号灯的颜色，避免设置更为复杂昂贵的相机，以降低相机的成本。

本实施例中，电子地图为高精度地图，可以提供具体的信号灯图片和详细的位置信息。相机可以安装在车辆的前方，相机的数量不局限于一个。车载处理器是车辆的控制中心，用于控制车辆的行驶，尤其是对信号灯的处理，如红灯时停止或绿灯时启动等过程。电子地图可以安装于相机内，与相机作为一体，以快速处理数据。

本实施例的数据库为预先生成的数据库，数据库存储有预先生成的信号灯的位置信息、以及与信号灯关联的图像序列等。具体的，数据库可以由以下方法生成：

首先，通过采集车采集信号灯的位置信息。采集车上安装有电子地图、雷达、相机和图像采集模块，雷达与车载处理器通过usb-can通讯接口模块连接，相机通过图像采集模块连接车载处理器。采集车在行驶过程中，雷达可以探测信号灯的位置信息并发送至车载处理器，同时，相机会拍摄信号灯的图像，图像采集地将相机拍摄的图像传递至车载处理器，车载处理器对图像进行处理。其中，相机的拍摄频率可以相应的进行设置，以符合本实施例所述场景的应用。随着采集车向前行驶靠近信号灯，相机会由远及近拍摄多张信号灯的图像，此时，车载处理器会自动将雷达探测的信号灯的位置信息与相机拍摄的图像进行关联。其中，信号灯的位置信息为采集车与信号灯之间的距离关系。通过以上方法采集的信号灯的位置信息关联了对应采集时刻的相机拍摄的图像。

其次，相机使用离线算法处理采集到的图像序列，从各帧图像中检测信号灯，关联每一帧中的同一个信号灯。具体而言，相机拍摄的多张图像会组成连续的图像序列，从各帧图像中检测信号灯，可以检测出每一帧图像中信号灯在该图像中成像的位置区域，车载处理器会将图像序列与该信号灯建立关联关系，该关联关系包括信号路所关联的图像序列中的图像，以及信号灯在图像序列中依次成像的位置区域。

车载处理器会将信号灯的位置信息、建立的图像序列与对应信号灯关联关系等保存至数据库，从而形成本实施例应用的数据库。

根据该存储了路口各信号灯位置的数据库后，车辆中的交通信号灯识别系统在线运行时，利用这些信息，根据车辆平台此时所在的位置、姿态，即可推算出交通信号灯在相机成像图像中的位置区域，进行检测与识别，其中，本实施例省略对形状的识别，只进行色彩的识别，从而识别信号灯的颜色，如红灯、绿灯或黄灯等。

本实施例中，车载处理器根据距离检测相机拍摄的图像中是否存在信号灯，具体为：

检测距离是否在预设的范围内；

若是，则接收所拍摄的图像，并检测相机所拍摄的图像中是否存在有信号灯。

通常相机的拍摄距离是限的，因此，只有信号灯进入相机的拍摄距离内时相机才可以拍摄到信号灯。因此，本实施例中预设的范围可以是相机拍摄信号灯的有效距离。如果在有效距离内，则可以检测相机拍摄的图像中是否有信号灯。

本实施例中，车载处理器识别信号灯的颜色，具体为：

获取信号灯在相机所拍摄的图像中的位置区域；

识别出信号灯在图像的位置区域中的颜色。

因为数据库中存储有图像序列，图像序列关联有信号灯的位置信息，因此，获取信号灯在相机所拍摄的图像中的位置区域时，可以根据车辆与信号灯之间的距离从图像序列中筛选出对应的图像，并将图像与相机拍摄的图像进行对比，从而判断出信号灯在相机所拍摄的图像中的位置区域。在识别信号灯的颜色时，优选的，车载处理器可以通过hsv颜色空间模型对信号灯的颜色进行识别。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。