建立交通标志数据库的方法和装置与流程

本公开涉及交通测量技术领域，尤其涉及一种建立交通标志数据库的方法和装置。

背景技术：

车辆要实现自动驾驶功能，需要能够准确识别路上的各种交通标志，因此需要预先建立一个交通标志数据库。现有技术中，建立交通标志数据库的方法为，先利用摄像机拍摄图像，再对拍摄的图像进行人工抠图，获得拍摄的图像中的交通标志的图像，并存入数据库。由于摄像机是按帧拍摄的图像，因此数据量非常庞大，采用人工抠图的方式由于工作量庞大，所以速度慢且容易出错。

技术实现要素：

本公开提供一种建立交通标志数据库的方法和装置，用以解决现有技术的速度慢、易出错的问题。

为了实现上述目的，根据本公开实施例的第一方面，提供一种建立交通标志数据库的方法，所述方法包括：

获取摄像设备采集的每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息，所述距离信息用于表示所述每一帧图像中的交通标志与所述摄像设备的距离；

根据所述每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定所述每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取所述每一帧图像中的交通标志图像；

根据所述每一帧图像中的交通标志图像和所述每一帧图像中的交通标志的距离信息生成交通标志数据库。

可选的，所述根据所述每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定所述每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取所述每一帧图像中的交通标志图像，包括：

根据所述每一帧图像中的交通标志的位置信息、所述交通标志大小、以及所述距离信息确定所述每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取所述每一帧图像中的交通标志粗匹配图像；

对所述每一帧图像中的交通标志粗匹配图像进行预设的图像处理，得到所述每一帧图像中的交通标志精匹配图像；

将所述每一帧图像中的交通标志精匹配图像作为所述每一帧图像中的交通标志图像。

可选的，所述方法还包括：

在采集图像之前获取所述摄像设备的位置信息和待拍摄的交通标志的位置信息；

根据所述摄像设备的位置信息和所述待拍摄的交通标志的位置信息确定所述摄像设备与所述待拍摄的交通标志之间的距离；

当所述距离小于第一设定值时，开始通过所述摄像设备采集拍摄范围内的图像；当所述距离小于第二设定值时，停止拍摄。

可选的，所述每一帧图像中的交通标志的位置信息包括所述每一帧图像中的交通标志的地理位置信息和高度信息，所述根据所述每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定所述每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取所述每一帧图像中的交通标志粗匹配图像，包括：

根据所述每一帧图像的地理位置信息、高度信息、交通标志大小以及距离信息进行坐标系变换，确定所述每一帧图像中的交通标志在所述每一帧图像中的粗匹配位置；

对所述每一帧图像中的粗匹配位置进行抠图处理，得到所述每一帧图像中的交通标志粗匹配图像；

所述对所述每一帧图像中的交通标志粗匹配图像进行预设的图像处理，得到所述每一帧图像中的交通标志精匹配图像，包括：

对所述每一帧图像中的交通标志粗匹配图像进行RGB归一化处理；对所述每一帧图像的进行RGB归一化处理后的所述交通标志粗匹配图像进行颜色阈值分割以确定所述每一帧图像中的交通标志粗匹配图像中的交通标志所在的精匹配位置；

对所述每一帧图像中的所述精匹配位置进行抠图处理，得到所述每一帧图像中的交通标志精匹配图像。

可选的，所述根据所述每一帧图像中的交通标志图像和所述每一帧图像中的交通标志的距离信息生成交通标志数据库，包括：

根据所述每一帧图像中的交通标志的距离信息对所述每一帧图像中的交通标志图像进行分组，得到至少一个交通标志图像分组；

对每个交通标志图像分组进行标注，所述每个交通标志图像分组的标注用于指示所述每个交通标志图像分组中的交通标志图像所属的分类。

根据本公开实施例的第二方面，提供一种建立交通标志数据库的装置，所述装置包括：导航模块、图像处理模块、图像存储模块；

所述导航模块，用于获取摄像设备采集的每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息，所述距离信息用于表示所述每一帧图像中的交通标志与所述摄像设备的距离；

所述图像处理模块，用于根据所述每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定所述每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取所述每一帧图像中的交通标志图像；

所述图像存储模块，用于根据所述每一帧图像中的交通标志图像和所述每一帧图像中的交通标志的距离信息生成交通标志数据库。

可选的，所述图像处理模块用于：

根据所述每一帧图像中的交通标志的位置信息、所述交通标志大小、以及所述距离信息确定所述每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取所述每一帧图像中的交通标志粗匹配图像；

对所述每一帧图像中的交通标志粗匹配图像进行预设的图像处理，得到所述每一帧图像中的交通标志精匹配图像；

将所述每一帧图像中的交通标志精匹配图像作为所述每一帧图像中的交通标志图像。

可选的，所述装置还包括：距离获取模块和图像采集模块；

所述导航模块，还用于在采集图像之前获取所述摄像设备的位置信息和待拍摄的交通标志的位置信息；

所述距离获取模块，用于根据所述摄像设备的位置信息和所述待拍摄的交通标志的位置信息确定所述摄像设备与所述待拍摄的交通标志之间的距离；

所述图像采集模块，用于当所述距离小于第一设定值时，开始通过所述摄像设备采集拍摄范围内的图像；当所述距离小于第二设定值时，停止拍摄。

可选的，所述每一帧图像中的交通标志的位置信息包括所述每一帧图像中的交通标志的地理位置信息和高度信息，所述图像处理模块包括：粗匹配模块和精匹配模块；

所述粗匹配模块用于，根据所述每一帧图像的地理位置信息、高度信息、交通标志大小以及距离信息进行坐标系变换，确定所述每一帧图像中的交通标志在所述每一帧图像中的粗匹配位置；对所述每一帧图像中的粗匹配位置进行抠图处理，得到所述每一帧图像中的交通标志粗匹配图像；

所述精匹配模块用于，对所述每一帧图像中的交通标志粗匹配图像进行RGB归一化处理；对所述每一帧图像的进行RGB归一化处理后的所述交通标志粗匹配图像进行颜色阈值分割以确定所述每一帧图像中的交通标志粗匹配图像中的交通标志所在的精匹配位置；对所述每一帧图像中的所述精匹配位置进行抠图处理，得到所述每一帧图像中的交通标志精匹配图像。

可选的，所述图像存储模块用于：

根据所述每一帧图像中的交通标志的距离信息对所述每一帧图像中的交通标志图像进行分组，得到至少一个交通标志图像分组；

对每个交通标志图像分组进行标注，所述每个交通标志图像分组的标注用于指示所述每个交通标志图像分组中的交通标志图像所属的分类。

通过上述技术方案，结合了交通标志的位置信息、交通标志大小以及距离信息，实现了交通标志的自动化抠图，相比传统方法中采用人工抠图的方式，能够提高从图像中获取交通标志的速度，并且能够降低出错的概率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明，应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开一实施例提供的一种建立交通标志数据库的方法的流程图；

图2是本公开一实施例提供的另一种建立交通标志数据库的方法的流程图；

图3是本公开一实施例提供的又一种建立交通标志数据库的方法的流程图；

图4是本公开一实施例提供的再一种建立交通标志数据库的方法的流程图；

图5是本公开一实施例提供的一种建立交通标志数据库的装置的框图；

图6是本公开一实施例提供的另一种建立交通标志数据库的装置的框图；

图7是本公开一实施例提供的一种图像处理模块的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在对本公开提供的建立交通标志数据库的方法和装置说明前，首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景可以为安装了摄像设备的车辆，用于拍摄在行驶的过程中遇到的交通标志。其中车辆可以是任意一种配有导航模块的车辆，例如汽车、其他类型的机动车或非机动车，摄像设备可以是摄像机、高速相机、行车记录仪等设备，在本公开各个实施例中，以车辆为汽车、摄像设备为摄像机为例进行说明。

图1是根据一示例性实施例示出的一种建立交通标志数据库的方法的流程图，如图1所示，该方法包括：

步骤101，获取摄像设备采集的每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息，该距离信息用于表示每一帧图像中的交通标志与摄像设备的距离。

其中，交通标志的位置信息可以包括交通标志的地理位置信息（例如经纬度坐标）和高度信息，该地理位置信息、高度信息以及交通标志大小都可以从车载的导航模块中所提供的高精度地图中获取，交通标志的距离信息可以根据该导航模块获取的车辆位置信息和该交通标志的信息确定，还可以利用激光设备、红外设备或雷达来测量得到，或者该摄像设备可以是具有测距功能的摄像设备，可以直接测得拍摄对象的距离。车载的导航模块所支持的导航系统可以是全球定位系统（英文：Global Position System，缩写：GPS）、全球卫星导航系统（英文：Global Navigation Satellite System，缩写：GLONASS）、伽利略卫星导航系统（英文：Galileo Satellite Navigation System，简称：GSNS）或北斗卫星导航系统（英文：BeiDou Navigation Satellite System，简称BDS）中的一种或者几种。

步骤102，根据每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定每一帧图像中的交通标志在每一帧图像中的位置，并根据该位置获取每一帧图像中的交通标志图像。

示例的，对于任一帧图像，根据导航模块提供的交通标志的地理位置信息和高度信息，就能够确定该交通标志的在地理上的三维坐标，结合该交通标志与摄像设备之间的距离信息以及交通标志大小，经过坐标变换，就可以确定该帧图像中的交通标志在该帧图像中的位置，确定了交通标志在该帧图像中的位置就可以得到交通标志图像。

可选的，为了使得到的交通标志图像更加精确，可以将从该位置获取的图像看作是该交通标志的粗匹配图像，并对该粗匹配图像进行进一步的图像处理，可以得到交通标志精匹配图像，并将其作为该帧图像的交通标志图像。同理，通过上述的方法可以获取每一帧图像中的交通标志图像。

步骤103，根据每一帧图像中的交通标志图像和每一帧图像中的交通标志的距离信息生成交通标志数据库。

示例的，通过上述方法获取的每一帧图像中的交通标志图像可以存储在存储模块中，其中在存储每一帧图像中的交通标志图像时，可以将每一帧图像中的交通标志的距离信息一起进行存储，这样存储的交通标志图像是带有距离信息的交通标志图像。其中，存储模块可以包括在车辆的车载工控机中，每一帧图像中的交通标志图像和每一帧图像中的交通标志的距离信息可以通过有线传输或者无线传输的方式传输到存储模块中进行存储，例如，可以利用以太网交换机通过以太网进行传输，也可以经过车辆总线，例如CAN总线传输到车载工控机上进行存储。

图2是根据一示例性实施例示出的另一种建立交通标志数据库的方法的流程图，如图2所示，步骤102中所述的根据每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定每一帧图像中的交通标志在每一帧图像中的位置，并根据该位置获取每一帧图像中的交通标志图像的步骤包括：

步骤1021，根据每一帧图像中的交通标志的位置信息、交通标志大小、以及距离信息确定每一帧图像中的交通标志在所述每一帧图像中的位置，并根据所述位置获取每一帧图像中的交通标志粗匹配图像。

首先，可以根据所述每一帧图像的地理位置信息、高度信息、交通标志大小以及距离信息进行坐标系变换，确定所述每一帧图像中的交通标志在所述每一帧图像中的粗匹配位置；

其次，可以对所述每一帧图像中的粗匹配位置进行抠图处理，得到所述每一帧图像中的交通标志粗匹配图像。

步骤1022，对每一帧图像中的交通标志粗匹配图像进行预设的图像处理，得到所述每一帧图像中的交通标志精匹配图像。

首先，可以对每一帧图像中的交通标志粗匹配图像进行RGB归一化处理；在进行RGB归一化处理后，通过对交通标志粗匹配图像进行颜色阈值分割确定交通标志粗匹配图像中的交通标志所在的精匹配位置。

其次，对精匹配位置进行抠图处理，得到每一帧图像中的交通标志精匹配图像。

步骤1023，将每一帧图像中的交通标志精匹配图像作为每一帧图像中的交通标志图像。

示例的，对于任一帧图像，根据导航模块提供的交通标志的地理位置信息和高度信息，能够确定该交通标志的在地理上的三维坐标，该导航模块还可以提供摄像设备的地理位置信息和高度信息，从而也能够确定摄像设备在地理上的三维坐标，再结合交通标志与摄像设备之间的距离信息以及交通标志大小，经过坐标变换，可以确定该帧图像中的交通标志在该帧图像中的位置（该位置可以理解为图像中交通标志所覆盖的区域），该位置可以理解为交通标志在该帧图像中的粗匹配位置，然后对该位置的图像进行放大、抠图，即可获得该交通标志的粗匹配图像。之后，可以对该粗匹配图像进行RGB归一化处理，去除光照和阴影对图像造成的干扰。再对处理后的图像经过颜色阈值分割（可以根据该交通标志的类型选取对应的标志颜色），找到该交通标志对应的最小外接矩形，根据该最小外接矩形就可以得到交通标志粗匹配图像中的该交通标志所在的精匹配位置，然后对精匹配位置进行抠图处理，就可以得到该帧图像的交通标志精匹配图像，并将其作为该帧图像的交通标志图像。同理，通过上述的方法可以获取每一帧图像中的交通标志图像。

另外，交通标志的地理三维坐标可以理解为该交通标志在地理三维坐标系中的坐标，交通标志在其所属图像中的位置可以理解为该交通标志在该图像的图像坐标系中的坐标，相应的，该交通标志与摄像设备的距离就可以看作是两个坐标系的原点之间的距离，因此根据地理三维坐标系与图像坐标系的关系，利用该交通标志的地理三维坐标、该交通标志的距离信息以及这两个坐标系的关系进行坐标变换就可以得出交通标志在其所属图像中的位置。

图3是根据一示例性实施例示出的又一种建立交通标志数据库的方法的流程图，如图3所示，该方法还包括：

步骤104，在采集图像之前获取摄像设备的位置信息和待拍摄的交通标志的位置信息。

其中，摄像机的位置信息可以根据车载导航系统定位得到，待拍摄的交通标志的位置信息可以由车载导航系统的高精度地图中获取。

步骤105，根据摄像设备的位置信息和待拍摄的交通标志的位置信息确定摄像设备与待拍摄的交通标志之间的距离。

示例的，摄像机与待拍摄的交通标志之间的距离，可以通过导航模块提供的摄像机的地理位置信息和交通标志的地理位置信息确定，还可以利用激光设备、红外设备或雷达来测量得到。

步骤106，当距离小于第一设定值时，开始通过摄像设备采集拍摄范围内的图像；当距离小于第二设定值时，停止拍摄。

示例的，为了使摄像设备拍摄到的图像清晰有效，应当避免在距离交通标志过远或者过近的情况下进行拍摄，因此，当距离小于第一设定值时，摄像设备进入能够清晰拍摄交通标志的范围，摄像设备可以开始进行拍摄；当距离小于第二设定值时，摄像设备进入不在有效拍摄交通标志的范围内，因此该摄像设备停止拍摄。其中，该第一设定值可以为100米，第二设定值可以为2米。另外，值得一提的是，摄像设备每次开始拍摄值关闭拍摄期间拍摄的所有图像可以存储在同一个目录下。

图4是本公开一实施例提供的再一种建立交通标志数据库的方法的流程图，如图4所示，步骤103中所述的根据每一帧图像中的交通标志图像和每一帧图像中的交通标志的距离信息生成交通标志数据库的步骤包括：

步骤1031，根据每一帧图像中的交通标志的距离信息对每一帧图像中的交通标志图像进行分组，得到至少一个交通标志图像分组。

示例的，摄像设备采集到的是一段时间内的图像序列，包含多个帧的图像，其中每一帧图像中的交通标志图像都对应一个距离信息（该距离信息的获取可以参见步骤101，距离信息的存储可以参见步骤103），在该段时间内，会拍摄到多个交通标志，并且由于摄像设备在拍摄时，在单位时间内会拍摄多帧图像，例如每秒24帧，因此每个交通标志可能拍摄有多帧图像，所以可以将摄像设备采集到的图像序列中的每帧图像按照不同交通标志进行分组，该分组可以以距离信息的局部梯度为依据。示例的，该段时间内，拍摄到了两个交通标志，第一个交通标志对应N帧（第1到N帧）图像，第二个交通标志对应M帧（第N+1到第N+M帧）图像，即图像序列中包含了N+M帧图像，其中N、M为正整数。假设当第N帧图像和第N+1帧图像之间的局部梯度最大时，可以将图像序列从第N帧和第N+1帧处进行分组，前N帧图像为一组，第N+1到第N+M帧图像为一组。若图像序列中只包含一个交通标志对应采集的图像帧，那么分组只有一个。

步骤1032，对每个交通标志图像分组进行标注，每个交通标志图像分组的标注用于指示每个交通标志图像分组中的交通标志图像所属的分类。

示例的，可以以官方发布的交通标志图样为依据，对比每个交通标志图像分组中任意一帧图像中的交通标志图像，即可完成标注，根据标注后的交通标志图像就可以得到带有距离信息的交通标志数据库。由于每个交通标志图像分组只需要标注一次，大大减少了标注的工作量，也减少了出错的概率。

综上所述，本公开结合了交通标志的位置信息、交通标志大小以及距离信息，实现了交通标志的自动化抠图，相比传统方法中采用人工抠图的方式，能够提高从图像中获取交通标志的速度，并且能够降低出错的概率。

图5是本公开一实施例提供的一种建立交通标志数据库的装置的框图，如图5所示，该装置包括导航模块501、图像处理模块502、图像存储模块503。

导航模块501，用于获取摄像设备采集的每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息，距离信息用于表示每一帧图像中的交通标志与摄像设备的距离。

图像处理模块502，用于根据每一帧图像中的交通标志的位置信息、交通标志大小以及距离信息确定每一帧图像中的交通标志在每一帧图像中的位置，并根据所述位置获取每一帧图像中的交通标志图像。

图像存储模块503，用于根据每一帧图像中的交通标志图像和每一帧图像中的交通标志的距离信息生成交通标志数据库。

可选的，图像处理模块502用于：

根据每一帧图像中的交通标志的位置信息、交通标志大小、以及距离信息确定每一帧图像中的交通标志在每一帧图像中的位置，并根据所述位置获取每一帧图像中的交通标志粗匹配图像。

对每一帧图像中的交通标志粗匹配图像进行预设的图像处理，得到每一帧图像中的交通标志精匹配图像。

将每一帧图像中的交通标志精匹配图像作为每一帧图像中的交通标志图像。

图6是本公开一实施例提供的另一种建立交通标志数据库的装置的框图，如图6所示，该装置还包括距离获取模块504和图像采集模块505。

该导航模块501，还用于在采集图像之前获取摄像设备的位置信息和待拍摄的交通标志的位置信息。

距离获取模块504，用于根据摄像设备的位置信息和待拍摄的交通标志的位置信息确定摄像设备与待拍摄的交通标志之间的距离。

图像采集模块505，用于当距离小于第一设定值时，开始通过摄像设备采集拍摄范围内的图像；当距离小于第二设定值时，停止拍摄。

可选的，每一帧图像中的交通标志的位置信息包括每一帧图像中的交通标志的地理位置信息和高度信息，图7是本公开一实施例提供的一种图像处理模块的框图，如图7所示，图像处理模块502包括：粗匹配模块5021和精匹配模块5022。

粗匹配模块5021用于，根据每一帧图像的地理位置信息、高度信息、交通标志大小以及距离信息进行坐标系变换，确定每一帧图像中的交通标志在每一帧图像中的粗匹配位置；对每一帧图像中的粗匹配位置进行抠图处理，得到每一帧图像中的交通标志粗匹配图像。

精匹配模块5022用于，对每一帧图像中的交通标志粗匹配图像进行RGB归一化处理；对每一帧图像的进行RGB归一化处理后的交通标志粗匹配图像进行颜色阈值分割以确定每一帧图像中的交通标志粗匹配图像中的交通标志所在的精匹配位置；对每一帧图像中的精匹配位置进行抠图处理，得到每一帧图像中的交通标志精匹配图像。

可选的，图像存储模块503用于：

根据每一帧图像中的交通标志的距离信息对每一帧图像中的交通标志图像进行分组，得到至少一个交通标志图像分组。

对每个交通标志图像分组进行标注，每个交通标志图像分组的标注用于指示每个交通标志图像分组中的交通标志图像所属的分类。

其中，上述各个模块所实现功能的具体说明已经在上述方法实施例中进行了详细描述，此处不再赘述。

综上所述，本公开结合了交通标志的位置信息、交通标志大小以及距离信息，实现了交通标志的自动化抠图，相比传统方法中采用人工抠图的方式，能够提高从图像中获取交通标志的速度，并且能够降低出错的概率。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，本领域技术人员在考虑说明书及实践本公开后，容易想到本公开的其它实施方案，均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。同时本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。本公开并不局限于上面已经描述出的精确结构，本公开的范围仅由所附的权利要求来限制。