基于heatmap提取关键点的交通信号灯的识别方法、装置、介质与流程

本发明属于图像识别领域，具体涉及基于heatmap提取关键点的交通信号灯的识别方法。

背景技术：

如何正确地识别交通信号灯是高级辅助驾驶领域、无人驾驶领域和智能交通领域中至关重要的一环。在实际的城市驾驶环境下，光线强弱的变化、车辆行人的运动模糊等效应都会给信号灯检测带来新的问题。而传统数字图像处理技术对于红绿灯检测主要采用边缘分割、直方图变换等方式，可能在某种实际驾驶环境良好的情况下可以有着不错的表现，但是一旦在光照环境复杂、强光或逆光等情况下，传统数字图像处理技术的识别准确率就很低了，不具备泛化能力。

随着人工智能的快速发展，深度学习技术广泛应用于计算机视觉的诸多方面，在图片分类、目标定位、图像分割、图像增强等领域发展迅速。基于深度学习的目标检测算法，主要分为两阶段网络算法和单阶段网络算法。两阶段网络首先从一张图像中生成稀疏的候选区域，并对候选区域进行二分类和初步定位，再将稀疏的候选区域送入分类和回归网络中进一步分类和定位得到最后的检测结果。单阶段网络不生成候选区域，直接对图片上固定位置的锚点框(anchor)进行分类和定位。

但是现有的深度网络无法很好地完成交通信号灯的提取工作。以yolo3为例，yolo3目标识别网络是一个经典的单阶段网络，通常情况下，该网络需要对输入的训练图片下采样32倍，因为交通信号灯通常具有比较小的尺寸，这样做的直接结果就是可能丢失了小目标，在预测锚框时出错。

因此，如何将人工智能技术应用于图像中交通信号灯的准确提取，是目前亟待解决的技术问题。

技术实现要素：

本发明的目的在于解决现有技术中存在的问题，并提供一种基于heatmap提取关键点的交通信号灯的识别方法。本发明提出的基于heatmap提取关键点的交通信号灯的识别方法属于anchor-free(无锚框)类型的目标检测算法，同时还具备对小目标检测(尤其是交通信号灯)有着很高的识别准确率和很快的识别速度。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种基于heatmap提取关键点的交通信号灯的识别方法，其步骤如下：

s1、获取由包含红绿灯的图片样本组成的图像数据集，每一张图片样本均具有标注，所述标注包括红绿灯的外包矩形框以及红绿灯指示方向类别；

s2、以resnet50网络作为骨架网络构建交通信号灯识别模型，resnet50网络的输出的第一特征图经过连续三层反卷积后输出第二特征图，第二特征图分别输入第一输出网络、第二输出网络和第三输出网络中；所述第一输出网络将第二特征图连续通过两个卷积层后得到heatmap，heatmap由所有红绿灯指示方向类别各自的热图组成；所述第二输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框中心点的偏移量；所述第三输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框的高度和宽度；

s3：利用所述图像数据集，通过最小化总损失函数对所述交通信号灯识别模型进行训练；单个图片样本的总损失函数ldet为：

ldet＝lk+αoffloff+αsizelsize

其中：αoff和αsize为权重系数；

lk为外包矩形框中心点的损失，且：

ln为外包矩形框n的损失：

式中：n表示图片样本中红绿灯的外包矩形框n的个数，为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的预测值，yn为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的实际值，和yn取值范围均为[0，1]，值代表该点属于红绿灯外包矩形框中心点的概率，0表示该点不是中心点，1表示该点是中心点；α、β是超参数；

loff为外包矩形框中心点偏移量损失，且：

式中：为所述第二输出网络输出的红绿灯外包矩形框n的中心点偏移量估计值，为红绿灯外包矩形框n的中心点偏移量实际值；表示向量空间，w和h分别为每一张图片样本的宽度和高度，r表示第二特征图相对于图片样本的下采样倍数；

lsize为外包矩形框大小损失，且：

式中：是红绿灯外包矩形框n经过r倍下采样后的高度和宽度估计值，sn是红绿灯外包矩形框n的经过r倍下采样后的高度和宽度实际值；

s4、将含有交通信号灯的待识别图片输入所述交通信号灯识别模型中，由所述第一输出网络输出不同红绿灯指示方向类别的红绿灯外包矩形框中心点，由所述第二输出网络输出每个红绿灯外包矩形框中心点的偏移量，由所述第三输出网络输出每个红绿灯外包矩形框的高度和宽度；在heatmap中，根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框，并将标定框重新映射至待识别图片中。

作为优选，所述s1中，图片样本为汽车行驶过程中由行车记录仪拍摄到的包含红绿灯的图片或者由路口监控摄像头拍摄到的包含红绿灯的图片。

作为优选，所述s1中，每个图片样本的标注内容为(c，x1，y1，x2，y2)，c表示红绿灯指示方向类别，(x1，y1)和(x2，y2)分别表示红绿灯外包矩形框的左上角坐标和右下角坐标。

作为优选，所述s2中，交通信号灯识别模型内各网络层的参数如下：

所述resnet_50网络的输入图片大小为512*512*3，输出的第一特征图大小为16*16*2048；

所述第一特征图经过连续三层反卷积后输出的第二特征图大小为128*128*64；

所述第一输出网络输出的heatmap大小为128*128*c；c表示红绿灯指示方向类别标签个数；最大池化层的窗口大小为3×3；

所述第二输出网络输出的每个红绿灯外包矩形框中心点的偏移量特征大小为128*128*2；

所述第三输出网络输出的每个红绿灯外包矩形框的高度和宽度特征大小为128*128*2。

作为优选，所述s3中，红绿灯外包矩形框n的中心点偏移量实际值计算公司为：

其中：表示图片样本中红绿灯外包矩形框n的中心点p经过r倍下采样后的浮点型坐标，中心点表示红绿灯外包矩形框的中心点p经过r倍下采样后的整型坐标。

作为优选，所述s4中，heatmap中红绿灯外包矩形框的标定框为：

其中：(x1，y1)、(x2，y2)分别表示标定框的左上角和右下角坐标，是由所述第一输出网络输出heatmap中一个红绿灯外包矩形框的中心点x坐标，是由所述第二输出网络输出的红绿灯外包矩形框中心点x的偏移量，是由所述第三输出网络输出的红绿灯外包矩形框x的高度和宽度。

作为优选，所述权重系数αoff和αsize分别设置为1和0.1。

作为优选，所述超参数α、β分别设置为2和4。

第二方面，本发明提供了一种基于heatmap提取关键点的交通信号灯的识别装置，其包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如第一方面中任一项所述的基于heatmap提取关键点的交通信号灯的识别方法。

第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面中任一项所述的基于heatmap提取关键点的交通信号灯的识别方法。

本发明相对于现有技术而言，具有以下有益效果：

本发明提出的基于heatmap提取关键点的交通信号灯的识别方法，会对输入图片经过特征提取之后进行反卷积来增加分辨率得到下采样的heatmap，使得网络的感受野变得更加精确,即使是小目标也更为敏感。其次，分配的锚点仅仅是放在位置上，没有尺寸框，不需要手动设置阈值区分前后景。最后从heatmap中提取目标，不需要像yolo3在预测时使用非极大值抑制算法(nms)，进一步减少了计算量，从而提升了预测速度。在同一验证集上的预测结果表明，就准确率而言，yolo3准确率为87.67％，本发明为95.48％。

附图说明

图1为本发明识别方法的流程图；

图2为收集到的交通信号灯图片；

图3为使用标注工具标注完成的图片；

图4为训练流程图；

图5为将标注的目标框以高斯核的方式将关键点分布到特征图上的结果图；

图6为雨天环境下的预测结果图；

图7为夜晚曝光环境下的预测结果图；

图8为白天良好环境下的预测结果图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1所示，在本发明的一个较佳实施例中，提供了一种基于heatmap提取关键点的交通信号灯的识别方法，其步骤如下：

s1、获取由包含红绿灯的图片样本组成的图像数据集，每一张图片样本均具有标注，所述标注包括红绿灯的外包矩形框以及红绿灯指示方向类别。

其中，图片样本可以是汽车行驶过程中由行车记录仪拍摄到的包含红绿灯的图片或者由路口监控摄像头拍摄到的包含红绿灯的图片。每个图片样本的标注内容为(c，x1，y1，x2，y2)，c表示红绿灯指示方向类别，(x1，y1)和(x2，y2)分别表示红绿灯外包矩形框的左上角坐标和右下角坐标。

s2、以resnet_50网络作为骨架网络构建交通信号灯识别模型，resnet_50网络的输出的第一特征图经过连续三层反卷积后输出第二特征图，第二特征图分别输入第一输出网络、第二输出网络和第三输出网络中；所述第一输出网络将第二特征图连续通过两个卷积层后得到heatmap，所述heatmap由所有红绿灯指示方向类别各自的热图组成，提取heatmap中每一个红绿灯指示方向类别的热图，判断热图中每一个位置的值是否不小于周围的八个近邻位置，若满足则将其作为一个热点；针对每一个红绿灯指示方向类别的热图中的热点，通过设置阈值筛除热点位置的值小于阈值的热点，剩余的热点作为该红绿灯指示方向类别的热图中的红绿灯外包矩形框中心点进行输出；所述第二输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框中心点的偏移量；所述第三输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框的高度和宽度。

在本实施例中，交通信号灯识别模型内各网络层的参数如下：

所述resnet_50网络的输入图片大小为512*512*3，输出的第一特征图大小为16*16*2048；

所述第一特征图经过连续三层反卷积后输出的第二特征图大小为128*128*64；

所述第一输出网络输出的heatmap大小为128*128*c；c表示红绿灯指示方向类别标签个数；最大池化层的窗口大小为3×3；

所述第二输出网络输出的每个红绿灯外包矩形框中心点的偏移量特征大小为128*128*2；

所述第三输出网络输出的每个红绿灯外包矩形框的高度和宽度特征大小为128*128*2。

s3：利用所述图像数据集，通过最小化总损失函数对所述交通信号灯识别模型进行训练；单个图片样本的总损失函数ldet为：

ldet＝lk+αoffloff+αsizelsize

其中：αoff和αsize为权重系数；

lk为外包矩形框中心点的损失，且：

ln为外包矩形框n的损失：

式中：n表示图片样本中红绿灯的外包矩形框n的个数，为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的预测值，yn为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的实际值，和yn取值范围均为[0，1]，值代表该点属于红绿灯外包矩形框中心点的概率，0表示该点不是中心点，1表示该点是中心点，和yn取值越接近于1表明预测的中心点位置越接近实际中心点；α、β是超参数；

loff为外包矩形框中心点偏移量损失，且：

式中：为所述第二输出网络输出的红绿灯外包矩形框n的中心点偏移量估计值，为红绿灯外包矩形框n的中心点偏移量实际值；表示向量空间，w和h分别为每一张图片样本的宽度和高度，r表示第二特征图相对于图片样本的下采样倍数；

lsize为外包矩形框大小损失，且：

式中：是红绿灯外包矩形框n经过r倍下采样后的高度和宽度估计值，sn是红绿灯外包矩形框n的经过r倍下采样后的高度和宽度实际值。

在上述损失函数计算时，红绿灯外包矩形框n的中心点偏移量实际值可以由图片样本的标注值计算得到，计算公式为：

其中：表示图片样本中红绿灯外包矩形框n的中心点p经过r倍下采样后的浮点型坐标，中心点表示红绿灯外包矩形框的中心点p经过r倍下采样后的整型坐标，表示向下取整。

s4、将含有交通信号灯的待识别图片输入所述交通信号灯识别模型中，由所述第一输出网络输出不同红绿灯指示方向类别的红绿灯外包矩形框中心点，由所述第二输出网络输出每个红绿灯外包矩形框中心点的偏移量，由所述第三输出网络输出每个红绿灯外包矩形框的高度和宽度；在heatmap中，根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框，并将标定框重新映射至待识别图片中。

其中，heatmap中根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框的计算公式为：

其中：(x1，y1)、(x2，y2)分别表示标定框的左上角和右下角坐标，是由所述第一输出网络输出heatmap中一个红绿灯外包矩形框的中心点x坐标，是由所述第二输出网络输出的红绿灯外包矩形框中心点x的偏移量，是由所述第三输出网络输出的红绿灯外包矩形框x的高度和宽度。

下面将上述方法应用于一个具体实施例中，以展示其具体实现过程和技术效果。

实施例

在本实施例中，基于heatmap提取关键点的交通信号灯的识别方法的基本流程是先构建网络模型并训练得到一个损失较低的网络模型，然后使用该网络模型进行预测。其具体步骤如下：

1、数据收集

收集2万张路口监控摄像头拍摄的包含红绿灯的图片样本，其中的一个图片样本参见图2所示，图中的红绿灯较小，普通的深度网络无法直接准确识别。

2、样本标注

使用labelme开源软件进行图片样本的标注。以方框形式标记出图片中红绿灯部分并按照颜色和指示方向对图片进行分类标注为红灯前进、红灯左转、红灯右转、圆形红灯、绿灯前进、绿灯左转、绿灯右转、圆形绿灯、黄灯前进、黄灯左转、黄灯右转、圆形黄灯，一共12类，标注会生成json格式的标注文件，标注的内容一般包含(c,x1,y1,x2,y2)，c表示红绿灯指示方向类别，(x1,y1)和(x2,y2)分别表示红绿灯外包矩形框(以下亦称目标框)的左上角坐标和右下角坐标。图3所示为图2对应的经过标注的图片样本。

方框标注后的图片和文件作为图像数据集，将图像数据集按照8:1:1的比例分为训练集、测试集和验证集三部分。

3、交通信号灯识别模型构建

构建一个构建交通信号灯识别模型，该模型中将测试集图片输入到resnet_50网络提取特征并训练，对特征图进行三次反卷积得到更高分辨率特征图，在此基础上再增加三个网络来计算关键点的heatmap和对应关键点的框的宽(width)和高(height)以及关键点的偏移量并使用偏移量纠正关键点和框的位置。下面详细描述该识别模型

参见图4所示，交通信号灯识别模型以resnet_50网络作为骨架网络，resnet_50网络的结构属于现有技术，不再赘述。resnet_50网络的输出记为第一特征图，第一特征图经过连续三层反卷积后输出第二特征图，第二特征图分别输入第一输出网络、第二输出网络和第三输出网络中。其中：第一输出网络将第二特征图连续通过两个卷积层后得到heatmap，该heatmap由所有红绿灯指示方向类别各自的热图组成，即其通道数等于红绿灯指示方向类别数。第一输出网络是基于heatmap进行信号灯识别的，其先提取heatmap中每一个红绿灯指示方向类别的热图，判断热图中每一个位置的值是否不小于周围的八个近邻位置，该操作可以通过一个3×3的maxpooling操作来实现(类似于anchor-based检测中nms的效果)，即判断池化窗口的中心像素是否为最大值，若是则将中心像素作为一个热点，若不是则跳过不作为热点，由此每个红绿灯指示方向类别的热图均可以生成一些热点(可获取大于c个热点进行后续的阈值判断，本实施例取100个)，这些热点可能是信号灯外包矩形框的中心点，需要进一步识别。进一步识别时，可以针对每一个红绿灯指示方向类别的热图中的热点，通过设置阈值g筛除热点位置的值小于阈值的热点，剩余的热点作为该红绿灯指示方向类别的热图中的红绿灯外包矩形框中心点(预测值)进行输出。本实施例设置的阈值g为0.3。

另外，第二输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框中心点的偏移量。

另外。第三输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框的高度和宽度。

在本实施例中，对于输入图片为i∈r^w*h*3，w代表图片的宽，h代表高，输出关键点的热点图(keypointheatmap)其中r代表下采样倍数，c代表红绿灯指示方向类别数。本发明中，w、h为512像素，c为12，r为4。

参见图4所示，各网络层的参数如下：resnet_50网络的输入图片大小为512*512*3，输出的第一特征图大小为16*16*2048；第一特征图经过连续三层反卷积后输出的第二特征图大小为128*128*64；第一输出网络输出的heatmap大小为128*128*c；c表示红绿灯指示方向类别标签个数；最大池化层的窗口大小为3×3；第二输出网络输出的每个红绿灯外包矩形框中心点的偏移量特征大小为128*128*2；第三输出网络输出的每个红绿灯外包矩形框的高度和宽度特征大小为128*128*2。交通信号灯识别模型中，512*512*3大小的输入图片经过resnet_50网络提取到尺寸为16*16*2048大小的特征图，经过三次反卷积操作得到尺寸为128*128*64大小的特征图，对此特征图分别使用三个网络，得到尺寸为128*128*c大小的关键点热图heatmap、128*128*2大小的宽高参数、128*128*2大小的偏移量调整参数。

4、交通信号灯识别模型训练

当交通信号灯识别模型构建完毕后，即可利用前述带有标注的图像数据集，通过最小化总损失函数对交通信号灯识别模型进行训练。训练过程中，需要设置合理的总损失函数使得模型能够收敛。

1)对于图片样本中的目标框，其中心点尚未标注，因此需要先通过几何关系进行计算，中心坐标该中心点坐标需要映射至下采样后的128*128大小的特征图上方可用于计算损失函数，因此使用公式(1)，将标注的目标框以高斯核的方式将关键点分布到下采样4倍的128*128大小的特征图上，结果如图5所示。公式(1)为一个高斯滤波过程，映射后特征图上每一个(x，y)位置的特征值为：

其中σp是一个与目标大小(宽和高)相关的标准差，表示128*128分辨率下的坐标为整型。如果某一个类的两个高斯分布发生了重叠，直接取最大值。

2)训练过程之前定义总损失函数ldet如公式(2)所示，包含三个部分：

ldet＝lk+αoffloff+αsizelsize(2)

其中αoff和αsize为权重系数，本实施例中分别设置为l和0.1。

总损失函数中的第一部分目标中心点的损失，如公式(3)所示：

lk为外包矩形框中心点的损失，且：

ln为外包矩形框n的损失：

式中：n表示图片样本中红绿灯的外包矩形框n的个数，为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的预测值，yn为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的实际值，和yn取值范围均为[0，1]，值代表该点属于红绿灯外包矩形框中心点的概率，0表示该点不是中心点，1表示该点是中心点；α、β是超参数，本实施例分别设置2和4。

公式(3)中，n是图像i中的所标注的外包矩形框n的总数量，用于将所有的positivefocalloss标准化为1。本发明对focalloss做出了修改，对于比较容易预测出来的关键点，适当减少其训练比重，也就是loss值。

当的时候，就充当了矫正作用，假如接近于1，说明这个是一个比较容易检测出来的点，那么就越小。而当接近0的时候，说明这个中心点还没有学习到，所以要加大其训练的比重，因此就会很大。yn≠1所对应的情况中，对实际中心点的其他近邻点的训练比重进行了调整。

对于距离实际中心点近的点，yn值接近1，例如yn＝0.9，但是预测出来这个点的值比较接近1，这个显然是不对的，它应该检测到为0，因此用惩罚一下，使其loss比重加大些；但是因为这个检测到的点距离实际的中心点很近了，检测到的接近1也情有可原，那么用(1-yn)β来安慰一下，使其loss比重减少些。

对于距离实际中心点远的点，yn值接近0，例如yn＝0.1，如果预测出来这个点的值比较接近1，肯定不对，需要用惩罚(原理同上)，如果预测出来的接近0，那么差不多了，用(1-yn)^β来安慰下，使其损失比重小一点；至于(1-yn)^β，因为此时预测距离中心点较远的点，所以这一项使距离中心点越远的点的损失比重占的越大，而越近的点损失比重则越小，这相当于弱化了实际中心点周围的其他负样本的损失比重，相当于处理正负样本的不平衡了。

第二部分是外包矩形框中心偏移量损失，如公式(5)所示：

式中：n是图像i中的所标注的实例的总数量，为所述第二输出网络输出的红绿灯外包矩形框n的中心点偏移量估计值，为红绿灯外包矩形框n的中心点偏移量实际值；表示向量空间，w和h分别为每一张图片样本的宽度和高度，r表示第二特征图相对于图片样本的下采样倍数，本实施例中r＝4。

红绿灯外包矩形框n的中心点偏移量实际值计算公式为：

其中：表示图片样本中红绿灯外包矩形框n的中心点p经过r倍下采样后的浮点型坐标，中心点表示红绿灯外包矩形框的中心点p经过r倍下采样后的整型坐标。

因为训练时对图像进行了r＝4的下采样，这样的特征图重新映射到原始图像上的时候会带来精度误差，因此对于每一个中心点，额外采用去补偿它。

所有类的中心点共享同一个offsetprediction，这个偏置值(ofiset)用l1loss来训练。所谓的中心点偏移量(即偏置)实际上是由于浮点型坐标和整形坐标在映射过程中产生的。对于512*512大小的图像，如果r＝4的话那么下采样后就是128*128大小的特征图，标注的目标框会以高斯核的方式分布到该特征图上。首先将json文件中的真实坐标也转化为与128*128大小图像匹配的形式，但是因为真实坐标是浮点数的形式，使用转化后的计算出来的中心点也是浮点型的。假设转化后的中心点是[98.97667，2.3566666]，但是在预测过程中，首先读入的图像大小假设是640*780，然后变形成512*512大小，然后下采样4倍成128*128大小，最终预测使用的图像大小是128*128，假设预测出的坐标是{x＝98，y＝2}，对应的类别是c，等同于这个点上有物体存在，与实际标记的中心点坐标{x＝98.97667，y＝2.3566666}是存在误差的，直接映射到512*512的图片上肯定会有精度损失，所以引入了公式(4)处理偏置损失。

第三部分是外包矩形框大小(宽高)的损失，如公式(7)所示：

式中：是红绿灯外包矩形框n经过r倍下采样后的高度和宽度估计值，sn是红绿灯外包矩形框n的经过r倍下采样后(128*128低分辨率下)的高度和宽度实际值；

假设为目标k，所属类别为ck，它的中心点为对每个目标k的宽和高是进行了下采样之后的宽高值。因此为了减少回归的难度，本发明使用作为预测值，损失函数如公式(7)所示。

需要注意的是，前述的总损失函数ldet是单个样本的损失，训练时可取所有样本的平均损失进行最小化，通过梯度下降得到最优模型参数，由此完成模型训练。

5、目标预测和提取

对于一张含有交通信号灯的待识别图片，将其输入前述训练完毕的交通信号灯识别模型中，由第一输出网络输出不同红绿灯指示方向类别的红绿灯外包矩形框中心点，由第二输出网络输出每个红绿灯外包矩形框中心点的偏移量，由第三输出网络输出每个红绿灯外包矩形框的高度和宽度。

最终，在heatmap中，根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框，并将标定框重新映射至待识别图片中。

其中，假设为检测到的点，代表c类中检测到的一个点，那么heatmap中根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框的计算公式如公式(7)所示：

其中：(x1，y1)、(x2，y2)分别表示标定框的左上角和右下角坐标(均为整型坐标)，是由所述第一输出网络输出heatmap中一个红绿灯外包矩形框的中心点坐标，是由所述第二输出网络输出的红绿灯外包矩形框中心点的偏移量，是由所述第三输出网络输出的红绿灯外包矩形框x的高度和宽度。

上述标定框为heatmap中的标定坐标，需要根据原始的下采样倍数重新将其映射回原始的图片中，得到待识别图片中的交通信号灯标定框。

本实施例中，为了体现上述方法的效果，将其与yolo3一起应用于同一验证集上，预测结果表明yolo3准确率为87.67％，而本发明为95.48％。而且本发明能够在不同的天气条件下，均取得较高的预测准确率，图6为雨天环境下的预测结果图，图7为夜晚曝光环境下的预测结果图，图8为白天良好环境下的预测结果图。

除此之外，在另一实施例中，基于上述识别方法，还可以进一步提供一种基于heatmap提取关键点的交通信号灯的识别装置，其包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现上述基于heatmap提取关键点的交通信号灯的识别方法。

除此之外，在另一实施例中，基于上述识别方法，还可以进一步提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述基于heatmap提取关键点的交通信号灯的识别方法。

需要注意的是，存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然，还装置中还应当具有实现程序运行的必要组件，例如电源、通信总线等等。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。