一种区分电动汽车与燃油汽车的方法

1.本发明涉及遥感技术领域，尤其涉及的是一种区分电动汽车与燃油汽 车的方法。


背景技术：

2.随着环保意识的提高和新能源汽车的发展，道路上电动汽车数量显著 增加，了解道路上电动汽车与燃油汽车的数量和比例有利于交通管理和环 境保护等部门掌握情况和进行决策。
3.对于电动汽车的判别，现有技术可以根据可见光特征进行粗略判断， 如通过牌照颜色或者通过识别车牌查询车辆信息，但是这种方法存在较大 的缺陷和不确定性，区分的精度不高。
4.因此，现有技术还有待于改进和发展。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种 区分电动汽车与燃油汽车的方法，旨在解决现有技术中区分电动汽车与燃 油汽车的精度不高的问题。
6.本发明解决技术问题所采用的技术方案如下：
7.一种区分电动汽车与燃油汽车的方法，其中，包括步骤：
8.获取目标车辆的热红外影像；
9.对所述热红外影像进行预处理得到处理后的热红外影像；其中，所述 预处理包括：图像增强处理和车道遮蔽处理；
10.将所述处理后的热红外影像输入训练好的神经网络模型，通过所述训 练好的神经网络模型输出所述目标车辆对应的车辆类型；其中，所述车辆 类型包括：电动汽车和燃油汽车。
11.所述的区分电动汽车与燃油汽车的方法，其中，所述对所述热红外影 像进行预处理得到处理后的热红外影像，包括：
12.采用直方图均衡化算法对所述热红外影像进行图像增强处理，得到图 像增强后的热红外影像；
13.根据车道范围对所述图像增强后的热红外影像进行裁剪，得到处理后 的热红外影像。
14.所述的区分电动汽车与燃油汽车的方法，其中，所述采用直方图均衡 化算法对所述热红外影像进行图像增强处理，得到图像增强后的热红外影 像，包括：
15.确定所述热红外影像中各灰度级的像素数目；
16.根据所述热红外影像中各灰度级的像素数目，确定所述热红外影像的 累积分布函数；
17.根据所述累积分布函数和所述热红外影像，得到图像增强后的热红外 影像。
18.所述的区分电动汽车与燃油汽车的方法，其中，所述训练好的神经网 络模型通过
如下步骤训练得到：
19.获取车辆的原始热红外影像和所述车辆的原始可见光影像；
20.对所述原始热红外影像进行预处理得到处理后的原始热红外影像；
21.根据所述原始可见光影像和所述处理后的原始热红外影像对所述车辆 进行标注，得到标注文件；
22.根据所述处理后的原始热红外影像和所述标注文件对神经网络模型进 行训练，得到训练好的神经网络模型。
23.所述的区分电动汽车与燃油汽车的方法，其中，所述获取车辆的原始 热红外影像和所述车辆的原始可见光影像，包括：
24.采用搭载热红外传感器的无人机获取道路上车辆的原始热红外影像和 原始可见光影像；其中，所述红外传感器朝向所述车辆的行进方向，且向 下倾斜设置，以与所述车辆的车尾相对。
25.所述的区分电动汽车与燃油汽车的方法，其中，所述标注文件为所述 处理后的原始热红外影像中各帧影像的最终的标注信息；
26.所述根据所述原始可见光影像和所述处理后的原始热红外影像对所述 车辆进行标注，得到标注文件，包括：
27.针对所述处理后的原始热红外影像中所述车辆进入视场后的第一帧影 像和最后一帧影像，根据所述原始可见光影像采用方框对所述第一帧影像 和所述最后一帧影像进行标注，得到所述第一帧影像的标注信息和所述最 后一帧影像的标注信息；其中，所述原始热红外影像中车辆尾部的热流位 于所述方框内；
28.根据所述第一帧影像的标注信息、所述最后一帧影像的标注信息以及 所述处理后的原始热红外影像中各帧影像，得到各帧影像的最终的标注信 息，以得到标注文件。
29.所述的区分电动汽车与燃油汽车的方法，其中，所述标注信息包括： 目标中心坐标、目标的高以及目标的宽，所述目标中心坐标为所述方框的 中心坐标，所述目标的高为所述方框的高，所述目标的宽为所述方框的宽；
30.所述根据所述第一帧影像的标注信息、所述最后一帧影像的标注信息 以及所述处理后的原始热红外影像中各帧影像，得到各帧影像的最终的标 注信息，以得到标注文件，包括：
31.从所述第一帧影像开始，采用时空上下文模型得到所述车辆在所述第 一帧影像对应的下一帧影像的置信图，将所述下一帧影像的置信图中最大 置信度的点作为所述下一帧影像的正向目标中心坐标，直至得到所述处理 后的原始热红外影像中各帧影像的正向目标中心坐标；
32.所述从所述最后一帧影像开始，采用时空上下文模型得到所述车辆在 所述最后一帧影像对应的上一帧影像的反向标注信息，直至得到所述处理 后的原始热红外影像中各帧影像的反向标注信息，包括：
33.从所述最后一帧影像开始，采用时空上下文模型得到所述车辆在所述 最后一帧影像对应的上一帧影像的置信图，将所述上一帧影像的置信图中 最大置信度的点作为所述上一帧影像的反向目标中心坐标，直至得到所述 处理后的原始热红外影像中各帧影像的反向目标中心坐标；
34.针对所述处理后的原始热红外影像中每一帧影像，根据该帧影像的正 向目标中心坐标、反向目标中心坐标、所述第一帧影像的标注信息以及所 述最后一帧影像的标注信息，得到该帧影像中的目标的高和目标的宽，从 而得到所述处理后的原始热红外影像中各帧影像的最终的标注信息。
35.所述的区分电动汽车与燃油汽车的方法，其中，所述神经网络模型包 括：ssd模型和yolov5模型。
36.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程 序，其中，所述处理器执行所述计算机程序时实现上述任一项所述方法的 步骤。
37.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算 机程序被处理器执行时实现上述任一项所述的方法的步骤。
38.有益效果：本发明利用电动汽车和燃油汽车在热红外影像上的差异， 采用神经网络模型对汽车进行识别，具有较高的精度并且能取得较好的目 标检测结果。
附图说明
39.图1是本发明中实施例提供的区分电动汽车与燃油汽车的方法的流程 图。
40.图2是本发明中实施例提供的区分电动汽车与燃油汽车的方法中目标 的高度与目标在图像中的移动距离(像素)的关系。
41.图3是本发明中实施例提供的区分电动汽车与燃油汽车的方法中目标 的宽度与目标在图像中的移动距离(像素)的关系。
42.图4是本发明中实施例提供的区分电动汽车与燃油汽车的方法中使用 时空上下文算法(stc)正向追踪过程的示意图。
43.图5是本发明中实施例提供的区分电动汽车与燃油汽车的方法中使用 时空上下文算法(stc)逆向追踪过程的示意图。
44.图6是本发明中实施例提供的半自动化标注方法在追踪过程的示意图。
45.图7是本发明中实施例提供的区分电动汽车与燃油汽车数据集在ssd 算法上训练过程的损失示意图。
46.图8是本发明中实施例提供的区分电动汽车与燃油汽车数据集在 yolov5算法上训练过程的损失示意图。
47.图9是本发明中实施例提供的区分电动汽车与燃油汽车的方法在ssd 算法上训练得到的模型测试效果第一示意图。
48.图10是本发明中实施例提供的区分电动汽车与燃油汽车的方法在ssd 算法上训练得到的模型测试效果第二示意图。
49.图11是本发明中实施例提供的区分电动汽车与燃油汽车的方法在 yolov5算法上训练得到的模型测试效果第一示意图。
50.图12是本发明中实施例提供的区分电动汽车与燃油汽车的方法在 yolov5算法上训练得到的模型测试效果第二示意图。
具体实施方式
51.为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图 并举实施例
对本发明进一步详细说明。应当理解，此处所描述的具体实施 例仅仅用以解释本发明，并不用于限定本发明。
52.请同时参阅图1
‑
图12，本发明提供了一种区分电动汽车与燃油汽车的 方法的一些实施例。
53.对于电动汽车的判别，现有技术可以根据可见光特征进行粗略判断， 如通过牌照颜色或者通过识别车牌查询车辆信息，但是这种方法存在较大 的缺陷和不确定性。首先是国家/地区的差异，一些国家和地区并没有针对 新能源/电动汽车推出专门的号牌，即使是推出了专门号牌的国家和地区， 纯电动汽车和混动汽车均可悬挂绿色牌照(纯电动汽车可悬挂以“d”开头的 绿色牌照，混动车可悬挂“f”开头的绿色牌照)，但是仅依赖牌照存在以下 的问题：1)夜间或照明不良路段无法获取牌照标识信息；2)电动汽车也可 悬挂蓝色普通牌照，造成错分；3)对于无牌、假牌、特殊牌照(专用牌照) 并不能从牌照获取有用信息；4)对于绿牌车辆，识别牌照第一位的字母“d
”ꢀ
和“f”(电动/混动)存在一定困难，需要较高的传感器分辨率和环境条件。
54.如图1所示，本发明的一种区分电动汽车与燃油汽车的方法，包括以 下步骤：
55.步骤s100、获取目标车辆的热红外影像。
56.具体地，采用搭载热红外传感器的无人机获取道路上目标车辆的原始 热红外影像，具体使用无人机搭载热红外传感器以倾斜(摄影主光轴与重 力方向之间的夹角约为65
°
)的方式采集道路上目标车辆的热红外图像，传 感器朝向目标车辆前进方向向下倾斜，采集道路上目标车辆车尾的热红外 影像，影像存储格式为单张的图片或者视频，如果是视频，则需要进行裁 剪为单张的图像。当然，还可以采用其它方式采集目标车辆的热红外影像， 例如，将热红外传感器安装在道路上，可以将热红外传感器与道路天网监 控相结合。
57.步骤s200、对所述热红外影像进行预处理得到处理后的热红外影像； 其中，所述预处理包括：图像增强处理和车道遮蔽处理。
58.具体地，在得到热红外影像后，对热红外影像进行预处理，得到处理 后的热红外影像，由于道路的环境复杂多变，因此，需要对道路上的目标 车辆的热红外影像进行预处理。图像增强的目的是采用某种技术手段，改 善图像的视觉效果，或者将图像转换成更适合人眼观察和机器识别的形式。 图像增强的基本方法主要有灰度变换、灰度均衡、伪彩色增强、平滑、锐 化、滤波等。
59.本发明中采用直方图均衡化算法进行图像增强，步骤s200具体包括：
60.步骤s210、采用直方图均衡化算法对所述热红外影像进行图像增强处 理，得到图像增强后的热红外影像。
61.具体地，直方图均衡化是一种简单有效的图像增强技术，通过改变图 像的直方图来改变图像中各像素的灰度，主要用于增强动态范围偏小的图 像的对比度。原始图像由于其灰度分布可能集中在较窄的区间，造成图像 不够清晰。对在图像中像素个数多的灰度值(即对画面起主要作用的灰度 值)进行展宽，而对像素个数少的灰度值(即对画面不起主要作用的灰度 值)进行归并，从而增大对比度，使图像清晰，达到增强的目的。
62.步骤s210具体包括：
63.步骤s211、确定所述热红外影像中各灰度级的像素数目。
64.步骤s212、根据所述热红外影像中各灰度级的像素数目，确定所述热 红外影像的
累积分布函数。
65.步骤s213、根据所述累积分布函数和所述热红外影像，得到图像增强 后的热红外影像。
66.具体地，采用直方图均衡化计算公式对热红外影像进行图像增强，直 方图均衡化算法包括步骤：
67.(1)统计热红外影像中各灰度级的像素数目n
i
，0≤i<l，l则是灰度级 数。
68.例如，灰度级可以是255，统计热红外影像中第i个灰度级的像素数目， 直至得到统计热红外影像中各灰度级的像素数目n
i
。
69.(2)统计热红外影像中灰度级为i的像素的出现概率是： p
x
(i)＝p(x＝i)＝n
i
/n，n是图像中所有的像素数。
70.出现概率可以理解为占比，具体是第i个灰度级的像素数目占总像素数 的比例。得到热红外影像中各灰度级的出现概率。
71.(3)p
x
的累积分布函数为：
72.具体地，根据热红外影像中各灰度级的出现概率得到累积分布函数， 也就是说，从第0个灰度级开始，对热红外影像中各灰度级的出现概率进 行累积，得到累积分布函数。
73.(4)直方图均衡化计算公式：cdf
min
是累积分布函数最小值，m和n是热红外影像的长和宽，而l则是灰度级 数，cdf(v)表示热红外影像中的值为v的像素值，h(v)表示图像增强后的热红 外影像的像素值。
74.从热红外传感器输出的热红外影像的直方图被转换为较均匀分布的形 式，以增强图像的整体对比度。
75.步骤s220、根据车道范围对所述图像增强后的热红外影像进行裁剪， 得到处理后的热红外影像。
76.热红外传感器拍摄影像时，热红外影像包含双向的道路上的车辆，由 于本发明利用电动汽车和燃油汽车在热红外影像上的差异，两类车的车尾 的热红外影像会有显著差异，两类车的车头的热红外影像差异不确定，因 此，只需要单向车道上的车辆的热红外影像，当然要将该单向车道的对向 车道裁剪去除，实现车道遮蔽，以免对向车道上的车辆影响车辆的区分。
77.由于热红外传感器是以倾斜方式成像，在获取所需道路上车辆信息之 外，通常还会收集对侧道路上的车辆(头部成像)信息，这些对侧的车辆 会干扰数据集的模型检测效果，因此有必要在图像中裁剪掉对侧车道。在 实际应用中，通常需要裁剪图像的一侧或一个角，具体方法是：对于裁剪 范围相同的一批影像，批量读取图像数据，根据需要手动设置裁切范围， 将要裁切部分的图像像素值设置为0。
78.步骤s300、将所述处理后的热红外影像输入训练好的神经网络模型， 通过所述训练好的神经网络模型输出所述目标车辆对应的车辆类型；其中， 所述车辆类型包括：电动汽车和燃油汽车。
79.具体地，得到处理后的热红外影像后，将处理后的热红外影像输入训 练好的神经网络模型，通过训练好的神经网络模型对处理后的热红外影像 进行处理，并输出目标车辆
对应的车辆类型，也就区分目标车辆是电动汽 车还是燃油汽车。
80.神经网络模型包括：ssd(single shot multibox detector)和yolov5。singleshot指的是ssd算法属于one
‑
stage方法，multibox说明ssd是多框预测。
81.所述训练好的神经网络模型通过如下步骤训练得到：
82.步骤a100、获取车辆的原始热红外影像和所述车辆的原始可见光影像。
83.具体地，在训练之前要获得训练数据，采集车辆的原始热红外影像和 车辆的原始可见光影像。
84.具体地，步骤a100包括：
85.步骤a110、采用搭载热红外传感器的无人机获取道路上车辆的原始热 红外影像和原始可见光影像；其中，所述红外传感器向下倾斜设置。
86.需要说明的是，道路上车辆的原始热红外影像和原始可见光影像等数 据的获取平台并不影响模型的训练和应用，比如可以无人机获取的数据用 于训练，安装在道路上热红外传感器获取的数据上进行应用。再如，可以 在安装在道路上热红外传感器获取的数据上训练，而无人机获取的数据用 于进行应用。
87.步骤a200、对所述原始热红外影像进行预处理得到处理后的原始热红 外影像。当然，所述预处理包括：图像增强处理和车道遮蔽处理。
88.具体地，在得到原始热红外影像后，对原始热红外影像进行预处理， 得到处理后的原始热红外影像。具体预处理过程可以与步骤s200相同。
89.步骤a300、根据所述原始可见光影像和所述处理后的原始热红外影像 对所述车辆进行标注，得到标注文件。
90.在对车辆进行标注时，可以采用人工标注，当然还可以采用半自动标 注的方式，得到标注文件。
91.综合原始热红外影响和原始可见光影像，区分原始热红外影像中的电 动汽车和燃油汽车。
92.标注时，区分数据集中一个特定的汽车是电动汽车还是燃油汽车的方 法如下：在获取原始红外热影像的同时，还根据原始红外热影像上车辆的 特征获得了原始可见光影像。首先观察热红外影像中车辆是否存在尾部热 流(车辆尾部，由于排气系统排出的高温废气在热红外影像上形成的尾流 状的区域)，然后观察车辆尾部是否处于高温状态以及可见影像的特征(车 牌颜色，品牌等)。
93.在步骤(1)中：判断汽车在原始红外热影像上是否有尾部热流和明显 高温区域。如果汽车在红外热影像上有尾部热流和明显高温区域，不管牌 照是什么颜色，都判断为燃油汽车，如果汽车在红外热影像上没有尾部热 流和明显高温区域，则进入下一步；
94.在步骤(2)中：汽车在原始红外热影像上没有尾部热流和明显高温区 域，则判断车牌是否是新能源牌照(绿色)，如果是新能源牌照判断为电动 汽车，如果不是，进入下一步；
95.在步骤(3)中：如果汽车在红外热影像上没有尾部热流和明显高温区 域，车牌也不是新能源牌照，则需要分析目标在前后序列的影像特征：a) 如果整个序列该目标都没有尾部热流和明显高温区域，可判断为电动汽车； b)若在前后序列符合燃油汽车的特征，判断为燃油汽车。
96.值得注意的是，当前道路上存在许多混合动力汽车，其在成像时明显 符合燃油汽车的表现但悬挂与电动汽车相同颜色的新能源牌照，根据区分 方法(如果汽车在红外热影像上有尾部热流和明显高温区域，不管牌照是 什么颜色，都判断为燃油汽车)，其属于燃油汽车。对于混合动力汽车，只 关注其在成像时的动力系统。如果在热红外影像上其具有尾部热流和明显 高温区域，那么将混合动力汽车称为燃油汽车，而不论其是否处于在电动 和燃油之间切换的状态。通过这种方法，可以将道路上所有汽车区分为电 动汽车或者燃油汽车，且电动汽车和燃油汽车之间没有混淆。
97.采用半自动标注时，使用时空上下文目标追踪算法辅助对电动汽车和 燃油汽车目标进行半自动化的标注，该时空上下文目标追踪算法基于贝叶 斯框架，在目标对象及其局部上下文之间建立时空关系，该模型对目标及 其周围区域的低层特征(即图像强度和位置)之间的统计相关性进行建模， 通过计算置信度图并通过最大化对象位置似然函数来获得最佳目标位置。
98.生成包含目标左上角坐标(x，y)和目标宽度、目标高度四个参数的 标注文件。
99.作为本发明的一个优选示例，车辆目标进行标注时，一个特定的车辆 目标从进入视场时到出视场会连续得到若干张(帧)影像，邻近帧间目标 外观不会发生突变，位置的变化也不会很大，对此提出一种半自动化的高 精度标注方法，引入目标追踪领域的时空上下文方法，该方法通过跟踪目 标的外观模型以及跟踪目标与周围上下文信息的空间关系在线学习时空上 下文模型，通过置信度最大值表示下一帧中目标中心坐标，在目标外观变 化不大的情况下其对于目标中心坐标位置的追踪比较准确但是对于目标尺 度的变化结果不准确，因此将其引入自动化标注训练集过程，并且提高了 目标中心坐标位置和目标尺度变化时追踪结果的精度，标注一个目标在一 个连续序列中的首尾帧，使用双向的目标追踪算法进行追踪，目标位置由 正向和逆向追踪过程联合计算得到，目标尺度根据目标在影像中的上下位 置计算得到。
100.具体地，步骤a300包括：
101.步骤a310、针对所述处理后的原始热红外影像中所述车辆进入视场后 的第一帧影像和最后一帧影像，采用方框对所述第一帧影像和所述最后一 帧影像进行标注，得到所述第一帧影像的标注信息和所述最后一帧影像的 标注信息；其中，所述原始热红外影像中车辆尾部的热流位于所述方框内。
102.具体地，所述标注信息包括：目标中心坐标、目标的高以及目标的宽， 所述目标中心坐标为所述方框的中心坐标，所述目标的高为所述方框的高， 所述目标的宽为所述方框的宽。
103.具体地，标注目标从进入视场到出视场的第一帧影像和最后一帧影像。 使用平行于坐标轴的矩形进行标注，标注燃油汽车时遵循包含汽车尾部热 流的原理，如果目标是电动汽车(没有尾部热流)，则需要预留出与燃油汽 车尾部热流相似的空间。
104.步骤a320、根据所述第一帧影像的标注信息、所述最后一帧影像的标 注信息以及所述处理后的原始热红外影像中各帧影像，得到各帧影像的最 终的标注信息，以得到标注文件。
105.具体地，根据所述第一帧影像的标注信息、所述最后一帧影像的标注 信息以及所述处理后的原始热红外影像中各帧影像，采用时空上下文模型 得到各帧影像的最终的标
注信息，以得到标注文件。
106.具体地，步骤a320包括：
107.步骤a321、从所述第一帧影像开始，采用时空上下文模型得到所述车 辆在所述第一帧影像对应的下一帧影像的置信图，将所述下一帧影像的置 信图中最大置信度的点作为所述下一帧影像的正向目标中心坐标，直至得 到所述处理后的原始热红外影像中各帧影像的正向目标中心坐标。
108.具体地，从第一帧中的目标开始，使用时空上下文模型获取下一帧中 目标的置信度图，找到具有最大置信度的点，该点是图像下一帧的目标中 心坐标，以此迭代获得其余帧的目标中心坐标。
109.步骤a322、从所述最后一帧影像开始，采用时空上下文模型得到所述 车辆在所述最后一帧影像对应的上一帧影像的置信图，将所述上一帧影像 的置信图中最大置信度的点作为所述上一帧影像的反向目标中心坐标，直 至得到所述处理后的原始热红外影像中各帧影像的反向目标中心坐标。
110.具体地，从所述最后一帧影像开始，采用时空上下文模型得到所述车 辆在所述最后一帧影像对应的上一帧影像的置信图，将所述上一帧影像的 置信图中最大置信度的点作为所述上一帧影像的反向目标中心坐标，直至 得到所述处理后的原始热红外影像中各帧影像的反向目标中心坐标；
111.是逆向跟踪过程中第步骤a323、针对所述处理后的原始热红外影像中 每一帧影像，根据该帧影像的正向目标中心坐标和反向目标中心坐标、所 述第一帧影像的标注信息以及所述最后一帧影像的标注信息，得到该帧影 像中的目标的高和目标的宽，从而得到所述处理后的原始热红外影像中各 帧影像的最终的标注信息。
112.根据场景中目标移动的距离来更新尺度(包括目标的高度和目标的宽 度)。针对所述处理后的原始热红外影像中每一帧影像，先根据该帧影像的 正向目标中心坐标和反向目标中心坐标、所述第一帧影像的标注信息得到 该帧影像正向尺度scale
forward
(n)(即目标的正向高和目标的正向宽)。根 据该帧影像的正向目标中心坐标和反向目标中心坐标、所述最后一帧影像 的标注信息得到该帧影像反向尺度scale
reverse
(n)(即目标的反向高和目标 的反向宽)。根据该帧影像的正向目标中心坐标和反向目标中心坐标，得到 该帧影像的最终的目标中心坐标loc(n)，需要说明的是，目标中心坐标是 目标中心的横坐标和目标中心的纵坐标。最后根据所述第一帧影像的标注 信息、所述最后一帧影像的标注信息以及该帧影像的最终的目标中心坐标， 得到该帧影像的最终的尺度scale(n)(即目标的最终的高和目标的最终的 宽)，从而得到所述处理后的原始热红外影像中各帧影像的最终的标注信息。
113.如图2和图3所示目标的高度和宽度与目标在图像中的移动距离(像 素)大致呈线性，由于误差足够小，将其视为线性，因此正向追踪过程目 标尺度的更新可通过下式计算：
[0114][0115]
scale
forward
(n)是正向追踪过程中第n帧的目标尺度大小， scale
reverse
(1)是逆向追踪过程中第1帧的目标尺度大小，是 正向追踪过程中第n帧的目标中心的纵坐标，是逆向追踪过程 中第一帧(即正向追踪的最后一帧)的目标中心的纵坐标。
[0116]
从图像的最后一帧开始，使用时空上下文模型获取倒数第二帧(即上 一帧)中目标的置信度图，置信度最大的位置即为倒数第二帧中的目标中 心坐标。目标尺度的更新如下：
[0117][0118]
scale
reverse
(n)是逆向跟踪过程中第n帧的目标尺度大小， scale
forward
(1)是正向追踪过程中第1帧的目标尺度大小，scale
reverse
(1) 是逆向追踪过程中第1帧的目标尺度大小，是正向追踪过程 中第1帧的目标中心的纵坐标，是逆向追踪过程中第n帧的目 标中心的纵坐标。
[0119]
目标最终的位置的计算方法为正向过程和反向过程的加权平均和，权 重根据其距离目标距离第一帧和最后一帧的帧数确定，具体计算方法为：
[0120][0121]
loc(n)是最终结果中第n帧的目标中心坐标，loc
reverse
(k
‑
n)是反向跟 踪过程中第(k
‑
n)帧(即前向跟踪过程中的第n帧)的目标中心坐标，k是追 踪过程的影像总帧数。
[0122]
已知目标尺度随着目标在图像中位置的变化而近似线性变化，并且已 知目标的第一帧和最后一帧的尺度，因此可以根据目标的位置获得目标的 最终尺度，计算过程如下：
[0123][0124]
scale(n)是最终结果中第n帧影像中目标的尺度，scale
reverse
(1)是逆向 追踪过程中第1帧的目标尺度大小，scale
forward
(1)是正向追踪过程中第1 帧的目标尺度大小，
是正向追踪过程中第1帧的目标中心的 纵坐标，是逆向追踪过程中第一帧(即正向追踪的最后一帧) 的目标中心的纵坐标。
[0125]
步骤a400、根据所述处理后的原始热红外影像和所述标注文件对神经 网络模型进行训练，得到训练好的神经网络模型。
[0126]
对制作好的数据集使用神经网络模型(可以是深度卷积神经网络模型) 进行训练，为了证明制作的数据集的有效性，采用经典ssd和最新的yolov5 两个目标检测算法进行训练并在测试集上进行测试。ssd算法实验中，参 数如下：批处理大小：8，学习率：2e
‑
4，权重衰减：5e
‑
4，迭代次数：60000， 学习率衰减步长：(30000，45000，60000)，训练了约170个时期(epoch)。 在yolov5算法实验中，我们使用了yolov5s，yolov5m，yolov5和yolov5x 四个模型，结果显示四个模型的结果差异很小，以网络参数最少的yolov5s 模型为例，参数如下，批处理大小：32，图像大小：640，置信度阈值：1e
‑
3， 非极大值抑制过程的iou阈值：0.65，训练了400个时期。
[0127]
具体地，所述神经网络模型的损失函数包括：位置损失、置信度损失 以及总体损失；其中，所述总体损失根据所述位置损失和所述置信度损失。
[0128]
为了说明本发明实施例提供的区分电动汽车与燃油汽车的方法的效果， 图4给出了使用时空上下文算法(stc)进行正向追踪时的效果图，图5 给出了使用时空上下文算法(stc)进行逆向追踪时的效果图，图6给出了 使用本发明实施例的算法进行追踪和标注时的效果图。图7给出了本发明 实施例的数据集在ssd算法上训练过程的位置损失、置信度损失以及总体 损失的变化，其中总体损失是位置损失和置信度损失的加权和：l(x，c，l，g)＝ l
conf
(x，c)+al
loc
(x，l，g)，l
conf
(x，c)是置信度损失，l
loc
(x，l，g)是位置损失。位 置损失是预测框与地面真实框之间的l2损失：损失：为一个指示参数，当时表示第i个先验框与第j个 地面真值匹配，l
i
为第i个先验框的所对应边界框的位置预测值，而是 第j个地面真值的位置参数。置信度损失可以是多类的逻辑损失：
ꢀꢀ
为第i个 先验框的置信度，为一个指示参数，当时表示第i个先验 框与第j个地面真值匹配，使用多类的逻辑损失时系数α通常被设置为0.06。 图8给出了本发明实施例的数据集在yolov5算法上训练过程的giou(损 失函数)的变化。图9给出了ssd算法在测试集上的一个结果，可以发现 最下方的一个燃油汽车并未完全进入视场，这个目标在数据集中并未标注， 但是被ssd算法识别为了燃油汽车，其余目标均被正确识别。图10给出了 ssd算法在测试集上的一个结果，可以发现最上方的一个燃油汽车并未完 全离开视场，这个目标在数据集中并未标注，也被ssd算法识别为了燃油 汽车。图11给出了yolov5算法在测试集上的一个结果，可以发现所有目标 均被正确识别，最上方的车尾并未误检，图12给出了yolov5算法在测试集 上的一个结果，可以发现所有目标均被正确识别，最下方正在进入视场的 目标并未被误检。
[0129]
通过比较图4和图5以及图6方框框选的准确性可以看出本发明实施 例具有较优
的精度，可以用于标注数据集。通过比较图9、图10与图11、 图12目标检测的结果可以发现，本发明实施例的数据集在ssd与yolov5 算法上均有较优结果，但是在ssd算法会出现进入和出视场车辆的误检， 但是这些车辆的检测结果在事实上也是正确的，但是在数据集中并未进行 标注。
[0130]
表1进一步给出了上述两种深度卷积神经网络在本数据集上的检测定 量化精度指标，所述指标包括：1.燃油汽车平均精度(燃油汽车recall从 0～1的平均精度值)；2.电动汽车平均精度(电动汽车recall从0～1的平均 精度值)；3.燃油汽车平均精度(移除正在进入和出视场的干扰目标后的平 均精度)；4.map(燃油汽车平均精度与电动汽车平均精度的均值)。
[0131]
从表1的目标检测结果中可得，本发明实施例提供的区分电动汽车与 燃油汽车的方法在两种算法下的map都达到或者接近0.99，其中ssd算法 实验中发现，由于存在正在进入和出视场的燃油汽车目标存在干扰，实际 上这种正在出和进入视场的目标在数据集里是没有标注的，因此这是一种 干扰，在移除这些干扰目标后，在ssd算打法上map达到了0.9866，在 yolov5算法上能获得超过0.99的map，综上，表明发明实施例提供的区分 电动汽车与燃油汽车的方法具有较优的区分精度。
[0132]
表1目标检测结果
[0133][0134]
与现有电动汽车与燃油汽车识别技术相比，本发明实施例重点考虑电 动和燃油汽车的热红外影像特点和数据采集和处理流程：
[0135]
1)在全面分析现有车辆识别技术的基础上，提出一种不依赖可见光影 像的电动汽车与燃油汽车区分方案：同时考虑电动汽车与燃油汽车在热红 外波段的差异性以及深度卷积神经网络在图像特征学习的性能优势，在热 红外影像特征差异较大的车尾留出空间增加识别的准确性。
[0136]
2)通过综合目标追踪技术与摄影测量理论，提出一种半自动化的标注 方法：首先标注一个影像序列的首尾帧，使用传统的目标追踪算法进行正 向和逆行的追踪得到目标位置，然后根据目标在影像中的上下位置得到目 标的尺度，即可生成标注文件。
[0137]
通过以上两点，本发明实施例能够取得较优的目标检测结果且具有较 大的实用性。
[0138]
基于上述任意一实施例所述的区分电动汽车与燃油汽车的方法，本发 明还提供了一种计算机设备的实施例。
[0139]
本发明中计算机设备包括存储器和处理器，所述存储器存储有计算机 程序，所述处理器执行所述计算机程序时实现如下步骤：
[0140]
获取目标车辆的热红外影像；
[0141]
对所述热红外影像进行预处理得到处理后的热红外影像；其中，所述 预处理包
括：图像增强处理和车道遮蔽处理；
[0142]
将所述处理后的热红外影像输入训练好的神经网络模型，通过所述训 练好的神经网络模型输出所述目标车辆对应的车辆类型；其中，所述车辆 类型包括：电动汽车和燃油汽车。
[0143]
基于上述任意一实施例所述的区分电动汽车与燃油汽车的方法，本发 明还提供了一种计算机可读存储介质的实施例。
[0144]
本发明中计算机可读存储介质其上存储有计算机程序，所述计算机程 序被处理器执行时实现如下步骤：
[0145]
获取目标车辆的热红外影像；
[0146]
对所述热红外影像进行预处理得到处理后的热红外影像；其中，所述 预处理包括：图像增强处理和车道遮蔽处理；
[0147]
将所述处理后的热红外影像输入训练好的神经网络模型，通过所述训 练好的神经网络模型输出所述目标车辆对应的车辆类型；其中，所述车辆 类型包括：电动汽车和燃油汽车。
[0148]
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术 人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应 属于本发明所附权利要求的保护范围。