基于自动驾驶的路况提醒方法、装置、设备及存储介质与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种基于自动驾驶的路况提醒方法、装置、设备及存储介质。


背景技术：

2.随着科技的发展，智能自动驾驶技术正在悄悄地改变人们的驾驶方式，现阶段的自动驾驶技术仍未达到在任何条件下完成所有驾驶任务，驾驶员仍然掌握着绝大部分的驾驶主权，因此，自动驾驶过程中的如何适时地提醒驾驶员接管驾驶是一个亟需的问题。
3.现有技术对驾驶员提醒时机的选择是基于对驾驶员的面部表情进行注意力识别实现的，这种方式虽然能够识别由于驾驶员对自动驾驶功能过度信任导致注意力不集中，但是无法结合实际路况进行提醒，存在提醒时机与实际路况不匹配的技术问题。


技术实现要素：

4.本发明提供了一种基于自动驾驶的路况提醒方法、装置、设备及存储介质，用于提高提醒时机与实际路况的匹配度。
5.本发明第一方面提供了一种基于自动驾驶的路况提醒方法，包括：
6.获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；
7.通过训练好的道路标志识别模型对所述多个目标道路监控图像进行道路标志识别，得到道路标志信息；
8.获取预置的自动驾驶策略，并判断所述道路标志信息与所述自动驾驶策略是否存在冲突；
9.若所述道路标志信息与所述自动驾驶策略存在冲突，则按照所述道路标志信息生成路况提醒信息。
10.可选的，在本发明第一方面的第一种实现方式中，所述获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行数据增强处理，得到多个目标道路监控图像，包括：
11.获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像；
12.对多个缩放后的初始道路监控图像分别进行随机裁剪，得到多个目标道路监控图像。
13.可选的，在本发明第一方面的第二种实现方式中，所述获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像，包括：
14.获取自动驾驶过程中实时采集的初始道路监控图像，并读取所述初始道路监控图像的图像比例；
15.创建多个所述图像比例对应的多倍数画布，并将所述初始道路监控图像置入到各多倍数画布中，得到各多倍数画布对应的初始道路监控图像；
16.按照所述图像比例，对所述初始道路监控图像进行多倍数的等比例放大，得到多个等比例放大后的初始道路监控图像；
17.合并各多倍数画布对应的初始道路监控图像和多个等比例放大后的初始道路监控图像，得到多个缩放后的初始道路监控图像。
18.可选的，在本发明第一方面的第三种实现方式中，所述通过训练好的道路标志识别模型对所述多个目标道路监控图像进行道路标志识别，得到道路标志信息，包括：
19.通过训练好的道路标志识别模型中的多个初始卷积层对多个目标道路监控图像进行特征映射，得到各初始卷积层对应的初始特征图像；
20.按照所述道路标志识别模型中的多尺寸先验框，对各初始卷积层中目标卷积层对应的初始特征图像进行道路标志检测，得到多个初始道路标志预选框；
21.对多个初始道路标志预选框进行道路标志分类，得到各初始道路标志预选框对应的道路标志分类结果；
22.通过所述道路标志识别模型中的非极大值抑制算法，对各初始道路标志预选框进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
23.可选的，在本发明第一方面的第四种实现方式中，所述通过所述道路标志识别模型中的非极大值抑制算法，对各初始道路标志预选框进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息，包括：
24.基于所述道路标志识别模型中的非极大值抑制算法，通过各初始道路标志预选框对应的道路标志分类结果，对各初始道路标志预选框进行分类概率排序，得到分类概率最高的初始道路标志预选框；
25.计算分类概率最高的初始道路标志预选框与各初始道路标志预选框之间的交并比，得到各初始道路标志预选框对应的目标交并比；
26.通过所述各初始道路标志预选框对应的目标交并比对所有初始道路标志预选框进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
27.可选的，在本发明第一方面的第五种实现方式中，所述获取预置的自动驾驶策略，并判断所述道路标志信息与所述自动驾驶策略是否存在冲突，包括：
28.根据所述道路标志信息，生成基准自动驾驶参数，并对所述道路标志信息进行类型识别，得到所述道路标志信息对应的类型信息，所述类型信息包括限速类型、限行类型和指示类型中的任意一种；
29.获取预置的自动驾驶策略，并提取所述自动驾驶策略中所述类型信息对应的目标自动驾驶参数；
30.通过所述基准自动驾驶参数与所述目标自动驾驶参数，判断所述道路标志信息与所述自动驾驶策略是否存在冲突。
31.可选的，在本发明第一方面的第六种实现方式中，所述若所述道路标志信息与所述自动驾驶策略存在冲突，则按照所述道路标志信息生成路况提醒信息，包括：
32.若所述道路标志信息与所述自动驾驶策略存在冲突，则获取所述道路标志信息对应的路况提醒模板；
33.通过所述路况提醒模板生成所述道路标志信息对应的路况提醒信息。
34.本发明第二方面提供了一种基于自动驾驶的路况提醒装置，包括：
35.获取模块，用于获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；
36.识别模块，用于通过训练好的道路标志识别模型对所述多个目标道路监控图像进行道路标志识别，得到道路标志信息；
37.判断模块，用于获取预置的自动驾驶策略，并判断所述道路标志信息与所述自动驾驶策略是否存在冲突；
38.生成模块，用于若所述道路标志信息与所述自动驾驶策略存在冲突，则按照所述道路标志信息生成路况提醒信息。
39.可选的，在本发明第二方面的第一种实现方式中，所述获取模块包括：
40.获取单元，用于获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像；
41.裁剪单元，用于对多个缩放后的初始道路监控图像分别进行随机裁剪，得到多个目标道路监控图像。
42.可选的，在本发明第二方面的第二种实现方式中，所述裁剪单元具体用于：
43.获取自动驾驶过程中实时采集的初始道路监控图像，并读取所述初始道路监控图像的图像比例；
44.创建多个所述图像比例对应的多倍数画布，并将所述初始道路监控图像置入到各多倍数画布中，得到各多倍数画布对应的初始道路监控图像；
45.按照所述图像比例，对所述初始道路监控图像进行多倍数的等比例放大，得到多个等比例放大后的初始道路监控图像；
46.合并各多倍数画布对应的初始道路监控图像和多个等比例放大后的初始道路监控图像，得到多个缩放后的初始道路监控图像。
47.可选的，在本发明第二方面的第三种实现方式中，所述识别模块包括：
48.映射单元，用于通过训练好的道路标志识别模型中的多个初始卷积层对多个目标道路监控图像进行特征映射，得到各初始卷积层对应的初始特征图像；
49.检测单元，用于按照所述道路标志识别模型中的多尺寸先验框，对各初始卷积层中目标卷积层对应的初始特征图像进行道路标志检测，得到多个初始道路标志预选框；
50.分类单元，用于对多个初始道路标志预选框进行道路标志分类，得到各初始道路标志预选框对应的道路标志分类结果；
51.筛选单元，用于通过所述道路标志识别模型中的非极大值抑制算法，对各初始道路标志预选框进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
52.可选的，在本发明第二方面的第四种实现方式中，所述筛选单元具体用于：
53.基于所述道路标志识别模型中的非极大值抑制算法，通过各初始道路标志预选框对应的道路标志分类结果，对各初始道路标志预选框进行分类概率排序，得到分类概率最
高的初始道路标志预选框；
54.计算分类概率最高的初始道路标志预选框与各初始道路标志预选框之间的交并比，得到各初始道路标志预选框对应的目标交并比；
55.通过所述各初始道路标志预选框对应的目标交并比对所有初始道路标志预选框进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
56.可选的，在本发明第二方面的第五种实现方式中，所述判断模块具体用于：
57.根据所述道路标志信息，生成基准自动驾驶参数，并对所述道路标志信息进行类型识别，得到所述道路标志信息对应的类型信息，所述类型信息包括限速类型、限行类型和指示类型中的任意一种；
58.获取预置的自动驾驶策略，并提取所述自动驾驶策略中所述类型信息对应的目标自动驾驶参数；
59.通过所述基准自动驾驶参数与所述目标自动驾驶参数，判断所述道路标志信息与所述自动驾驶策略是否存在冲突。
60.可选的，在本发明第二方面的第六种实现方式中，所述生成模块具体用于：
61.若所述道路标志信息与所述自动驾驶策略存在冲突，则获取所述道路标志信息对应的路况提醒模板；
62.通过所述路况提醒模板生成所述道路标志信息对应的路况提醒信息。
63.本发明第三方面提供了一种基于自动驾驶的路况提醒设备，包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述基于自动驾驶的路况提醒设备执行上述的基于自动驾驶的路况提醒方法。
64.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的基于自动驾驶的路况提醒方法。
65.本发明提供的技术方案中，获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；通过训练好的道路标志识别模型对所述多个目标道路监控图像进行道路标志识别，得到道路标志信息；获取预置的自动驾驶策略，并判断所述道路标志信息与所述自动驾驶策略是否存在冲突；若所述道路标志信息与所述自动驾驶策略存在冲突，则按照所述道路标志信息生成路况提醒信息。本发明实施例中，获取自动驾驶过程中实时采集的初始道路监控图像后，对初始道路监控图像进行数据增强处理，得到数据增强后的多个目标道路监控图像，再通过训练好的道路标志识别模型对各目标道路监控图像进行道路标志识别，得到道路标志信息，将道路标志信息与预置的自动驾驶策略进行比对，以判断实际的道路标志信息与指示自动驾驶终端行驶的自动驾驶策略之间是否存在冲突，若存在冲突，则及时地生成路况提醒信息，以提醒驾驶员注意实际路况，本发明可以提高提醒时机与实际路况的匹配度。
附图说明
66.图1为本发明实施例中基于自动驾驶的路况提醒方法的一个实施例示意图；
67.图2为本发明实施例中基于自动驾驶的路况提醒方法的另一个实施例示意图；
68.图3为本发明实施例中基于自动驾驶的路况提醒装置的一个实施例示意图；
69.图4为本发明实施例中基于自动驾驶的路况提醒装置的另一个实施例示意图；
70.图5为本发明实施例中基于自动驾驶的路况提醒设备的一个实施例示意图。
具体实施方式
71.本发明实施例提供了一种基于自动驾驶的路况提醒方法、装置、设备及存储介质，用于提高提醒时机与实际路况的匹配度。
72.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
73.可以理解的是，本发明的执行主体可以为基于自动驾驶的路况提醒装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以自动驾驶终端为执行主体为例进行说明。
74.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于自动驾驶的路况提醒方法的一个实施例包括：
75.101、获取自动驾驶过程中实时采集的初始道路监控图像，并对初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；
76.需要说明的是，初始道路监控图像是由安装在自动驾驶汽车正前方的图像采集装置(路况监控装置)采集，为了提高自动驾驶过程中对驾驶员的提醒时机与实际路况的匹配度，自动驾驶终端获取自动驾驶过程中实时采集的初始道路监控图像之后，对初始道路监控图像进行数据增强处理，得到多个目标道路监控图像，以提升后续道路标志识别的准确率，防止模型参数的过拟合导致的准确率下降，具体的，自动驾驶终端通过对初始道路监控图像进行水平翻转、颜色变换和等比例缩放等处理，得到数据增强处理后的多个目标道路监控图像。
77.在一种实施方式中，在获取自动驾驶过程中实时采集的初始道路监控图像之前，还包括：获取带道路标志标注的初始样本道路监控图像，并对初始样本道路监控图像进行数据扩展，得到多个目标样本道路监控图像；通过多个目标样本道路监控图像对预置的目标检测模型进行训练，得到训练检测结果，并对训练检测结果进行位置误差和置信度误差进行加权和计算，得到训练检测结果对应的损失值，当损失值小于预置损失值阈值时，生成训练好的道路标志识别模型，否则，对目标检测模型的参数进行微调，并重复通过多个目标样本道路监控图像对目标检测模型进行训练，直至损失值小于预置损失值阈值。本实施方式能够生成高精度的道路标志识别模型，从而提高自动驾驶过程中提醒时机与实际路况的匹配度。
78.102、通过训练好的道路标志识别模型对多个目标道路监控图像进行道路标志识
别，得到道路标志信息；
79.在一种实施方式中，训练好的道路标志识别模型具有目标检测模型yolo(you only look once)结构，包括卷积层、池化层、全连接层和激活层，自动驾驶终端通过训练好的道路标志识别模型中的卷积层、池化层、全连接层和激活层对多个目标道路监控图像进行道路标志识别，得到道路标志信息，其中，激活层采用线性函数进行激活，能够准确地预测道路标志的位置(数值型)。本实施方式通过yolo结构模型能够快速地进行道路标志识别，且背景预测错误率低，从而能够提高道路标志识别的准确率，进而提高自动驾驶过程中提醒时机与实际路况的匹配度。
80.103、获取预置的自动驾驶策略，并判断道路标志信息与自动驾驶策略是否存在冲突；
81.需要说明的是，自动驾驶策略是由自动驾驶终端通过自动驾驶算法对进行障碍物识别后生成，用于指示自动驾驶终端的控制程序，自动驾驶终端按照自动驾驶策略进行驾驶控制决策，如控制自动驾驶终端转向、变换车速、停车等。在实际的自动驾驶过程中，仅仅通过识别车身周围的障碍物难以生成准确的自动驾驶策略，而为了提高自动驾驶的安全性，及时地对驾驶员进行实时路况提醒，自动驾驶终端获取预置的自动驾驶策略，并判断道路标志信息与自动驾驶策略是否存在冲突，从而在道路标志预自动驾驶策略存在冲突时，及时地提醒驾驶员进行介入自动驾驶。
82.在一种实施方式中，自动驾驶终端根据预置道路标志与驾驶策略之间的映射关系，对道路标志信息进行驾驶策略转换，得到道路标志信息对应的基准驾驶策略，并将基准驾驶策略与预置的自动驾驶策略进行比对，得到比对结果，比对结果用于指示基准驾驶策略与预置的自动驾驶策略是否一致，自动驾驶终端在根据比对结果判断道路标志信息与自动驾驶策略是否存在冲突。本实施方式能够高效地判断道路标志信息与自动驾驶策略是否存在冲突，从而高效地进行路况提醒决策。
83.104、若道路标志信息与自动驾驶策略存在冲突，则按照道路标志信息生成路况提醒信息。
84.需要说明的是，若道路标志信息与自动驾驶策略存在冲突，则说明自动驾驶策略存在偏差，自动驾驶终端按照道路标志信息生成路况提醒信息，在一种实施方式中，路况提醒信息为语音提醒信息，自动驾驶终端生成路况提醒信息之后，及时地播报路况提醒信息，如“前方道路施工，请根据实际路况驾驶”、“前方道路禁止通行，请控制车辆驶出”，具体不做限定。
85.在一种实施方式中，自动驾驶终端按照道路标志信息生成路况提醒信息之后，获取自动驾驶终端的自动驾驶策略更改权限，并基于自动驾驶策略更改权限，按照道路标志信息对自动驾驶策略进行校正，得到校正后的自动驾驶策略，以使得自动驾驶终端按照校正后的自动驾驶策略进行自动驾驶控制。本实施方式能够根据实际交通标志调整自动驾驶策略，使得自动驾驶策略的准确度提高。
86.本发明实施例中，获取自动驾驶过程中实时采集的初始道路监控图像后，对初始道路监控图像进行数据增强处理，得到数据增强后的多个目标道路监控图像，再通过训练好的道路标志识别模型对各目标道路监控图像进行道路标志识别，得到道路标志信息，将道路标志信息与预置的自动驾驶策略进行比对，以判断实际的道路标志信息与指示自动驾
驶终端行驶的自动驾驶策略之间是否存在冲突，若存在冲突，则及时地生成路况提醒信息，以提醒驾驶员注意实际路况，本发明可以提高提醒时机与实际路况的匹配度。
87.请参阅图2，本发明实施例中基于自动驾驶的路况提醒方法的另一个实施例包括：
88.201、获取自动驾驶过程中实时采集的初始道路监控图像，并对初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；
89.具体的，获取自动驾驶过程中实时采集的初始道路监控图像，并对初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像；
90.对多个缩放后的初始道路监控图像分别进行随机裁剪，得到多个目标道路监控图像。
91.本实施方式中，为了提高道路标志识别的精度，自动驾驶终端获取自动驾驶过程中实时采集的初始道路监控图像之后，根据初始道路监控图像的图像比例，对初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像，例如，假设初始道路监控图像的尺寸为200*400，图像比例为1:2，那么，多个缩放后的初始道路监控图像的尺寸可以为400*800、100*200、300*600等比例为1:2的大小，可以比缩放前的初始道路监控图像小，也可以比缩放前的初始道路监控图像大，具体不做限定。
92.本实施方式中，为了得到多尺寸的目标道路监控图像，自动驾驶终端对各缩放后的初始道路监控图像进行随机裁剪(random crop)，得到多个目标道路监控图像，具体的是，自动驾驶终端随机定义多个缩放系数，再按照各缩放系数，以各缩放后的初始道路监控图像的中心为原点，对各缩放后的初始道路监控图像进行裁剪，得到多个目标道路监控图像。随机裁剪能够在原图(初始道路监控图像)不变形的情况下得到多尺寸的目标道路监控图像，从而提高后续道路标志识别模型的识别精度，进而提高自动驾驶过程中提醒时机与实际路况的匹配度。
93.进一步的，获取自动驾驶过程中实时采集的初始道路监控图像，并对初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像，包括：
94.获取自动驾驶过程中实时采集的初始道路监控图像，并读取初始道路监控图像的图像比例；
95.创建多个图像比例对应的多倍数画布，并将初始道路监控图像置入到各多倍数画布中，得到各多倍数画布对应的初始道路监控图像；
96.按照图像比例，对初始道路监控图像进行多倍数的等比例放大，得到多个等比例放大后的初始道路监控图像；
97.合并各多倍数画布对应的初始道路监控图像和多个等比例放大后的初始道路监控图像，得到多个缩放后的初始道路监控图像。
98.本实施方式中，由于大尺寸的特征图可以提高小物体的检测精度，小尺寸的特征图可以提高大物体的检测精度，为了使得后续道路标志识别模型在识别远近道路标志时同样保持高精度，自动驾驶终端读取初始道路监控图像的图像比例之后，按照图像比例创建多个多倍数画布，并将初始道路监控图像分别置入各多倍数画布的中央位置，得到各多倍数画布对应的初始道路监控图像，自动驾驶终端通过对各多倍数画布对应的初始道路监控图像进行随机裁剪，能够得到缩小后的目标道路监控图像，即小尺寸特征图。自动驾驶终端再按照图像比例对初始道路监控图像进行多倍数的等比例放大，得到多个等比例放大后的
初始道路监控图像，自动驾驶终端通过对各等比例放大后的初始道路监控图像进行随机裁剪，能够得到放大后的目标道路监控图像，即大尺寸特征图。最后，自动驾驶终端合并各多倍数画布对应的初始道路监控图像和多个等比例放大后的初始道路监控图像，得到多个缩放后的初始道路监控图像，用于后续的随机裁剪。本实施方式能够生成不同大小的特征图，从而提高后续道路标志识别模型的识别精度，进而提高自动驾驶过程中提醒时机与实际路况的匹配度。
99.202、通过训练好的道路标志识别模型中的多个初始卷积层对多个目标道路监控图像进行特征映射，得到各初始卷积层对应的初始特征图像；
100.在一种实施方式中，训练好的道路标志识别模型是基于vgg16(visual geometry group)深度神经网络模型的基础上进行改进的模型，道路标志识别模型与vgg16深度神经网络模型的改进点在于：第6层全连接(fully connected，fc)层和第7层fc层转化为卷积层，去掉所有丢弃(dropout)层和第8层fc层，添加空洞卷积(atrous convolutions)层，更改第5池化层(pooling layers)的尺寸。结合上述改进点可知，训练好的道路标志识别模型包括多个初始卷积层，自动驾驶终端通过多个初始卷积层对多个目标道路监控图像进行特征映射，得到各初始卷积层对应的初始特征图像。本实施方式基于vgg16深度神经网络模型进行模型改进，得到优化的道路标志识别模型，能够更准确地识别道路标志，从而提高自动驾驶过程中提醒时机与实际路况的匹配度。
101.203、按照道路标志识别模型中的多尺寸先验框，对各初始卷积层中目标卷积层对应的初始特征图像进行道路标志检测，得到多个初始道路标志预选框；
102.本实施方式中，为了对初始特征图像中的道路标志进行目标定位，道路标志识别模型采用不同尺度和长宽比的先验框(prior boxes，default boxes，anchors)对各目标卷积层对应的初始特征图像进行道路标志检测，得到多个初始道路标志预选框。本实施方式通过多尺寸先验框能够提高目标定位的准确度，从而提高道路标志识别的精度，进而提高自动驾驶过程中提醒时机与实际路况的匹配度。
103.本实施方式中，自动驾驶终端不直接对各初始卷积层对应的初始特征图像进行道路标志识别，为了提高道路标志的检测效率，自动驾驶终端提取多个初始卷积层中的目标卷积层，并对目标卷积层对应的初始特征图像进行道路标志检测，从而得到多个初始道路标志预选框。如提取多个初始卷积层中的第4、7、8、9、10、11层作为目标卷积层，具体不做限定。
104.204、对多个初始道路标志预选框进行道路标志分类，得到各初始道路标志预选框对应的道路标志分类结果；
105.本实施方式中，与传统目标识别模型通过最后的全连接层进行特征分类不同的是，道路标志识别模型直接通过各初始卷积层对初始特征图像对应的多个初始道路标志预选框进行道路标志检测，得到各初始道路标志预选框对应的道路标志分类结果，使得道路标志检测的效率极大地提高，从而提高路况提醒信息的时效性。
106.205、通过道路标志识别模型中的非极大值抑制算法，对各初始道路标志预选框进行筛选，得到目标道路标志预选框，并将目标道路标志预选框对应的道路标志分类结果设置为道路标志信息；
107.具体的，基于道路标志识别模型中的非极大值抑制算法，通过各初始道路标志预
选框对应的道路标志分类结果，对各初始道路标志预选框进行分类概率排序，得到分类概率最高的初始道路标志预选框；
108.计算分类概率最高的初始道路标志预选框与各初始道路标志预选框之间的交并比，得到各初始道路标志预选框对应的目标交并比；
109.通过各初始道路标志预选框对应的目标交并比对所有初始道路标志预选框进行筛选，得到目标道路标志预选框，并将目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
110.本实施方式中，由于各初始道路标志预选框中存在重复选择的预选框，为了对各初始道路标志预选框进行降噪，自动驾驶终端通过道路标志识别模型中的非极大值抑制(non-maximum suppression，nms)算法通过各初始道路标志预选框对应的道路标志分类结果，对各初始道路标志预选框进行分类概率排序，分类概率最高的初始道路标志预选框，其中道路标志分类结果用于指示概率最高的道路标志信息，分类概率越高，表示道路标志为该道路标志信息的概率越高，如初始道路标志预选框a对应的道路标志分类结果为“禁止超车标志，概率97％”、初始道路标志预选框b对应的道路标志分类结果为“禁止右转标志，概率72％”、初始道路标志预选框c对应的道路标志分类结果为“禁止直行和右转标志，概率84％”，那么，对a、b、c排序后，得到分类概率最高的初始道路标志预选框为初始道路标志预选框a，具体不做限定。
111.在一种实施方式中，自动驾驶终端通过计算分类概率最高的初始道路标志预选框与各初始道路标志预选框之间的交并比(intersection over union，iou)，得到各初始道路标志预选框对应的目标交并比，在判断各初始道路标志预选框对应的目标交并比是否大于预置交并比阈值，并将目标交并比大于预置交并比阈值的初始道路标志预选框删除，得到目标道路标志预选框，目标道路标志预选框对应的道路标志分类结果即为道路标志信息。本实施方式能够快速筛选出最准确的道路标志预选框，从而快速确定道路标志信息。
112.206、获取预置的自动驾驶策略，并判断道路标志信息与自动驾驶策略是否存在冲突；
113.具体的，根据道路标志信息，生成基准自动驾驶参数，并对道路标志信息进行类型识别，得到道路标志信息对应的类型信息，类型信息包括限速类型、限行类型和指示类型中的任意一种；
114.获取预置的自动驾驶策略，并提取自动驾驶策略中类型信息对应的目标自动驾驶参数；
115.通过基准自动驾驶参数与目标自动驾驶参数，判断道路标志信息与自动驾驶策略是否存在冲突。
116.本实施方式中，为了使道路标志信息与自动驾驶策略之间产生可比性，自动驾驶终端根据道路标志信息，获取对应的自动驾驶参数模板，并通过自动驾驶参数模板生成基准自动驾驶参数，再对道路标志信息进行类型识别，得到道路标志信息对应的类型信息，其中，道路标志信息对应的类型信息包括限速类型、限行类型和指示类型中的任意一种，如最高限速100为限速类型标志，禁止掉头为限行类型标志，右转车道为指示类型标志。自动驾驶终端根据道路标志信息对应的类型信息，提取预置的自动驾驶策略中的目标自动驾驶参数，最后通过基准自动驾驶参数和目标自动驾驶参数判断道路标志信息与自动驾驶策略是
否存在冲突。
117.207、若道路标志信息与自动驾驶策略存在冲突，则按照道路标志信息生成路况提醒信息。
118.具体的，若道路标志信息与自动驾驶策略存在冲突，则获取道路标志信息对应的路况提醒模板；
119.通过路况提醒模板生成道路标志信息对应的路况提醒信息。
120.本实施方式中，当道路标志信息与自动驾驶策略存在冲突时，说明自动驾驶策略所识别出来的路况信息与实际的路况信息存在差异，为了及时地对驾驶员进行实际路况提醒，自动驾驶终端获取道路标志信息对应的路况提醒模板，再通过路况提醒模板生成路况提醒消息，在一种实施方式中，路况提醒信息为合成语音信息，自动驾驶终端实时播报路况提醒信息，以对驾驶员进行实际路况提醒。
121.本发明实施例中，获取自动驾驶过程中实时采集的初始道路监控图像后，对初始道路监控图像进行数据增强处理，得到数据增强后的多个目标道路监控图像，再通过训练好的道路标志识别模型对各目标道路监控图像进行特征提取，得到多个初始特征图像之后，通过多尺寸先验框对多个初始特征图像进行道路标志定位，得到多个初始道路标志预选框，接着，采用非极大值抑制算法进行预选框筛选，得到目标道路标志预选框和目标道路预选框对应的道路标志信息，将道路标志信息与预置的自动驾驶策略进行比对，以判断实际的道路标志信息与指示自动驾驶终端行驶的自动驾驶策略之间是否存在冲突，若存在冲突，则及时地生成路况提醒信息，以提醒驾驶员注意实际路况，本发明可以提高提醒时机与实际路况的匹配度。
122.上面对本发明实施例中基于自动驾驶的路况提醒方法进行了描述，下面对本发明实施例中基于自动驾驶的路况提醒装置进行描述，请参阅图3，本发明实施例中基于自动驾驶的路况提醒装置一个实施例包括：
123.获取模块301，用于获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；
124.识别模块302，用于通过训练好的道路标志识别模型对所述多个目标道路监控图像进行道路标志识别，得到道路标志信息；
125.判断模块303，用于获取预置的自动驾驶策略，并判断所述道路标志信息与所述自动驾驶策略是否存在冲突；
126.生成模块304，用于若所述道路标志信息与所述自动驾驶策略存在冲突，则按照所述道路标志信息生成路况提醒信息。
127.本发明实施例中，获取自动驾驶过程中实时采集的初始道路监控图像后，对初始道路监控图像进行数据增强处理，得到数据增强后的多个目标道路监控图像，再通过训练好的道路标志识别模型对各目标道路监控图像进行道路标志识别，得到道路标志信息，将道路标志信息与预置的自动驾驶策略进行比对，以判断实际的道路标志信息与指示自动驾驶终端行驶的自动驾驶策略之间是否存在冲突，若存在冲突，则及时地生成路况提醒信息，以提醒驾驶员注意实际路况，本发明可以提高提醒时机与实际路况的匹配度。
128.请参阅图4，本发明实施例中基于自动驾驶的路况提醒装置的另一个实施例包括：
129.获取模块301，用于获取自动驾驶过程中实时采集的初始道路监控图像，并对所述
初始道路监控图像进行数据增强处理，得到多个目标道路监控图像；
130.识别模块302，用于通过训练好的道路标志识别模型对所述多个目标道路监控图像进行道路标志识别，得到道路标志信息；
131.判断模块303，用于获取预置的自动驾驶策略，并判断所述道路标志信息与所述自动驾驶策略是否存在冲突；
132.生成模块304，用于若所述道路标志信息与所述自动驾驶策略存在冲突，则按照所述道路标志信息生成路况提醒信息。
133.可选的，所述获取模块301包括：
134.获取单元3011，用于获取自动驾驶过程中实时采集的初始道路监控图像，并对所述初始道路监控图像进行缩放处理，得到多个缩放后的初始道路监控图像；
135.裁剪单元3012，用于对多个缩放后的初始道路监控图像分别进行随机裁剪，得到多个目标道路监控图像。
136.可选的，所述裁剪单元3012具体用于：
137.获取自动驾驶过程中实时采集的初始道路监控图像，并读取所述初始道路监控图像的图像比例；
138.创建多个所述图像比例对应的多倍数画布，并将所述初始道路监控图像置入到各多倍数画布中，得到各多倍数画布对应的初始道路监控图像；
139.按照所述图像比例，对所述初始道路监控图像进行多倍数的等比例放大，得到多个等比例放大后的初始道路监控图像；
140.合并各多倍数画布对应的初始道路监控图像和多个等比例放大后的初始道路监控图像，得到多个缩放后的初始道路监控图像。
141.可选的，所述识别模块302包括：
142.映射单元3021，用于通过训练好的道路标志识别模型中的多个初始卷积层对多个目标道路监控图像进行特征映射，得到各初始卷积层对应的初始特征图像；
143.检测单元3022，用于按照所述道路标志识别模型中的多尺寸先验框，对各初始卷积层中目标卷积层对应的初始特征图像进行道路标志检测，得到多个初始道路标志预选框；
144.分类单元3023，用于对多个初始道路标志预选框进行道路标志分类，得到各初始道路标志预选框对应的道路标志分类结果；
145.筛选单元3024，用于通过所述道路标志识别模型中的非极大值抑制算法，对各初始道路标志预选框进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
146.可选的，所述筛选单元3024具体用于：
147.基于所述道路标志识别模型中的非极大值抑制算法，通过各初始道路标志预选框对应的道路标志分类结果，对各初始道路标志预选框进行分类概率排序，得到分类概率最高的初始道路标志预选框；
148.计算分类概率最高的初始道路标志预选框与各初始道路标志预选框之间的交并比，得到各初始道路标志预选框对应的目标交并比；
149.通过所述各初始道路标志预选框对应的目标交并比对所有初始道路标志预选框
进行筛选，得到目标道路标志预选框，并将所述目标道路标志预选框对应的道路标志分类结果设置为道路标志信息。
150.可选的，所述判断模块303具体用于：
151.根据所述道路标志信息，生成基准自动驾驶参数，并对所述道路标志信息进行类型识别，得到所述道路标志信息对应的类型信息，所述类型信息包括限速类型、限行类型和指示类型中的任意一种；
152.获取预置的自动驾驶策略，并提取所述自动驾驶策略中所述类型信息对应的目标自动驾驶参数；
153.通过所述基准自动驾驶参数与所述目标自动驾驶参数，判断所述道路标志信息与所述自动驾驶策略是否存在冲突。
154.可选的，所述生成模块304具体用于：
155.若所述道路标志信息与所述自动驾驶策略存在冲突，则获取所述道路标志信息对应的路况提醒模板；
156.通过所述路况提醒模板生成所述道路标志信息对应的路况提醒信息。
157.本发明实施例中，获取自动驾驶过程中实时采集的初始道路监控图像后，对初始道路监控图像进行数据增强处理，得到数据增强后的多个目标道路监控图像，再通过训练好的道路标志识别模型对各目标道路监控图像进行特征提取，得到多个初始特征图像之后，通过多尺寸先验框对多个初始特征图像进行道路标志定位，得到多个初始道路标志预选框，接着，采用非极大值抑制算法进行预选框筛选，得到目标道路标志预选框和目标道路预选框对应的道路标志信息，将道路标志信息与预置的自动驾驶策略进行比对，以判断实际的道路标志信息与指示自动驾驶终端行驶的自动驾驶策略之间是否存在冲突，若存在冲突，则及时地生成路况提醒信息，以提醒驾驶员注意实际路况，本发明可以提高提醒时机与实际路况的匹配度。
158.上面图3和图4从模块化功能实体的角度对本发明实施例中的基于自动驾驶的路况提醒装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于自动驾驶的路况提醒设备进行详细描述。
159.图5是本发明实施例提供的一种基于自动驾驶的路况提醒设备的结构示意图，该基于自动驾驶的路况提醒设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于自动驾驶的路况提醒设备500中的一系列计算机程序操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于自动驾驶的路况提醒设备500上执行存储介质530中的一系列计算机程序操作。
160.基于自动驾驶的路况提醒设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图5示出的基于自动驾驶的路况提醒设备结构并不构成对基于自动驾驶的路
况提醒设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
161.本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读计算机程序，计算机可读计算机程序被处理器执行时，使得处理器执行上述各实施例中的所述基于自动驾驶的路况提醒方法的步骤。
162.本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行所述基于自动驾驶的路况提醒方法的步骤。
163.进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
164.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
165.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
166.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
167.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。