基于交通信息的车辆预警方法、系统、存储介质及车辆与流程

1.本发明涉及车辆技术领域，特别涉及一种基于交通信息的车辆预警方法、系统、存储介质及车辆。


背景技术：

2.目前，礼让行人预警方法大多基于超声波雷达等车载传感器，检测精度不高且容易产生误检测；而交通信号灯信息检测方法大多利用车载摄像头对当前行驶环境中的交通信号灯信息进行拍摄识别后感知，但在复杂的交通场景下，由于动态行驶过程中交通背景、光线以及目标尺度大小不同等影响因素的干扰，其检测精度也有待提高。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于交通信息的车辆预警方法、系统、存储介质及车辆，旨在解决现有技术中在对道路交通信息进行检测时检测精度低的问题。
4.本发明实施例是这样实现的：一种基于交通信息的车辆预警方法，所述方法包括：在车辆行驶过程中，获取设于车辆前端的图像采集装置采集到的道路信息图像；将所述道路信息图像输入至预训练的交通检测模型当中，以获取当前交通信息，所述交通信息至少包括斑马线信息、行人信息以及交通信号灯信息；根据所述斑马线信息、行人信息以及交通信号灯信息判断所述车辆是否满足预警条件；若是，则发出预警信息；其中，所述预警条件为行人正在过斑马线以及交通信号灯为禁行信号灯中的任意一种。
5.进一步地，上述基于交通信息的车辆预警方法，其中，所述将所述道路信息图像输入至预训练的交通检测模型当中，以获取当前交通信息，所述交通信息至少包括斑马线信息、行人信息以及交通信号灯信息的步骤之前还包括：采集真实行驶场景下的历史交通信号灯、斑马线以及行人图像数据以获取数据集；根据所述数据集对预设神经网络进行训练直至所述预设神经网络中的损失函数值稳定在预设范围内。
6.进一步地，上述基于交通信息的车辆预警方法，其中，所述预设神经网络的训练过程包括：通过特征融合在所述预设神经网络上增加一个预设尺度的输出层，利用所述预设神经网络的卷积层倒数第二层对特征图进行上采样，并将所述上采样的特征与所述预设神经网络的第四层卷积层的输出相结合。
7.进一步地，上述基于交通信息的车辆预警方法，其中，所述预设神经网络的训练过
程还包括：应用1
×
1卷积层将所述预设神经网络中的特征图的通道维度降低到预设维度；将所述特征图依次进行不同预设尺度的池化，并将同一层池化的多尺度的所述特征图连接起来，以融合多尺度局部区域特征。
8.进一步地，上述基于交通信息的车辆预警方法，其中，所述损失函数为：；其中，y表示实际标注的样本，1表示正样本，0表示负样本，p表示预测样本属于1的概率，α表示平衡因子，γ表示调制系数。
9.进一步地，上述基于交通信息的车辆预警方法，其中，所述采集真实行驶场景下的历史交通信号灯、斑马线以及行人图像数据以获取数据集的步骤之前还包括：在所述车辆行驶过程中，实时录制视频信息，根据所述视频信息截取不同场景帧下包含所述斑马线信息、行人信息以及交通信号灯信息的历史图像数据；根据所述历史图像数据对所述数据集进行扩展。
10.进一步地，上述基于交通信息的车辆预警方法，其中，所述发出预警信息的步骤之后还包括：当判断到所述车辆满足预警停止条件时，控制所述车辆停止发送所述预警信息；其中，所述预警停止条件为行人已经通过斑马线且交通信号灯处于可通行状态。
11.本发明的另一个目的在于提供一种基于交通信息的车辆预警系统，所述系统包括：图像采集模块，用于在车辆行驶过程中，获取设于车辆前端的图像采集装置采集到的道路信息图像；检测模块，用于将所述道路信息图像输入至预训练的交通检测模型当中，以获取当前交通信息，所述交通信息至少包括斑马线信息、行人信息以及交通信号灯信息；判断模块，用于根据所述斑马线信息、行人信息以及交通信号灯信息判断所述车辆是否满足预警条件；预警模块，用于当判断到所述车辆满足预警条件时，发出预警信息；其中，所述预警条件为行人正在过斑马线以及交通信号灯为禁行信号灯中的任意一种。
12.本发明的另一个目的是提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的方法的步骤。
13.本发明的另一个目的是提供一种车辆，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
14.本发明通过实时采集车辆前方的道路信息，并通过预训练的交通检测模型对道路信息进行分析检测以确定斑马线信息、行人信息以及交通信号灯信息，并根据斑马线信息、行人信息以及交通信号灯信息确定是否需要发出预警信息，由于，预训练的交通检测模型通过不同真实驾驶场景的图像数据进行训练，掌握了斑马线、行人以及交通信号灯等目标的主要特征，可以准确的输出道路信息中包含的斑马线、行人以及交通信号灯信息，避免了
交通背景、光线等其他影响因素的干扰提升了检测精度，解决了现有技术中对交通信号灯、行人以及斑马线进行检测时精度低的问题。
附图说明
15.图1为本发明第一实施例中提供的基于交通信息的车辆预警方法的流程图；图2为本发明第三实施例中提供的基于交通信息的车辆预警系统的结构框图。
16.如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
17.为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
18.需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
20.在交叉路口，闯红灯和礼让行人是最常见的交通违章行为之一，不仅驾驶员将受到相应处罚，同时对交通安全也造成了巨大隐患。因此，如何对交通信号灯信息及礼让行人预警信息进行准确的感知和获取变得尤为重要。
21.目前，礼让行人预警方法大多基于超声波雷达等车载传感器，检测精度不高且容易产生误检测；而交通信号灯信息检测方法大多利用车载摄像头对当前行驶环境中的交通信号灯信息进行拍摄识别后感知，但在复杂的交通场景下，由于动态行驶过程中交通背景、光线以及目标尺度大小不同等影响因素的干扰，其检测精度也有待提高。
22.以下将结合具体实施例和附图来详细说明如何提升车辆在交叉路口对交通信号灯、行人以及斑马线进行识别的精准度。
23.实施例一请参阅图1，所示为本发明第一实施例中的基于交通信息的车辆预警方法，所述方法包括步骤s10~s13。
24.步骤s10，在车辆行驶过程中，获取设于车辆前端的图像采集装置采集到的道路信息图像。
25.其中，车辆行驶过程中，表示车辆在道路上行驶或者车辆在道路上发动机处于启动状态，图像采集装置包括但不限于摄像头，在具体实施时，图像采集装置可以设置在车辆的前挡风玻璃处也可以车辆前方的其他位置，目的是为了能够对车辆前方的道路信息进行采集，具体的，可以通过拍摄前方道路的视频信息，再对该视频信息进行预设帧的截取获取道路信息图像，或者在车辆行驶过程中一直连续拍摄图像以获取实时的道路信息图像。
26.步骤s11，将所述道路信息图像输入至预训练的交通检测模型当中，以获取当前交通信息，所述交通信息至少包括斑马线信息、行人信息以及交通信号灯信息。
27.其中，预训练的交通检测模型通过历史采集到的道路信息图像进行深度学习训练得到，其中，历史采集到的道路信息图像包含交通信号灯、斑马线以及行人图像数据，在进行深度学习训练后，交通检测模型可以对道路信息图像中的交通信号灯、斑马线以及行人信息进行检测，判断道路信息图像中是否存在交通信号灯、斑马线以及行人，以及根据检测结果确定行人与斑马线的相对位置。
28.步骤s12，根据所述斑马线信息、行人信息以及交通信号灯信息判断所述车辆是否满足预警条件，若是，执行步骤s13。
29.其中，预警条件为行人正在过斑马线以及交通信号灯为禁行信号灯中的任意一种，根据交通信号灯、斑马线以及行人信息可以确定行人与斑马线的相对位置，以及当前交通信号灯的状态，例如，通过检测到的行人目标是否在斑马线上来判断是否有行人正在过马路，以及通过检测到的交通信号灯的状态，例如，可通行状态（绿灯）或者禁行状态（红灯）或者待行状态（黄灯），从而确定是否要发出预警提示。
30.步骤s13，发出预警信息。
31.其中，预警信息可以根据当前检测到的交通信息对应的进行发送，例如，在检测到斑马线上有行人正在过马路时，发出礼让行人预警，而在检测到交通信号灯为红灯（禁行状态）时，则发出禁止通行预警，在具体实施时，可以同时对“斑马线上是否有行人”以及“交通信号灯是否为红灯”进行检测判断，也可以先对“斑马线上是否有行人”进行检测判断，在判断到斑马线上没有行人时，再判断“交通信号灯是否为红灯”，即优先礼让行人，示例而非限定，在本实施例当中，预警信息的方式包括但不限于语音或者标识，例如，通过车载显示系统（中控或仪表）对预警标识进行显示，或者通过车载语音系统进行语音播报“车辆前方有行人，请注意礼让”以及“前方红灯，请禁行等待”。
32.另外，在本发明一些可选的实施例当中，为了进一步的提升预警信息提示的人性化程度，所述发出预警信息的步骤之后还包括：当判断到所述车辆满足预警停止条件时，控制所述车辆停止发送所述预警信息；其中，所述预警停止条件为行人已经通过斑马线且交通信号灯处于可通行状态。
33.在具体实施时，实时跟踪检测上述斑马线、交通信号灯以及行人等多目标，并且当行人通过斑马线且交通信号灯为绿灯时停止发出预警信息。
34.综上，本发明上述实施例中的基于交通信息的车辆预警方法，通过实时采集车辆前方的道路信息，并通过预训练的交通检测模型对道路信息进行分析检测以确定斑马线信息、行人信息以及交通信号灯信息，并根据斑马线信息、行人信息以及交通信号灯信息确定是否需要发出预警信息，由于，预训练的交通检测模型通过不同真实驾驶场景的图像数据进行训练，掌握了斑马线、行人以及交通信号灯等目标的主要特征，可以准确的输出道路信息中包含的斑马线、行人以及交通信号灯信息，避免了交通背景、光线等其他影响因素的干扰提升了检测精度，解决了现有技术中对交通信号灯、行人以及斑马线进行检测时精度低的问题。
35.实施例二本实施例也提出一种基于交通信息的车辆预警方法，本实施例中的基于交通信息
的车辆预警方法与本发明实施例一当中的基于交通信息的车辆预警方法不同之处在于：步骤s11之前还包括：采集真实行驶场景下的历史交通信号灯、斑马线以及行人图像数据以获取数据集；根据所述数据集对预设神经网络进行训练直至所述预设神经网络中的损失函数值稳定在预设范围内。
36.具体的，采集真实行驶场景下的历史交通信号灯、斑马线以及行人图像数据，进行标注并建立数据集，采用预设神经网络对数据集中的交通信号灯、斑马线以及行人的样本数据进行训练，直至损失函数值稳定在预设范围，在本实施例当中，预设神经网络为yolov3-tiny算法，损失函数值稳定在预设范围表示损失函数值不再有明显变化。
37.更具体的，在进行训练时首先加载预训练权重文件，后加载建立的数据集以及对应标注文件，最后冻结预设神经网络的最后三层，训练预设轮次（例如50轮次），然后取消冻结，预设神经网络的所有层参与训练直至损失函数值不再有明显变化时提前终止训练。
38.另外，在本发明一些较佳的实施例当中，为了提升交通检测模型的检测精度，在进行预设神经网络的训练时，对预设神经网络进行多特征融合的进一步的改进，具体的，预设神经网络由13个卷积层、6个最大池化层、1个上采样层、1个级联层和2个输出层组成，通过特征融合在预设神经网络上增加一个预设尺度的输出层，利用预设神经网络的卷积层倒数第二层对特征图进行上采样，并将上采样的特征与所述预设神经网络的第四层卷积层的输出相结合。
39.其中，在本实施例当中，预设尺度为52
×
52，通过特征融合增加一个预设尺度的输出层，以增强模型检测小物体的能力，从yolov3-tiny的倒数第二层对特征图进行上采样，并将上采样的特征与所述预设神经网络的第四层卷积层的输出相结合的目的在于，该层携带有更多语义信息，而第四层卷积层保留有详细空间信息。
40.进一步的，应用1
×
1卷积层将所述预设神经网络中的特征图的通道维度降低到预设维度；将所述特征图依次进行不同预设尺度的池化，并将同一层池化的多尺度的所述特征图连接起来，以融合多尺度局部区域特征。
41.具体的，将空间金字塔池(spatial pyramid pooling, spp)模块引入到yolov3-tiny模型中，通过融合来自同一卷积层的多尺度局部区域特征来丰富深层特征。首先，应用1
×
1卷积将特征图的通道维度降低至预设维度，在本实施例当中，应用1
×
1卷积将特征图的通道维度从1024降低到256。然后将特征图通过将特征图依次进行不同预设尺度的池化，并将同一层池化的多尺度的所述特征图连接起来，以融合多尺度局部区域特征，用于目标检测。在本实施例当中，将特征图通过1
×
1、5
×
5、9
×
9和13
×
13四种不同尺度进行最大池化。
42.更进一步的，为了处理多目标数据集的正负样本不平衡问题并提高困难样本的检测精度，在本发明一些较佳的实施例当中，使用focal loss损失函数，具体的，focal loss损失函数可表示为：
；其中，y表示实际标注的样本，1表示正样本，0表示负样本，p表示预测样本属于1的概率，α表示平衡因子，γ表示调制系数。
43.在本实施例当中，α范围为0-1，γ范围为0-5，平衡因子α用来调节正负样本损失之间的比例，调制系数γ用来降低易分样本的损失比例，从而增加难分样本的损失比例，抑制简单/困难样本数量失衡。α和γ可以根据不同数据集的实际训练检测结果进行选取，以获得最佳效果，在本实施例当中α参考值为0.25，γ参考值为2。
44.另外，在本发明一些可选的实施例当中，所述采集真实行驶场景下的交通信号灯、斑马线以及行人图像数据以获取数据集的步骤之前还包括：在所述车辆行驶过程中，实时录制视频信息，根据所述视频信息截取不同场景帧下包含所述斑马线信息、行人信息以及交通信号灯信息的历史图像数据；根据所述历史图像数据对所述数据集进行扩展。
45.具体的，在车辆实时检测过程中录制视频信息，截取不同场景帧中包含检测目标的图像数据对数据集进行扩展，对新增图像数据进行标注，并不断学习，以提升数据集的丰富程度。
46.综上，本发明上述实施例中的基于交通信息的车辆预警方法，通过实施采集车辆前方的道路信息，并通过预训练的交通检测模型对道路信息进行分析检测以确定斑马线信息、行人信息以及交通信号灯信息，并根据斑马线信息、行人信息以及交通信号灯信息确定是否需要发出预警信息，由于，预训练的交通检测模型掌握了斑马线、行人以及交通信号灯等目标的主要特征，可以准确的输出道路信息中包含的斑马线、行人以及交通信号灯信息，提升了检测精度，并对预设神经网络进行针对性改进，使其能够融合多尺度特征并平衡类别之间的数量和检测难易程度差异，从而进一步的提升交通信息的检测精度，解决了现有技术中对交通信号灯、行人以及斑马线进行检测时精度低的问题。
47.实施例三请参阅图2，所示为本发明第三实施例当中提出的基于交通信息的车辆预警系统，所述系统包括：图像采集模块100，用于在车辆行驶过程中，获取设于车辆前端的图像采集装置采集到的道路信息图像；检测模块200，用于将所述道路信息图像输入至预训练的交通检测模型当中，以获取当前交通信息，所述交通信息至少包括斑马线信息、行人信息以及交通信号灯信息；判断模块300，用于根据所述斑马线信息、行人信息以及交通信号灯信息判断所述车辆是否满足预警条件；预警模块400，用于当判断到所述车辆满足预警条件时，发出预警信息；其中，所述预警条件为行人正在过斑马线以及交通信号灯为禁行信号灯中的任意一种。
48.进一步的，上述基于交通信息的车辆预警系统，其中，所述系统还包括：训练集采集模块，用于采集真实行驶场景下的历史交通信号灯、斑马线以及行人
图像数据以获取数据集；训练模块，用于根据所述数据集对预设神经网络进行训练直至所述预设神经网络中的损失函数值稳定在预设范围内。
49.进一步的，上述基于交通信息的车辆预警系统，其中，所述训练模块包括：特征融合单元，用于通过特征融合在所述预设神经网络上增加一个预设尺度的输出层，利用所述预设神经网络的卷积层倒数第二层对特征图进行上采样，并将所述上采样的特征与所述预设神经网络的第四层卷积层的输出相结合。
50.进一步的，上述基于交通信息的车辆预警系统，其中，所述训练模块还包括：降维单元，用于应用1
×
1卷积层将所述预设神经网络中的特征图的通道维度降低到预设维度；池化单元，用于将所述特征图依次进行不同预设尺度的池化，并将同一层池化的多尺度的所述特征图连接起来，以融合多尺度局部区域特征。
51.进一步的，上述基于交通信息的车辆预警系统，其中，所述训练模块中，所述损失函数为：；其中，y表示实际标注的样本，1表示正样本，0表示负样本，p表示预测样本属于1的概率，α表示平衡因子，γ表示调制系数。
52.进一步的，上述基于交通信息的车辆预警系统，其中，所述系统还包括：历史图像采集模块，用于在所述车辆行驶过程中，实时录制视频信息，根据所述视频信息截取不同场景帧下包含所述斑马线信息、行人信息以及交通信号灯信息的历史图像数据；扩展模块，用于根据所述历史图像数据对所述数据集进行扩展。
53.进一步的，上述基于交通信息的车辆预警系统，其中，所述系统还包括：预警停止模块，用于当判断到所述车辆满足预警停止条件时，控制所述车辆停止发送所述预警信息；其中，所述预警停止条件为行人已经通过斑马线且交通信号灯处于可通行状态。
54.上述各模块被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
55.实施例四本发明另一方面还提供一种可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例一至二中任意一个所述的方法的步骤。
56.实施例五本发明另一方面还提供一种车辆，所述车辆包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例一至二中任意一个所述的方法的步骤。
57.以上各个实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存
在矛盾，都应当认为是本说明书记载的范围。
58.本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
59.计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
60.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
61.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
62.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。