一种道路交通标记的检测方法

1.本发明涉及交通标志检测技术领域，尤其涉及一种道路交通标记的检测方法。


背景技术：

2.近年来，智能交通系统发展十分迅速，自动驾驶在智能交通系统效率的提升中扮演着十分重要的作用。在与自动驾驶相关的所有技术当中，交通标志检测技术发挥着极大的作用。交通标志中往往包含着道路信息，以及行车提示信息，这些信息的获取会极大地帮助车主进行车辆驾驶。对交通标志准确的检测会帮助计算机更好地理解道路信息，从而为车主的驾驶提供良好的辅助作用。在现实的场景中，汽车上的摄像头获取到的图像当中，交通标志占据的比例往往特别小，加上各种其他因素，比如光照的影响，使得交通标志检测这一任务具有很大的挑战性。
3.目标检测相关的技术已经比较成熟，这些技术往往针对的是通用的目标检测任务。传统的方法中往往利用图像的一些固有信息，如颜色纹理信息来检测目标的存在情况，但这些方法容易受到采样环境的影响，并且由于存在很多需要人为设置的参数，这使得方法的检测效果变化比较大，从而难以被稳定利用。随着深度学习的发展，一些基于深度网络的方法陆续被提出。
4.目前，现有技术中的一种目标检测方法为：采用传统的交通标志检测技术。该方法的缺点是利用的往往是图像自身的一些属性，比如颜色纹理等，另外还有很多需要人工调整的参数。这些问题都使得方法的应用具有很大的局限性。
5.目前，现有技术中的另一种目标检测方法为：采用基于深度学习的方法，该方法研究的是通用目标检测，即研究的是常见的一些目标物体，如桌椅板凳，电视机，电冰箱等。和交通标志比，这些对象在图像中占据的比例较大，因此在检测上要更加容易一些。该方法的缺点是由于交通标志具有面积小，占比小，交通标志间相似性高的特点。这些都是通用目标不具备的特点，因此，该方法对交通标志的检测精度不高，会出现极大的性能下降情况。


技术实现要素：

6.本发明的实施例提供了一种道路交通标记的检测方法，以实现准确快速地检测出交通标志所在的位置以及类别。
7.为了实现上述目的，本发明采取了如下技术方案。
8.一种道路交通标记的检测方法，包括：
9.利用训练图像对res2net神经网络进行训练，将训练好的res2net神经网络作为特征提取网络；
10.将采集的待检测道路的图像输入到所述特征提取网络，所述特征提取网络在待检测道路的图像上生成交通标记的初步的候选框；
11.通过神经网络预测各个所述初步的候选框的得分，选出得分最高的若干候选框，并对所述若干候选框进行调整，得到各个预测框，根据各个预测框得到待检测道路的交通
标记的检测结果。
12.优选地，所述的利用训练图像对res2net神经网络进行训练，将训练好的res2net神经网络作为特征提取网络，包括：
13.利用res2net神经网络提取训练数据集中的图像的特征信息，根据特征信息使用区域特征提案方法预测产生多个候选框以及候选框的目标得分，候选框表示可能存在交通标志的区域的位置，目标得分表示候选框包含交通标志可能性的大小；
14.结合候选框的目标得分信息以及与真实目标框的交并比信息得到候选框最终的预测结果得分，将候选框最终的预测结果得分按照从大到小的顺序进行排序，对选择出来的候选框进行进一步的调整，得到候选框最终的预测位置与目标类别；
15.将调整后的若干候选框参与res2net神经网络的训练，计算若干候选框的预测损失，该预测损失包含分类损失和位置损失，选出损失最大的若干候选框再次进行res2net神经网络的调整训练，再次计算预测损失，进一步对res2net神经网络进行反向传播，进一步优化res2net神经网络的参数，经过多次迭代优化过程，得到训练好的res2net神经网络，将训练好的res2net神经网络作为特征提取网络。
16.优选地，所述候选框最终的预测结果得分的计算公式如下所示：
17.s
score-iou
＝s
score
+s
iou-λ|s
score-s
iou
|
18.其中λ是超参数，s
score
表示候选框的目标得分，s
iou
表示候选框与真实的目标框的交并比，交并比的计算方式为两个框的相交部分面积与总面积之比，s
score-iou
表示候选框最终的预测结果得分。
19.优选地，将目前开源的交通标志检测数据集作为训练数据集，或者，通过车载摄像头对道路情况进行实时拍摄采样，将得到的道路的图像进行存储，得到训练数据集。
20.优选地，所述的特征提取网络在待检测道路的图像上生成交通标记的初步的候选框，包括：
21.通过车载摄像头以一定时间间隔采集待检测道路的图像，将待检测道路的图像输入特征提取网络。特征提取网络在待检测道路的图像上生成交通标记的初步的候选框。
22.优选地，所述的通过神经网络预测各个所述初步的候选框的得分，选出得分最高的若干候选框，并对所述若干候选框进行调整，得到各个预测框，根据各个预测框得到待检测道路的交通标记的检测结果，包括：
23.通过神经网络预测得到各个初步的候选框的得分，选出得分最高的若干候选框，并对若干候选框进行调整，得到各个预测框，将各个预测框输入到后续神经网络当中，神经网络在输入的候选框的基础之上预测目标框的具体的位置以及类别；
24.利用极大值抑制方法去除冗余的目标框，根据剩下的目标框得到待检测道路的交通标记的检测结果，该检测结果包括道路图像中存在交通标志的位置以及交通标志的类别，将检测结果在道路图像中进行标注，给出对应的交通标志所包含的提示信息。
25.由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法结合了比较高效的特征提取方式，高效的采样方式，以及样本后处理方式，能够准确快速地检测出交通标志所在的位置以及类别，并给出提示信息，辅助道路车辆的安全行驶。
26.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
27.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例提供的一种道路交通标记的检测方法的处理流程的处理流程图；
29.图2为本发明实施例提供的一种res2net网络的结构图。
具体实施方式
30.下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
31.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
32.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
33.为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
34.针对上述提出的问题，本发明实施例在主流检测方法的基础上，提出了一种道路交通标记的检测方法，该方法基于目前比较好的fasterrcnn框架，结合各种有效信息，提高交通标志检测的效率，为车辆行驶提供一定的辅助作用。
35.本发明实施例提供的一种道路交通标记的检测方法的处理流程如图1所示，包括如下的处理步骤：
36.步骤s10、利用道路的采样图像对res2net神经网络进行训练，将训练好的res2net神经网络作为特征提取网络。
37.图2为本发明实施例提供的一种res2net网络的结构图，res2net神经网络需要大量的训练数据。训练数据的获取有两种方式，一种是利用目前开源的大型交通标志检测数据集作为训练数据集，如tsinghua-tencent100k交通标志数据集，gtsdb数据集。另外一种方式是利用通过车载摄像头对道路情况进行实时拍摄采样，将得到的道路的图像进行存储，得到训练数据集。
38.利用res2net神经网络提取到训练数据集中的图像的特征信息，使用区域特征提
案方法预测产生一系列的候选框以及候选框的目标得分，候选框表示可能存在交通标志的区域的位置，目标得分表示候选框包含交通标志可能性的大小，是通过神经网络预测得到的。
39.结合候选框的目标得分信息以及与真实目标框的交并比信息，选择质量比较好的候选框参与res2net神经网络的训练。对被选择的候选框进行进一步的调整，得到最终的预测位置与目标类别，即得到候选框最终的预测结果得分。
40.本方法中同时结合了预测得分和与真实目标框的交并比这两个评价指标。候选框最终的预测结果得分的计算公式如下所示：
41.s
score-iou
＝s
score
+s
iou-λ|s
score-s
iou
|
42.其中λ是超参数，s
score
表示候选框的目标得分，s
iou
表示候选框与真实的目标框的交并比，交并比的计算方式为两个框的相交部分面积与总面积之比，s
score-iou
表示候选框最终的预测结果得分。
43.将候选框最终的预测结果得分按照从大到小的顺序进行排序，选择排列靠前的若干候选框参与后面的处理过程。考虑了两种评价指标的好处在于，选出的样本能够更加靠近真实的框，从而提高训练效率，最终提升检测效果。
44.计算候选框的预测损失，预测损失包含分类损失和位置损失，其中分类损失的计算方式为交叉熵损失函数，位置损失的计算方式是smooth_l1损失函数。根据预测损失值对res2net神经网络进行反向传播，优化res2net神经网络的参数。选出损失最大的若干预测框再次进行res2net神经网络的调整训练，再次计算预测损失，进一步对res2net神经网络进行反向传播，进一步优化res2net神经网络的参数，得到训练好的res2net神经网络，将训练好的res2net神经网络作为特征提取网络。
45.步骤s20、通过车载摄像头以一定时间间隔采集待检测道路的图像，将待检测道路的图像输入特征提取网络。特征提取网络在待检测道路的图像上生成交通标记的初步的候选框。
46.步骤s30、通过神经网络预测得到各个初步的候选框的得分，选出得分最高的若干候选框，对若干候选框进行进一步的调整，得到各个预测框。将各个预测框输入到后续神经网络当中，神经网络在输入的候选框的基础之上预测目标框的具体的位置以及类别。
47.步骤s40、利用极大值抑制方法去除冗余的目标框，根据剩下的目标框得到待检测道路的交通标记的检测结果，该检测结果包括道路图像中存在交通标志的位置以及交通标志的类别，然后将检测结果在道路图像中进行标注，给出对应的交通标志所包含的提示信息。
48.综上所述，本发明实施例的方法利用网络来学习交通标志的特征，减少了人工设置大量超参数带来的不稳定性，以及直接使用低级特征所带来的表达性不足为问题。
49.本发明实施例的方法是专门针对交通标志检测任务下的小目标检测的。相对于通用目标检测方法，更具有针对性，实际的效果也比通用的目标检测方法好。
50.本方法中所提出的特征提取方法，采样方法以及样本后处理方法亦可用于其他类别的目标检测方法当中，本方法具有一定的通用性。
51.本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
52.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
53.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
54.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。