一种基于模板自监督的路面箭头识别方法及装置

1.本发明涉及一种基于模板自监督的路面箭头识别方法及装置，属于图像处理技术领域。


背景技术：

2.在智能驾驶以及智能交通设施等领域都需要自动识别车道的导向箭头，本发明公开了一种更先进的路面导向箭头识别方法，可以在上述领域应用。目前的路面箭头识别方法需要先对传感器获取的图像进行透视变换，得到没有变形的俯视图，然后采用模板匹配的方式识别箭头；或者人工搜集大量的箭头图像标标注后训练分类器进行识别。模板自监督的识别方法仅利用模板而不需要任何的人工标注就可完成箭头识别模型的训练。通过模板的自动变换得到模拟各种视角的箭头图片，然后成对地输入模型训练一个能够判断实例与模板是否匹配的深度模型，即可用于箭头的识别。


技术实现要素：

3.本发明的目的在于克服现有技术中的不足，提供一种基于模板自监督的路面箭头识别方法及装置，仅利用模板而不需要任何的人工标注就可完成箭头识别模型的训练，通过模板的自动变换得到模拟各种视角的箭头图片，然后成对地输入模型训练一个能够判断实例与模板是否匹配的深度模型，即可用于箭头的识别。
4.为达到上述目的，本发明是采用下述技术方案实现的：
5.第一方面，本发明提供了一种基于模板自监督的路面箭头识别方法，包括：
6.使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，获取训练好的网络，其中，扩充数据集为箭头模板及其对应实例样本的扩充数据集；
7.使用所述训练好的网络识别箭头图像的类别。
8.进一步的，所述扩充数据集构建时采用的具体数据扩充方法为：
9.将每一幅模板图像通过透视变换得到不同角度的箭头图像1200幅，该变换涵盖：方位角0到360度，步进间隔为45度，共8种；俯仰角0到-70度，步进间隔为-5度，共15种；视角42度到132度，步进间隔为10度，共10种；
10.将扩充后的图像与其对应的箭头模板构成正对，与其余箭头模板构成负对。
11.进一步的，所述自监督模板对比学习模型的具体网络结构为：
12.选择任意一种具有特征提取能力的神经网络作为编码器提取特征，图像经过编码器计算得到特征向量:
13.h＝f(x)；
14.使用两层全连接网络作为投影层，将特征图投影到用于对比损失的空间中，投影向量z为特征向量h在投影层的输出:
15.z＝g(h)＝w
(2)
σ(w
(1)
h)；
16.其中，σ表示relu激活函数；
17.给定一对图像{x，t}，利用余弦相似度来定义其间的相似度：
[0018][0019]
构建待优化的损失函数：
[0020][0021]
其中τ是超参，解释为温度参数，能加强负对间的排斥效果，提高损失函数的优化能力，加快收敛速度。
[0022]
进一步的，所述使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，包括：
[0023]
将组合得到的正对和负对输入预先构建的自监督模板对比学习模型中，图像与模板经过编码器计算分别得到特征向量hi、h
t
:
[0024]hi
＝f(xi)；h
t
＝f(x
t
)；
[0025]
将得到的特征向量投影到用于对比损失的映射空间中，zi、z
t
分别为图像特征向量hi、模板特征h
t
在投影层的输出:
[0026]
zi＝g(hi)＝w
(2)
σ(w
(1)hi
)；z
t
＝g(h
t
)＝w
(2)
σ(w
(1)ht
)；
[0027]
网络根据损失函数的反向传播自动调整参数。
[0028]
进一步的，所述使用所述训练好的网络识别箭头图像的类别，包括：
[0029]
将待识别的箭头图像送入已训练好的特征提取网络中，并得到其特征向量；
[0030]
使用相似度计算公式，计算该图像的特征向量与各个模板向量的相似度；
[0031]
将该箭头图像识别为相似度最大的箭头类别。
[0032]
第二方面，本发明提供一种基于模板自监督的路面箭头识别装置，包括：
[0033]
训练单元，用于使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，获取训练好的网络，其中，扩充数据集为箭头模板及其对应实例样本的扩充数据集；
[0034]
识别单元，用于使用所述训练好的网络识别箭头图像的类别。
[0035]
第三方面，本发明提供一种基于模板自监督的路面箭头识别装置，包括处理器及存储介质；
[0036]
所述存储介质用于存储指令；
[0037]
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
[0038]
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
[0039]
与现有技术相比，本发明所达到的有益效果：
[0040]
本发明使用自监督对比学习结合国标中的模板箭头的图像经过学习实现箭头图像的分类，仅利用模板而不需要任何的人工标注就可完成箭头识别模型的训练，通过模板的自动变换得到模拟各种视角的箭头图片，然后成对地输入模型训练一个能够判断实例与模板是否匹配的深度模型，即可用于箭头的识别，自监督对比学习可以有效地避免人工标
注的依赖，在不需要人工监督的情况下训练完成可靠的识别模型。
附图说明
[0041]
图1是本发明实施例提供的一种基于模板自监督的路面箭头识别方法的流程图；
[0042]
图2是本发明实施例提供的我国国标中的11种箭头模板图像；
[0043]
图3是本发明实施例提供的部分扩充数据展示图；
[0044]
图4是本发明实施例提供的模板自监督对比学习神经网络训练过程图；
[0045]
图5是本发明实施例提供的实际拍摄的左转掉头复合方向箭头，以及本方法匹配成功的模板图像。
具体实施方式
[0046]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0047]
实施例1
[0048]
本实施例介绍一种基于模板自监督的路面箭头识别方法，包括：
[0049]
使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，获取训练好的网络，其中，扩充数据集为箭头模板及其对应实例样本的扩充数据集；
[0050]
使用所述训练好的网络识别箭头图像的类别。
[0051]
下面以我国国标中的11种箭头为例附图对本发明的技术方案做了进一步的详细说明。
[0052]
本实施例提供的基于模板自监督的路面箭头识别方法，其应用过程具体涉及如下步骤：
[0053]
步骤s1：构建箭头模板及其对应实例样本的扩充数据集；
[0054]
步骤s2：构建包含编码器和投影层的自监督模板对比学习模型；
[0055]
步骤s3：利用步骤s1的模型在步骤s2的扩充数据集上训练；
[0056]
步骤s4：使用步骤s3中训练好的网络识别箭头图像的类别。
[0057]
根据权利要求1所述的一种基于模板自监督的路面箭头识别方法，如图1所示，其特征在于，所述步骤s1中的具体数据扩充方法为：
[0058]
s1.1将每一幅模板图像通过透视变换得到不同角度的箭头图像1200幅，如图2所示为国标中的11种模板图像，图3为选取的部分变换图像样例，该变换涵盖：方位角0到360度，步进间隔为45度，共8种；俯仰角0到-70度，步进间隔为-5度，共15种；视角42度到132度，步进间隔为10度，共10种。
[0059]
s1.2：将扩充后的图像与其对应的箭头模板构成正对，与其余箭头模板构成负对。
[0060]
根据权利2要求所述的一种基于模板自监督的路面箭头识别方法，其特征在于，步骤s2中的自监督模板对比学习具体网络结构为：
[0061]
s2.1：选择任意一种具有特征提取能力的神经网络作为编码器提取特征，包含vggnet、googlenet、resnet、densenet等在内所有卷积层与池化层的复合而成的网络均可使用。图像经过编码器计算得到特征向量:
[0062]
h＝f(x)；
[0063]
s2.2：使用两层非线性mlp作为投影层，将特征向量投影到用于对比损失的空间中。投影向量z为特征向量h在投影层的输出:
[0064]
z＝g(h)＝w
(2)
σ(w
(1)
h)；
[0065]
其中，σ表示relu激活函数；
[0066]
s2.3：给定一对图像{x，t}，利用余弦相似度来定义其间的相似度：
[0067][0068]
s2.4：利用损失函数进行反向传播，优化网络参数：
[0069][0070]
其中，τ为温度参数，取值为0.1。
[0071]
根据权利要求3所述的一种基于模板自监督的路面箭头识别方法，如图4所示，其特征在于，所述步骤s3中训练网络的具体步骤为：
[0072]
s3.1：将步骤s1组合得到的正负对输入步骤s2构建的网络结构中，图像与模板经过编码器计算分别得到特征向量hi、h
t
:
[0073]hi
＝f(xi)；h
t
＝f(x
t
)；
[0074]
s3.2：将得到的特征向量投影到用于对比损失的映射空间中，zi、z
t
分别为图像特征向量hi、模板特征h
t
在投影层的输出:
[0075]
zi＝g(hi)＝w
(2)
σ(w
(1)hi
)；z
t
＝g(h
t
)＝w
(2)
σ(w
(1)ht
)；
[0076]
s3.3：网络根据损失函数的反向传播自动调整参数，pytorch、tensorflow等深度学习工具箱均可使用。
[0077]
根据权利要求4所述的一种基于模板自监督的路面箭头识别方法，其特征在于，将所述步骤s3中的训练好的网络应用在具体的分类任务中，其具体步骤为：
[0078]
s4.1：将待识别的箭头图像送入步骤s3已训练好的特征提取网络中，并得到其特征向量；
[0079]
s4.2：使用步骤s2.3中的相似度计算公式，计算该图像的特征向量与各个模板向量的相似度；
[0080]
s4.3：将该箭头图像识别为相似度最大的箭头类别。
[0081]
图5左边为实际拍摄的路面左转掉头复合箭头图像，在利用本专利方法与模板库中箭头比对后，成功配对模板库中的左转掉头复合箭头。
[0082]
实施例2
[0083]
本实施例提供一种基于模板自监督的路面箭头识别装置，包括：
[0084]
训练单元，用于使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，获取训练好的网络，其中，扩充数据集为箭头模板及其对应实例样本的扩充数据集；
[0085]
识别单元，用于使用所述训练好的网络识别箭头图像的类别。
[0086]
实施例3
[0087]
本实施例提供一种基于模板自监督的路面箭头识别装置，包括处理器及存储介质；
[0088]
所述存储介质用于存储指令；
[0089]
所述处理器用于根据所述指令进行操作以执行根据下述任一项所述方法的步骤：
[0090]
使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，获取训练好的网络，其中，扩充数据集为箭头模板及其对应实例样本的扩充数据集；
[0091]
使用所述训练好的网络识别箭头图像的类别。
[0092]
实施例4
[0093]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述任一项所述方法的步骤；
[0094]
使用预先构建的包含编码器和投影层的自监督模板对比学习模型在预先构建的扩充数据集上训练，获取训练好的网络，其中，扩充数据集为箭头模板及其对应实例样本的扩充数据集；
[0095]
使用所述训练好的网络识别箭头图像的类别。
[0096]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。