一种基于多任务模型的停车位识别方法和装置与流程

1.本发明涉及车辆技术领域，尤其涉及一种基于多任务模型的停车位识别方法和装置。


背景技术：

2.随着自动驾驶日益成熟，在智能驾驶领域中的自动停车技术有着越来越重要的应用。自动停车指不需要人为进行控制，汽车通过感知和控制算法自动停车入库。
3.停车位检测技术通常采用端到端的单阶段泊车位检测神经网络。该方法使用一阶段的检测网络进行泊车入口的检测，同时利用vgg-16作为主干网络进行特征提取。具体地，通过主干网络同时获取泊车位的全局语义特征和局部语义特征，利用二者信息的融合获取图像上泊车位的信息。
4.但是，该模型存在两个问题：第一，停车位检测包括分割任务和检测任务，单任务模型只有检测算法，在底层芯片算力一定的情况下，新增分割任务就需要搭建新的分割网络。第二，该模型使用多个模型头来进行任务处理，但是每个子任务头训练过程中loss的权重相差甚大。这样，使得模型的时间复杂度增加，模型精度降低。


技术实现要素：

5.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明第一方面提出一种基于多任务模型的停车位识别方法，所述方法包括：
6.获取待识别停车位的停车场图像；
7.利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；
8.利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；
9.将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。
10.可选的，所述目标神经网络模型通过以下方法训练得到：
11.将停车场样本图像数据集输入初始神经网络模型中，所述停车场样本图像中标注有真实对象区域和真实停车位入口信息；
12.利用所述初始神经网络模型，对所述停车场样本图像中包括的各个对象进行目标检测，得到多个预测对象区域；
13.利用所述初始神经网络模型，对各个所述预测对象区域进行全局特征提取和局部特征提取，得到预测停车位入口信息；
14.确定所述预测对象区域和所述真实对象区域之间的差值，得到第一残差；
15.确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，得到第二残差；
16.利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差；
17.基于所述目标残差修改所述初始神经网络模型的参数，对所述初始神经网络模型继续进行训练，直到所述目标残差小于预设阈值，则训练结束，得到目标神经网络模型。
18.可选的，所述利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差，包括：
19.将所述第一残差和所述第二残差代入预先确定的多任务自适应损失函数中，所述多任务自适应损失函数为：
[0020][0021]
其中，σi为各个任务的测量噪声，li(w)为各个任务对应的残差的二次方，为li(w)的权重项，为正则项，所述权重项和所述正则项的大小成反比。
[0022]
可选的，所述预测停车位入口信息包括预测入口角点方向和预测入口宽度，所述确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，包括：
[0023]
确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0024]
确定所述预测入口宽度和所述真实停车位入口信息中的真实入口宽度之间的宽度差值；
[0025]
将所述方向差值和所述宽度差值加权融合，得到所述预测停车位入口信息与所述真实停车位入口信息之间的差值。
[0026]
可选的，所述预测入口角点方向包括预测左角点方向和预测右角点方向，所述真实入口角点方向包括真实左角点方向和真实右角点方向，所述确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值，包括：
[0027]
确定所述预测左角点方向与所述真实左角点方向之间的左角点差值，并确定所述预测右角点方向与所述真实右角点方向之间的右角点差值；
[0028]
确定所述左角点方向的l1损失函数与所述左角点差值的乘积，并确定所述右角点方向的l1损失函数与所述右角点差值的乘积，分别得到第一乘积和第二乘积；
[0029]
确定所述第一乘积和所述第二乘积的和，得到初始方向差值；
[0030]
确定所述初始方向差值与预设约束项的和，得到所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0031]
其中，所述约束项用于约束所述预测左角点方向和所述预测右角点方向相近似。
[0032]
可选的，所述预设约束项为横坐标差值的绝对值和纵坐标差值的绝对值的和，所述横坐标差值为所述预测左角点的横坐标与所述预测右角点的横坐标的差，所述纵坐标差值为所述预测左角点的纵坐标与所述预测右角点的纵坐标的差。
[0033]
本发明第二方面提出一种基于多任务模型的停车位识别装置，所述装置包括：
[0034]
图像获取模块，用于获取待识别停车位的停车场图像；
[0035]
目标检测模块，用于利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；
[0036]
实例分割模块，用于利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；
[0037]
标注模块，用于将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。
[0038]
可选的，所述装置还包括模型训练模块，所述模型训练模块用于：
[0039]
将停车场样本图像数据集输入初始神经网络模型中，所述停车场样本图像中标注有真实对象区域和真实停车位入口信息；
[0040]
利用所述初始神经网络模型，对所述停车场样本图像中包括的各个对象进行目标检测，得到多个预测对象区域；
[0041]
利用所述初始神经网络模型，对各个所述预测对象区域进行全局特征提取和局部特征提取，得到预测停车位入口信息；
[0042]
确定所述预测对象区域和所述真实对象区域之间的差值，得到第一残差；
[0043]
确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，得到第二残差；
[0044]
利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差；
[0045]
基于所述目标残差修改所述初始神经网络模型的参数，对所述初始神经网络模型继续进行训练，直到所述目标残差小于预设阈值，则训练结束，得到目标神经网络模型。
[0046]
可选的，所述模型训练模块具体用于：
[0047]
将所述第一残差和所述第二残差代入预先确定的多任务自适应损失函数中，所述多任务自适应损失函数为：
[0048][0049]
其中，σi为各个任务的测量噪声，li(w)为各个任务对应的残差的二次方，为li(w)的权重项，为正则项，所述权重项和所述正则项的大小成反比。
[0050]
可选的，所述模型训练模块具体用于：
[0051]
确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0052]
确定所述预测入口宽度和所述真实停车位入口信息中的真实入口宽度之间的宽度差值；
[0053]
将所述方向差值和所述宽度差值加权融合，得到所述预测停车位入口信息与所述真实停车位入口信息之间的差值。
[0054]
可选的，所述预测入口角点方向包括预测左角点方向和预测右角点方向，所述真实入口角点方向包括真实左角点方向和真实右角点方向，所述模型训练模块具体用于：
[0055]
确定所述预测左角点方向与所述真实左角点方向之间的左角点差值，并确定所述预测右角点方向与所述真实右角点方向之间的右角点差值；
[0056]
确定所述左角点方向的l1损失函数与所述左角点差值的乘积，并确定所述右角点方向的l1损失函数与所述右角点差值的乘积，分别得到第一乘积和第二乘积；
[0057]
确定所述第一乘积和所述第二乘积的和，得到初始方向差值；
[0058]
确定所述初始方向差值与预设约束项的和，得到所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0059]
其中，所述约束项用于约束所述预测左角点方向和所述预测右角点方向相近似。
[0060]
本发明第三方面提出一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的基于多任务模型的停车位识别方法。
[0061]
本发明第四方面提出一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的基于多任务模型的停车位识别方法。
[0062]
本发明实施例具有以下有益效果：
[0063]
本发明实施例提供的基于多任务模型的停车位识别方法，获取待识别停车位的停车场图像；利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。本方案将目标检测和特征提取两个任务集成在目标神经网络中，无需搭建新的网络，并且采用多任务自适应损失函数可以有效的帮助模型更好的平衡任务间的梯度和权重，提高模型精度的同时不会增加模型算法的时间复杂度。
[0064]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0065]
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其它附图。
[0066]
图1为本发明实施例提供的第一种基于多任务模型的停车位识别方法的步骤流程图；
[0067]
图2为本发明实施例提供的停车位标注图像示意图；
[0068]
图3为本发明实施例提供的一种目标神经网络模型训练方法的步骤流程图；
[0069]
图4为本发明实施例提供的第二种基于多任务模型的停车位识别方法的步骤流程图；
[0070]
图5为本发明实施例提供的一种基于多任务模型的停车位识别装置的结构框图。
具体实施方式
[0071]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0072]
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或无创造性的劳动可以包括更多或者更少的操作步骤。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
[0073]
图1为本发明实施例提供的第一种基于多任务模型的停车位识别方法的步骤流程图。该方法可以包括如下步骤：
[0074]
步骤101、获取待识别停车位的停车场图像。
[0075]
在车辆进入停车场后，可以通过车身摄像头实时采集车辆周围的停车场图像，该停车场图像中可能包含已被占用的停车位和空闲停车位。具体地，该停车场图像可以为鸟瞰图。
[0076]
步骤102、利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域。
[0077]
本发明实施例中的目标神经网络模型为多任务模型，可执行目标检测任务和实例分割任务。目标神经网络模型将目标检测任务和实例分割任务的网络结构搭建在一起，在底层芯片算力一定的情况下，降低了模型部署的算法复杂度。
[0078]
停车场图像中往往有很多对象，例如车辆、人、建筑物、交通标志、车位线等，目标检测的目的是判断出各个对象出现的位置与类别，将各个不同的对象用检测框标记出来，并标注对象的类别。
[0079]
在本发明实施例中，检测框所包含的图像区域，为目标对象区域。
[0080]
步骤103、利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到。
[0081]
图像实例分割是在对象检测的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。
[0082]
实例分割是将目标对象区域中的每个对象都用不同的颜色表示，而且把每个对象从背景中分离出来。例如，目标对象区域包括多条车位线，将多条车位线组成的各个停车位用不同的颜色标记出来。
[0083]
然后，对每一个停车位通过卷积神经网络来提取对应的全局语义特征和局部语义特征，最后的检测结果是综合全局语义特征和局部语义特征后，得到空闲停车位的入口信息，对入口信息进行去重处理后输出，得到目标停车位入口信息。具体地，目标停车位入口信息包括入口角点方向和入口角点宽度。
[0084]
目标神经网络模型为多任务模型，相对于单任务模型，多任务模型有以下优势：多个任务共享一个模型，占用内存量减少；多个任务一次前向计算得出结果，推理速度增加；
关联任务通过共享信息，相互补充，可以提升彼此的表现。
[0085]
此外，目标神经网络模型需要处理实例分割和停车位目标检测，因此模型需要同时进行多个回归和分类任务，经过观察发现给予不同任务一个损失权重，极大的影响着总体任务的表现。但是人工的搜索这个权重是极其困难和消费资源的，为此本发明提出了基于分类和基于回归的多任务自适应损失函数学习这些权重，以在分类和回归设置中同时学习不同单位或尺度的不同参数，从而可以解决由于缺少训练数据而引起的认知不确定性，以及解决由于训练数据无法解释信息而引起的偶然不确定性。
[0086]
实验证明本模型可以学习多任务权重，并且优于进行单任务独立建模训练。
[0087]
步骤104、将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。
[0088]
具体地，目标停车位入口信息包括入口角点方向和入口宽度，在停车场图像的目标停车位中标注入口角点方向和入口宽度，以使车辆的自动泊车系统作为泊车位置参考，将车辆自动停放在目标停车位。
[0089]
图2为本发明实施例提供的停车位标注图像示意图。
[0090]
参照图2，目标神经网络模型共识别出两个目标停车位，其中，停车位1为斜向停车位，停车位2为水平停车位。
[0091]
a、b所示分别为停车位1入口的左角点和右角点，左角点a和右角点b之间的距离为入口宽度。
[0092]
综上，本发明实施例提供的基于多任务模型的停车位识别方法，获取待识别停车位的停车场图像；利用目标神经网络模型提取所述停车场图像包含的全局语义特征和局部语义特征；所述全局语义特征用于确定目标停车位的初始入口角点信息；所述目标停车位为可用于停车的空闲停车位；基于所述目标神经网络模型中包括的先验停车位入口信息和所述局部语义特征，对所述初始入口角点信息进行修正，得到目标入口角点信息，所述目标入口角点信息包括目标入口角点方向和目标入口宽度；所述先验停车位入口信息包括标准停车位的标准入口角点方向和标准入口宽度；将所述目标入口角点方向、所述目标入口宽度标注在所述目标停车位中，以引导车辆停车。本方案以先验停车位入口信息为指导进行停车位入口识别，减小了目标神经网络模型的计算量，使得模型达到实时的运算速度；并且，以先验知识的形式约束预测结果，可以提高停车位入口识别精度，有效地避免停车位误检和方向不准确的问题。
[0093]
图3为本发明实施例提供的一种目标神经网络模型训练方法的步骤流程图。该方法可以包括如下步骤：
[0094]
步骤201、将停车场样本图像数据集输入初始神经网络模型中，所述停车场样本图像中标注有真实对象区域和真实停车位入口信息。
[0095]
停车场样本图像可以是在现实场景中拍摄的停车场图像，也可以是从网络数据库中下载的。该数据集中包括真实停车位的标注信息，该标注信息可以为真实停车位的真实对象区域和真实停车位入口信息。
[0096]
初始神经网络模型使用mobilenetv2作为特征主干网络，在深度学习网络模型2倍、4倍、8倍、16倍和32倍的下采样过程中，特征信息从浅层的纹理，颜色和边界信息进行图像特征学习，深层的网络学习语义特征信息。由于停车位的入口信息属于高级的特征信息，
因此本文模型采用下采样到32倍大小的特征图进行特征提取。
[0097]
当然，该特征主干网络也可以根据具体应用场景进行相应地替换，例如采用vgg16作为特征主干网络。
[0098]
步骤202、利用所述初始神经网络模型，对所述停车场样本图像中包括的各个对象进行目标检测，得到多个预测对象区域。
[0099]
本发明实施例中的初始神经网络模型为多任务模型，可执行目标检测任务和实例分割任务。
[0100]
停车场图像中往往有很多对象，例如车辆、人、建筑物、交通标志、车位线等，目标检测的目的是判断出各个对象出现的位置与类别，将各个不同的对象用检测框标记出来，并标注对象的类别。
[0101]
在本发明实施例中，初始神经网络模型输出的检测框所包含的图像区域，为预测对象区域。
[0102]
步骤203、利用所述初始神经网络模型，对各个所述预测对象区域进行全局特征提取和局部特征提取，得到预测停车位入口信息。
[0103]
本发明实施例首先对预测对象区域进行单元格划分，通过卷积神经网络可以同时获取每个单元格的全局语义特征以及局部语义特征，利用二者信息的融合可以获取鸟瞰图上停车位的信息。
[0104]
其中，全局语义特征提取分支的输出包括四个部分。第一部分代表每个单元格是否为车位内部单元格，第二部分代表车位内部单元格预测输出停车位的类别，第三部分代表一个车位入口两个角点相对于车位内部每个单元格中心点的偏移量，第四部分代表车位内部单元格预测停车位是否被它车占用。
[0105]
通过全局语义提取分支得到的停车位类型和车位是否占用信息是准确的,但是预测车位入口边就不一定准确了，这是因为不同车位不同位置处的单元格距离车位入口角点的远近距离不同所导致的，为了进一步提升车位入口角点的定位准确性，我们还需要利用停车位的局部语义信息，以及先验停车位入口信息，对初始入口角点信息进行调整。
[0106]
局部语义提取分支的输出包括三个部分，第一部分代表每个单元格是否包含车位入口角点，第二部分代表一个车位入口角点相对于所属单元格中心点的偏移量，第三部分代表入口角点的方向。
[0107]
通过融合局部语义信息后，得到预测停车位入口信息。
[0108]
步骤204、确定所述预测对象区域和所述真实对象区域之间的差值，得到第一残差。
[0109]
具体地，确定预测对象区域对应的检测框和真实对象区域对应的检测框之间的差值，得到第一残差。
[0110]
步骤205、确定所述预测停车位入口信息与所述真实停车位入口信息之间的差值，得到第二残差。
[0111]
具体地，预测停车位入口信息包括预测入口角点方向和预测入口角点宽度，根据入口角点方向和入口角点宽度两个维度的差值，得到第二残差。
[0112]
在一种可能的实施方式中，所述预测停车位入口信息包括预测入口角点方向和预测入口宽度，步骤205包括：
[0113]
步骤2051、确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；
[0114]
步骤2052、确定所述预测入口宽度和所述真实停车位入口信息中的真实入口宽度之间的宽度差值；
[0115]
步骤2053、将所述方向差值和所述宽度差值加权融合，得到所述预测停车位入口信息与所述真实停车位入口信息之间的差值。
[0116]
在步骤2051-步骤2053中，确定预测入口角点方向和真实入口角点方向之间的差值，以及预测入口宽度和真实入口宽度之间的差值，将得到的两个差值进行加权融合，得到第二残差。
[0117]
其中，两个差值对应的权重可以根据经验进行预设。
[0118]
步骤206、利用预先确定的多任务自适应损失函数，确定所述第一残差和所述第二残差对应的目标残差。
[0119]
将第一残差和第二残差代入多任务自适应损失函数，以在分类和回归设置中同时学习不同单位或尺度的不同参数，从而可以解决由于缺少训练数据而引起的认知不确定性，以及解决由于训练数据无法解释信息而引起的偶然不确定性。
[0120]
步骤207、基于所述目标残差修改所述初始神经网络模型的参数，对所述初始神经网络模型继续进行训练，直到所述目标残差小于预设阈值，则训练结束，得到目标神经网络模型。
[0121]
确定目标残差与预设的残差阈值的大小关系，在目标残差大于残差阈值的情况下，利用目标残差修改模型的参数，然后继续利用数据集进行训练，直到最终目标残差小于残差阈值，或直到最终预测得到的预测入口角点信息符合预设的精度，这时，训练完成，得到目标神经网络模型。
[0122]
在一种可能的实施方式中，步骤206包括：
[0123]
将所述第一残差和所述第二残差代入预先确定的多任务自适应损失函数中，所述多任务自适应损失函数为：
[0124][0125]
其中，σi为各个任务的测量噪声，li(w)为各个任务对应的残差的二次方，为li(w)的权重项，为正则项，所述权重项和所述正则项的大小成反比。
[0126]
在本发明实施例中，多任务自适应损失函数推导如下：
[0127]
基于最大化同方差不确定性的高斯似然估计确定多任务损失函数，对于回归任务有：
[0128]
p(y|fw(x))＝n(fw(x)，σ2)
ꢀꢀ
(2)
[0129]
其中fw为网络的输出，即模型输出的预测值，w为该项输出的权重，y为模型任务。
[0130]
对于本发明实施例来说，模型任务包括分类任务和回归任务，其中，实例分割为分类任务，目标检测为回归任务。
[0131]
对于分类任务有：
[0132]
p(y|fw(x))＝softmax(fw(x)，σ2)
ꢀꢀ
(3)
[0133]
此外，多任务的高斯似然估计为：
[0134]
p(y1…
yk|fw(x))＝p(y1|fw(x))
…
p(yk|fw(x))
ꢀꢀ
(4)
[0135]
例如对于回归任务来说，极大似然估计转化为最小化负对数为：
[0136][0137]
其中，li(w)＝||y
i-fw(x)||2，yi为模型任务对应的真值，fw(x)为模型输出的该任务的预测值。
[0138]
由(2)(3)(4)(5)联合得出，本文实例分割和停车位目标检测任务y1、y2的概率如下：
[0139][0140]
因此，停车位检测的多任务自适应损失函数设计如下：
[0141][0142]
其中为任务对应的loss的权重，为loss的正则项。当过大时候，权重会减小，反之当过小时候，权重会变大。同时，的正则项设置可以有效的分支过拟合和训练严重失衡的问题。
[0143]
多任务学习中的一大关键挑战来自负迁移问题，即盲目的进行跨任务知识共享和迁移会迫使不相关任务间产生不当的知识迁移，最终导致过拟合。
[0144]
综上，本方案采用上述多任务自适应损失函数，有效的解决了多任务模型的负向迁移问题，提高了模型精度，保证了模型的健壮性和鲁棒性，使得多任务精度和效率优于单任务；此外，当过大时候，权重会减小，当过小时候，权重会变大，从而实现了权重的自适应，极大的减少训练网络过程中，人工搜索权重的工作量。
[0145]
在一种可能的实施方式中，如图4所示，所述预测入口角点方向包括预测左角点方向和预测右角点方向，所述真实入口角点方向包括真实左角点方向和真实右角点方向，所述确定所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值，包括以下步骤301-步骤304：
[0146]
步骤301、确定所述预测左角点方向与所述真实左角点方向之间的左角点差值，并确定所述预测右角点方向与所述真实右角点方向之间的右角点差值；
[0147]
步骤302、确定所述左角点方向的l1损失函数与所述左角点差值的乘积，并确定所述右角点方向的l1损失函数与所述右角点差值的乘积，分别得到第一乘积和第二乘积；
[0148]
步骤303、确定所述第一乘积和所述第二乘积的和，得到初始方向差值；
[0149]
步骤304、确定所述初始方向差值与预设约束项的和，得到所述预测入口角点方向和所述真实停车位入口信息中的真实入口角点方向之间的方向差值；其中，所述约束项用于约束所述预测左角点方向和所述预测右角点方向相近似。
[0150]
其中，所述预设约束项为横坐标差值的绝对值和纵坐标差值的绝对值的和，所述
横坐标差值为所述预测左角点的横坐标与所述预测右角点的横坐标的差，所述纵坐标差值为所述预测左角点的纵坐标与所述预测右角点的纵坐标的差。
[0151]
在步骤301-步骤304中，训练过程中，每个停车位两个前角点(即停车位入口的左角点和右角点)都需要预测两组方向。但是由于模型预测的误差和视角的偏移原因，两组方向会出现误差。因此，需要对两个前角点的方向误差进行约束，以提高模型的精度。
[0152]
具体根据以下式子确定预测入口角点方向和真实入口角点方向之间的方向差值：
[0153][0154]
其中，l为l1损失函数，l1损失函数用于最小化误差，该误差是真实值和预测值之间的所有绝对差之和。x
pred
，y
pred
分别为停车位入口的预测左角点方向向量和预测右角点方向向量，x
true
，y
true
分别为停车位入口的真实左角点方向向量和真实右角点方向向量。
[0155]
为约束项，用于约束所述预测左角点方向和所述预测右角点方向相近似。具体地，表示为|jx1-jx2|+|jy1-jy2|，其中(jx1,jy1)、(jx2,jy2)分别表示左角点方向和右角点方向。
[0156]
在本发明实施例中，上述方向差值加入的约束项，使得每个停车位入口的左角点方向和右角点方向相近似，使得两个角点方向之间的差值尽可能小，减少了停车位两个角点方向之间的误差，提高了模型的预测精度。
[0157]
图5为本发明实施例提供的一种基于多任务模型的停车位识别装置的结构框图。该装置400包括：
[0158]
图像获取模块401，用于获取待识别停车位的停车场图像；
[0159]
目标检测模块402，用于利用目标神经网络模型对所述停车场图像中包含的各个对象进行目标检测，得到多个目标对象区域；
[0160]
实例分割模块403，用于利用所述目标神经网络模型对各个所述目标对象区域进行实例分割和特征提取，得到目标停车位入口信息；所述目标停车位为用于停车的空闲停车位；所述目标神经网络模型为多任务模型，采用基于分类和基于回归的多任务自适应损失函数训练得到；
[0161]
标注模块404，用于将所述目标停车位入口信息标注在所述停车场图像上，以指引车辆停车。
[0162]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0163]
在本发明提供的又一实施例中，还提供了一种设备，所述设备包括处理器和存储器，所述存储器种存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现本发明实施例中所述的基于多任务模型的停车位识别方法。
[0164]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现本发明实施例中所述的基于多
任务模型的停车位识别方法。
[0165]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0166]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0167]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0168]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。