车位检测模型训练方法、车位检测方法及其装置与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种车位检测模型训练方法、车位检测方法及其装置。


背景技术：

2.相关技术中，用户对辅助泊车和自动泊车有着迫切需求，除了在道路上行驶以外，车辆还需驶入相应的停车位，这就需要对车辆附近的车位有精确地识别，才能规划好泊车路线，安全准确地泊车。但现有的计算车位角点的方式，每个车位只输出一组车位角点，有较强的随机性，且不同帧角点位置易跳动。


技术实现要素：

3.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
4.为此，本技术的一个目的在于提出一种车位检测模型训练方法，通过获取样本车位的样本图像，并从所述样本图像中获取所述样本车位的中心位置；根据所述中心位置，确定所述样本图像中的车位识别冗余区和车位角点回归冗余区；根据所述车位识别冗余区，对所述样本图像进行标记，生成所述样本图像的类别真值热力图，以及根据所述车位角点回归冗余区，对所述样本图像进行标记，生成所述样本图像的车位角点的回归真值热力图；基于所述样本图像、所述类别真值热力图和所述回归真值热力图，对车位检测模型进行训练，生成目标车位检测模型。
5.本技术在训练过程中，考虑到了车位类别识别和车位角点回归计算时的冗余，使得训练好的目标车位检测模型在车位识别时会考虑冗余区，能够更准确地检测出车位的中心位置、车位类别和角点位置。
6.本技术第二方面实施例提出了一种车位检测方法，包括：获取待预测的目标图像，其中，所述目标图像中至少包括一个待测车位；将所述目标图像输入目标车位检测模型中，以获取所述待测车位的目标中心位置、类别目标热力图和回归目标热力图，其中，所述类别目标热力图中包括用于车位类别识别的冗余区，所述回归目标热力图中包括用于车位角点回归的冗余区，所述目标车位检测模型由上述第一方面实施例中所述的车位检测模型训练方法训练生成；基于所述用于车位类别识别的冗余区和所述用于车位角点回归的冗余区，确定所述待测车位的目标车位类别和目标车位角点。
7.本技术第三方面实施例提出了一种车位检测模型训练装置，包括：获取模块，用于获取样本车位的样本图像，并从所述样本图像中获取所述样本车位的中心位置；确定模块，用于根据所述中心位置，确定所述样本图像中的车位识别冗余区和车位角点回归冗余区；生成模块，用于根据所述车位识别冗余区，对所述样本图像进行标记，生成所述样本图像的类别真值热力图，以及根据所述车位角点回归冗余区，对所述样本图像进行标记，生成所述样本图像的车位角点的回归真值热力图；训练模块，用于基于所述样本图像、所述类别真值热力图和所述回归真值热力图，对车位检测模型进行训练，生成目标车位检测模型。
8.本技术第四方面实施例提出了一种车位检测装置，包括：第一获取模块，用于获取待预测的目标图像，其中，所述目标图像中至少包括一个待测车位；第二获取模块，用于将所述目标图像输入目标车位检测模型中，以获取所述待测车位的目标中心位置、类别目标热力图和回归目标热力图，其中，所述类别目标热力图中包括用于车位类别识别的冗余区，所述回归目标热力图中包括用于车位角点回归的冗余区，所述目标车位检测模型由上述第三方面实施例中所述的车位检测模型训练装置训练生成；确定模块，用于基于所述用于车位类别识别的冗余区和所述用于车位角点回归的冗余区，确定所述待测车位的目标车位类别和目标车位角点。
9.本技术第五方面实施例提出了一种自动驾驶车辆，该自动驾驶车辆包括上述车位检测模型训练装置或车位检测装置。
10.为达上述目的，本技术第六方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本技术第一方面实施例所述的车位检测模型训练方法和第二方面实施例所述的车位检测方法。
11.为达上述目的，本技术第七方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本技术第一方面实施例所述的车位检测模型训练方法和第二方面实施例所述的车位检测方法。
附图说明
12.图1是本技术一个实施例示出的一种车位检测模型训练方法的示意图。
13.图2是本技术一个实施例示出的从样本图像中获取样本车位的中心位置的示意图。
14.图3是本技术一个实施例示出的样本图像的类别真值热力图的生成过程的示意图。
15.图4是本技术一个实施例示出的回归真值热力图的生成过程的示意图。
16.图5是本技术一个实施例示出的对车位检测模型进行训练，生成目标车位检测模型的示意图。
17.图6是本技术一个实施例示出的车位检测模型的算法示意图。
18.图7是本技术一个实施例示出的一种车位检测模型训练方法的示意图。
19.图8是本技术一个实施例示出的一种车位检测方法的示意图。
20.图9(a)是本技术一个实施例示出的目标中心位置热力图的示意图。
21.图9(b)是本技术一个实施例示出的类别目标热力图的示意图。
22.图9(c)是本技术一个实施例示出的回归目标热力图的示意图。
23.图10是本技术一个实施例示出的确定待测车位的目标车位类别和目标车位角点的示意图。
24.图11是本技术一个实施例示出的一种车位检测方法的示意图。
25.图12是本技术一个实施例示出的一种车位检测模型训练装置的示意图。
26.图13是本技术一个实施例示出的一种车位检测装置的示意图。
27.图14是本技术一个实施例示出的一种电子设备的示意图。
具体实施方式
28.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
29.图1是本技术提出的一种车位检测模型训练方法的示例性实施方式，如图1所示，该车位检测模型训练方法，包括以下步骤：
30.s101，获取样本车位的样本图像，并从样本图像中获取样本车位的中心位置。
31.获取由图像采集装置采集的样本车位对应的样本图像。可选地，样本图像可为大量车辆在泊车过程中采集的图像，也可由预设在车位附近的摄像机采集车辆在泊车过程中的图像。
32.可选地，从样本图像中识别样本车位的4个角点，根据4个角点的坐标得到样本车位的中心位置。
33.可选地，根据4个角点的坐标得到样本车位的中心位置时，可直接由人工进行标记，也可输入算法进行识别并直接输出样本车位的中心位置。
34.s102，根据中心位置，确定样本图像中的车位识别冗余区和车位角点回归冗余区。
35.为了在车位检测模型对车位的类别检测略有误差的情况下仍可以对该车位进行准确分类，可以以样本车位的中心位置为中心，选取该中心一定范围内的区域为车位识别冗余区。
36.为了在车位检测模型对车位的角点检测略有误差的情况下仍可以对该车位的角点进行准确确定，可以以样本车位的中心位置为中心，选取该中心一定范围内的区域为车位角点回归冗余区。
37.s103，根据车位识别冗余区，对样本图像进行标记，生成样本图像的类别真值热力图，以及根据车位角点回归冗余区，对样本图像进行标记，生成样本图像的车位角点的回归真值热力图。
38.根据车位识别冗余区，基于样本车位的类别，对样本图像上的车位识别冗余区和非车位识别冗余区分别进行标注，并根据标注后的图像，生成类别真值热力图。可选的，将采样样本图像中样本车位的车位识别冗余区的像素点赋值为样本车位的类别值，其他位置赋值为0。可选地，样本车位的类别可包括横向车位、纵向车位、斜向车位等，可对不同的车位类别赋予不同的类别值，比如说，可将横向车位的类别值赋值为1，可对纵向车位的类别值赋值为2。
39.由于每个样本车位对应四个角点，每个角点有x、y两个维度表示，所以样本车位角点回归一共有8个维度，根据车位角点回归冗余区，基于样本车位角点的多个维度，对样本图像进行标记，生成样本图像的车位角点的回归真值热力图。
40.s104，基于样本图像、类别真值热力图和回归真值热力图，对车位检测模型进行训练，生成目标车位检测模型。
41.获取车位检测模型输出的样本车位的中心位置热力图、类别热力图和回归真值热力图，根据上述获得的样本图像、类别真值热力图和回归真值热力图，获取车位检测模型输出的热力图与其各自对应的真值热力图之间的差值，并确定各自的差值生成损失函数，根据损失函数对车位检测模型进行训练，直至满足训练结束条件，得到最终的目标车位检测
模型。
42.可选地，训练结束条件可以为：当对车位检测模型训练到预设训练次数后，结束训练。举例说明，若预设训练次数为1000次，则当对车位检测模型训练到1000次后，结束训练。
43.可选地，训练结束条件可以为：当训练到车位检测模型的误差收敛到预设误差值时，结束训练。
44.可选地，训练结束条件可以为：当训练到车位检测模型的损失函数降低到预设损失值时，结束训练。
45.本技术在训练过程中，考虑到了车位类别识别和车位角点回归计算时的冗余，使得训练好的目标车位检测模型在车位识别时会考虑冗余区，使得目标车位检测模型能对车位进行准确识别，从而能够更准确地检测出车位的中心位置、车位类别和角点位置。
46.图2是本技术提出的一种车位检测模型训练方法的示例性实施方式，基于上述实施例的基础上，如图2所示，从样本图像中获取样本车位的中心位置，包括以下步骤：
47.s201，从样本图像中识别样本车位的角点，并进行标注。
48.获取在泊车过程中采集的多路图像，并对多路图像进行拼接，生成拼接后的样本图像，将该样本图像的宽记为w，高记为h，即该该本图像的尺寸可记为(w，h)。可选地，可由样本车辆在泊车过程中采集多路图像，也可由预设的多路摄像机采集在泊车过程中的多路图像。
49.示例性的，可由样本车辆采集在整个泊车过程中的多路鱼眼图像数据，并运用图像拼接算法将多路鱼眼图像数据拼接成环视拼接图，将该环视拼接图作为样本图像。
50.从样本图像中获取样本车位的4个角点，根据4个角点得到样本车位的中心位置，将样本车位的中心位置记为(x，y)。可选地，样本车位的角点可由人工进行标注，也可运用目标检测算法进行车位检测进行标注。
51.s202，对样本图像进行下采样，得到采样样本图像。
52.对上述获得的样本图像进行下采样，获取下采样后的采样样本图像。示例性的，可对上述获得的样本图像进行4倍下采样，获取下采样后的采样样本图像，该采样样本图像的尺寸为(w/4，h/4)。
53.s203，基于角点的坐标，确定采样样本图像中样本车位的中心位置。
54.根据上述获得的样本车位的4个角点在采样样本图像中的坐标进行计算，确定采样样本图像中样本车位的中心位置，并对采样样本图像中样本车位的中心位置进行四舍五入取整，即将样本车位的中心位置记为(round(x/4)，round(y/4))。将样本车位的中心位置赋值为1，其他位置赋值为0。
55.本技术实施例对样本图像进行了下采样，增大了感受野，并减少了获取样本车位中的中心位置真值的计算量。
56.图3是本技术提出的一种车位检测模型训练方法的示例性实施方式，基于上述实施例的基础上，如图3所示，样本图像的类别真值热力图的生成过程，包括以下步骤：
57.s301，确定车位识别的第一冗余偏移量。
58.与上述类似，对获得的样本图像进行下采样，获取下采样后的采样样本图像。示例性的，可对上述获得的样本图像进行4倍下采样，获取下采样后的采样样本图像，该采样样本图像的尺寸为(w/4，h/4)。
59.根据样本车位的4个角点在采样样本图像中的坐标进行计算，确定采样样本图像中样本车位的中心位置，并对采样样本图像中样本车位的中心位置进行四舍五入取整，即采样样本图像中样本车位的中心位置记为(round(x/4)，round(y/4))。
60.为了在车位检测模型对车位的类别检测略有误差的情况下仍可以对该车位进行准确分类，预先设定一个车位识别的第一冗余偏移量。其中，第一冗余偏移量包括δx1和δy1。其中，如果真实情况下样本车位的尺寸是[wspot，hspot]，则δx1和δy1在[0,min(wspot,hspot)/2]范围内。
[0061]
s302，以中心位置为中心，以第一冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车位识别冗余区。
[0062]
以中心位置为中心，以第一冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车位识别冗余区，将车位识别冗余区记为(round(x/4)
±
δx1，round(y/4)
±
δy1)。
[0063]
s303，基于样本车位的类别，分别对车位识别冗余区和除车位识别冗余区之外的第一剩余区域内的像素点的取值进行标注以生成类别真值热力图。
[0064]
基于样本车位的类别，分别对车位识别冗余区和除车位识别冗余区之外的第一剩余区域内的像素点的取值进行标注。可选的，将样本车位的车位识别冗余区的像素点赋值为样本车位的类别值，其他位置赋值为0。可选地，样本车位的类别可包括横向车位、纵向车位、斜向车位等，可对不同的车位类别赋予不同的类别值，比如说，可将横向车位的类别值赋值为1，可对纵向车位的类别值赋值为2。根据标注后的图像，生成类别真值热力图。
[0065]
本技术实施例设定了一个用于进行车位识别的第一冗余偏移量，基于第一冗余偏移量设定车位识别冗余区，并生成类别真值热力图对车位检测模型进行训练，防止了生成的目标车位检测模型因角点跳动导致对车位类别识别不准确，增加了后续对车位类别预测的准确性和鲁棒性。
[0066]
图4是本技术提出的一种车位检测模型训练方法的示例性实施方式，基于上述实施例的基础上，如图4所示，回归真值热力图的生成过程，包括以下步骤：
[0067]
s401，确定车位角点回归的第二冗余偏移量。
[0068]
与上述类似，对获得的样本图像进行下采样，获取下采样后的采样样本图像。示例性的，可对上述获得的样本图像进行4倍下采样，获取下采样后的采样样本图像，该采样样本图像的尺寸为(w/4，h/4)。
[0069]
根据样本车位的4个角点在采样样本图像中的坐标进行计算，确定采样样本图像中样本车位的中心位置，并对采样样本图像中样本车位的中心位置进行四舍五入取整，即采样样本图像中样本车位的中心位置记为(round(x/4)，round(y/4))。
[0070]
为了在车位检测模型对车位的角点检测略有误差的情况下仍可以对该车位的角点进行准确确定，预先设定一个车位角点回归的第二冗余偏移量。其中，第二冗余偏移量包括δx2和δy2。其中，如果真实情况下样本车位的尺寸是[wspot，hspot]，则δx2和δy2在[0,min(wspot,hspot)/2]范围内。
[0071]
s402，以中心位置为中心，以第二冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车位角点回归冗余区。
[0072]
以中心位置为中心，以第二冗余偏移量为像素偏移半径，在样本图像上进行扩张，
生成样本图像中的车位角点回归冗余区，将车位角点回归冗余区记为(round(x/4)
±
δx2，round(y/4)
±
δy2)。
[0073]
s403，基于样本车位角点的多个维度，对车位角点回归冗余区进行标注，作为车位角点回归标注图，并对车位角点回归标注图进行处理，获得车位角点的回归真值热力图。
[0074]
由于每个样本车位对应四个角点，每个角点有x、y两个维度表示，所以样本车位角点回归一共有8个维度，基于样本车位角点的多个维度，对车位角点回归冗余区进行标注，作为车位角点回归标注图，并对车位角点回归标注图进行处理，获得车位角点的回归真值热力图。
[0075]
本技术实施例设定了一个用于进行车位角点回归的第二冗余偏移量，基于第二冗余偏移量获取了车位角点回归冗余区，并生成车位角点的回归真值热力图对车位检测模型进行训练，防止了生成的目标车位检测模型因角点跳动导致对车位角点识别不准确，增加了后续对车位角点预测的准确性和鲁棒性。进一步地，在获得车位角点回归真值热力图后，基于车位角点的回归真值热力图，获取多个维度下角点到车位角点回归冗余区的角点回归值。其中。角点回归值可以理解为每个角点对应的两个维度下的角点坐标到车位角点回归冗余区内每个像素点的距离值。
[0076]
图5是本技术提出的一种车位检测模型训练方法的示例性实施方式，基于上述实施例的基础上，如图5所示，基于样本图像、类别真值热力图和回归真值热力图，对车位检测模型进行训练，生成目标车位检测模型，包括以下步骤：
[0077]
s501，将样本图像输入车位检测模型进行多尺度特征提取。
[0078]
图6是车位检测模型的算法示意图，如图6所示，为了在保证检测精度的前提下尽量减少模型的计算量，将样本图像输入车位检测模型进行多尺度特征提取，获取多尺度特征图。可选地，进行特征提取的算法可采用卷积神经网络(convolutionalneuralnetworks，cnn)。
[0079]
s502，基于提取的多尺度特征图分别进行中心位置预测、类别预测和回归预测，以获取预测中心位置、类别预测热力图、回归预测热力图。
[0080]
为了更好地提出样本车位的特征，对多尺度特征图中目标尺度的特征图进行融合，得到融合的特征图。将融合的特征图经中心位置检测头进行处理完成中心位置预测，得到预测中心位置。将融合的特征图经类别检测头进行处理完成类别预测，得到类别预测热力图。将融合的特征图经角点回归检测头进行处理完成回归预测，得到回归预测热力图。其中，中心位置检测头、类别检测头和角点回归检测头可以为由卷积层构成的网络。
[0081]
示例性的，如图6所示，对样本图像采用cnn进行特征提取，并对提取的特征图进行2倍下采样，对2倍下采样特征图再进行cnn特征提取，以此类推，再依次对特征图进行4倍下采样、8倍下采样和16倍下采样，并在每次采样后对特征图进行cnn特征提取，分别获得4倍下采样特征图、8倍下采样特征图和16倍下采样特征图。
[0082]
如图6所示，对16倍下采样特征图进行处理，并对处理后的图像进行16倍上采样，将进行16倍上采样后的图像与16倍下采样特征图进行融合后再进行cnn特征提取，获得第一融合图像。将第一融合图像进行8倍上采样，与8倍下采样特征图进行融合再进行cnn特征提取，得到最终的融合特征图。
[0083]
s503，基于预测中心位置和中心位置、类别预测热力图和类别真值热力图、以及回
归预测热力图和回归真值热力图，确定车位检测模型的损失函数。
[0084]
基于预测中心位置和中心位置、类别预测热力图和类别真值热力图、以及回归预测热力图和回归真值热力图，确定车位检测模型的损失函数。其中，车位检测模型的损失函数表示为：
[0085]
loss＝loss_pos+loss_kps-reg+loss_cls
[0086]
上式中，loss_pos是预测中心位置和中心位置之间的位置误差，loss_kps-reg是回归预测热力图和回归真值热力图的回归误差，loss_cls是类别预测热力图和类别真值热力图之间的分类误差。
[0087]
其中，计算预测中心位置和中心位置之间的位置误差可采用交叉熵损失函数(cross entropy loss)；计算回归预测热力图和回归真值热力图的回归误差可采用回归损失函数(smooth l1 loss)；计算类别预测热力图和类别真值热力图之间的分类误差可采用交叉熵损失函数(cross entropy loss)。
[0088]
s504，基于损失函数对车位检测模型进行调整并继续训练，直至训练结束，生成目标车位检测模型。
[0089]
基于每次将样本图像输入车位检测模型后生成的损失函数，对车位检测模型进行调整并继续训练，直至损失函数达到预设标准，则训练结束，生成目标车位检测模型。
[0090]
本技术实施例经设置冗余区训练得到的目标车位检测模型，减少了输出角点时的随机性，且通过对样本图像的多尺度特征提取，获得样本图像丰富的语义信息，提高了在输出待测车位的中心位置、车位类别，角点位置时的准确度和稳定性。
[0091]
图7是本技术提出的一种车位检测模型训练方法的示例性实施方式，如图7所示，该车位检测模型训练方法，包括以下步骤：
[0092]
s701，获取在泊车过程中采集的多路图像，对多路图像进行拼接，生成拼接后的样本图像。
[0093]
s702，从样本图像中识别样本车位的角点，并进行标注。
[0094]
s703，对样本图像进行下采样，得到采样样本图像。
[0095]
s704，基于角点的坐标，确定采样样本图像中样本车位的中心位置。
[0096]
关于步骤s701～s704的实现方式，可采用本技术中各实施例中的实现方式，在此不再进行赘述。
[0097]
s705，确定车位识别的第一冗余偏移量。
[0098]
s706，以中心位置为中心，以第一冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车位识别冗余区。
[0099]
s707，基于样本车位的类别，分别对车位识别冗余区和除车位识别冗余区之外的第一剩余区域内的像素点的取值进行标注以生成类别真值热力图。
[0100]
关于步骤s705～s707的实现方式，可采用本技术中各实施例中的实现方式，在此不再进行赘述。
[0101]
s708，确定车位角点回归的第二冗余偏移量。
[0102]
s709，以中心位置为中心，以第二冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车位角点回归冗余区。
[0103]
s710，基于样本车位角点的多个维度，对车位角点回归冗余区进行标注，作为车位
角点回归标注图，并对车位角点回归标注图进行处理，获得车位角点的回归真值热力图。
[0104]
s711，基于车位角点的回归真值热力图，获取多个维度下角点到车位角点回归冗余区的角点回归值。
[0105]
关于步骤s708～s711的实现方式，可采用本技术中各实施例中的实现方式，在此不再进行赘述。
[0106]
s712，将样本图像输入车位检测模型进行多尺度特征提取。
[0107]
s713，基于提取的多尺度特征图分别进行中心位置预测、类别预测和回归预测，以获取预测中心位置、类别预测热力图、回归预测热力图。
[0108]
s714，基于预测中心位置和中心位置、类别预测热力图和类别真值热力图、以及回归预测热力图和回归真值热力图，确定车位检测模型的损失函数。
[0109]
s715，基于损失函数对车位检测模型进行调整并继续训练，直至训练结束，生成目标车位检测模型。
[0110]
关于步骤s712～s715的实现方式，可采用本技术中各实施例中的实现方式，在此不再进行赘述。
[0111]
本技术在训练过程中，考虑到了车位类别识别和车位角点回归计算时的冗余，使得训练好的目标车位检测模型在车位识别时会考虑冗余区，能够更准确地检测出车位的中心位置、车位类别和角点位置。
[0112]
图8是本技术提出的一种车位检测方法的示例性实施方式，该车位检测方法的目标车位检测模型可由上述图1-图7任一实施例的车位检测模型训练方法训练得到，如图8所示，该车位检测方法，包括以下步骤：
[0113]
s801，获取待预测的目标图像，其中，目标图像中至少包括一个待测车位。
[0114]
获取待预测的图像，将待预测的图像作为目标图像，其中，目标图像中至少包括一个待测车位。可选地，目标图像可为待测车辆在泊车过程中采集的图像，也可由预设的摄像机采集在泊车过程中的图像。
[0115]
s802，将目标图像输入目标车位检测模型中，以获取待测车位的目标中心位置、类别目标热力图和回归目标热力图，其中，类别目标热力图中包括用于车位类别识别的冗余区，回归目标热力图中包括用于车位角点回归的冗余区。
[0116]
将目标图像输入目标车位检测模型中，目标车位检测模型对目标图像，先进行特征提取和融合，得到融合的特征图。然后基于融合的特征图，分别通过中心位置检测头、类别检测头和角点回归检测头以分别获取目标车位检测模型输出的待测车位的目标中心位置热力图、类别目标热力图和回归目标热力图。其中，图9(a)为目标中心位置热力图的示例性示意图；图9(b)为类别目标热力图的示例性示意图；图9(c)为回归目标热力图的示例性示意图。如图9(b)所示，类别目标热力图中包括用于车位类别识别的冗余区；如图9(c)所示，回归目标热力图中包括用于车位角点回归的冗余区。
[0117]
示例性的，继续以图6为例，对目标图像采用cnn进行特征提取，并对提取的特征图进行2倍下采样，对2倍下采样特征图再进行cnn特征提取，以此类推，再依次对特征图进行4倍下采样、8倍下采样和16倍下采样，并在每次采样后对特征图进行cnn特征提取，分别获得4倍下采样特征图、8倍下采样特征图和16倍下采样特征图。如图6所示，对16倍下采样特征图进行处理，并对处理后的图像进行16倍上采样，将进行16倍上采样后的图像与16倍下采
样特征图进行融合后再进行cnn特征提取，获得第一融合图像。将第一融合图像进行8倍上采样，与8倍下采样特征图进行融合再进行cnn特征提取，得到最终的融合特征图。
[0118]
s803，基于用于车位类别识别的冗余区和用于车位角点回归的冗余区，确定待测车位的目标车位类别和目标车位角点。
[0119]
基于类别目标热力图中用于车位类别识别的冗余区内的像素点的坐标或者用于车位类别识别的冗余区内的像素点对应的车位类别，确定待测车位的目标车位类别。
[0120]
基于回归目标热力图中用于车位角点回归的冗余区内的像素点的坐标，确定待测车位的目标车位角点。
[0121]
本技术在训练过程中，考虑到了车位类别识别和车位角点回归计算时的冗余，使得训练好的目标车位检测模型在车位识别时会考虑冗余区，防止了输出单一结果的随机性，能够更准确地检测出车位的中心位置、车位类别和角点位置。
[0122]
作为一种可实现的方式，对目标车位检测模型输出的待测车位的中心位置目标热力图进行非极大值抑制(non-maximum suppression,nms)算法处理，将处理后的中心位置目标热力图中大于预设阈值的像素点作为待测车位的目标中心位置。
[0123]
图10是本技术提出的一种车位检测方法的示例性实施方式，基于上述实施例的基础上，如图10所示，基于用于车位类别识别的冗余区和用于车位角点回归的冗余区，确定待测车位的目标车位类别和目标车位角点，包括以下步骤：
[0124]
s1001，基于用于车位类别识别的冗余区，确定待测车位的目标车位类别。
[0125]
作为一种可实现的方式，对用于车位类别识别的冗余区内多个像素点的坐标进行平均，获取一个目标像素点。根据目标像素点的车位类别值对应的车位类别，确定待测车位的目标车位类别。举例说明，若目标像素点的车位类别值为1，而1对应的车位类别为横向车位，则待测车位的目标车位类别为横向车位。
[0126]
作为另一种可实现的方式，确定用于车位类别识别的冗余区内多个像素对应的多个车位类别，对多个车位类别进行投票，确定待测车位的目标车位类别。举例说明，若用于车位类别识别的冗余区内有10个像素点，其中有9个像素点的车位类别值为1，而1对应的车位类别为横向车位；1个像素点的车位类别值为2，而2对应的车位类别为纵向车位，则对这10个车位类别进行投票。由于表示车位类别为横向车位的占90％，则确定待测车位的目标车位类别为横向车位。
[0127]
s1002，基于用于车位角点回归的冗余区，确定待测车位的目标车位角点。
[0128]
确定用于车位角点回归的冗余区内对应的多个角点回归值，其中，多个角点回归值为上述在获得车位角点的回归真值热力图后，基于车位角点的回归真值热力图，获取的多个维度下角点到车位角点回归冗余区的多个角点回归值。
[0129]
对用于车位角点回归的冗余区内的多个像素点，都基于用于车位角点回归的冗余区对应的多个角点回归值进行计算，获取待测车位的4个角点分别对应的多个预测角点坐标，并对多个预测角点坐标进行平均，确定待测车位的任一角点对应的目标车位角点。以待测车位的第1个角点为例，假如说用于车位角点回归的冗余区对应的多个角点回归值分别为21，22，23个像素点，则对用于车位角点回归的冗余区内的每个像素点，以x，y两个维度都偏移21，22，23个像素点，分别得到待测车位的第1个角点对应的多个预测角点坐标，并对多个预测角点坐标进行平均，确定待测车位的任一角点对应的目标车位角点。
[0130]
本技术的目标车位检测模型在车位识别时会考虑冗余区，基于平均像素点或者对多个像素点所对应的车位类别进行投票的方式，减少了单一结果的随机性，减少了误差，能够更准确地检测出车位的中心位置、车位类别和角点位置。
[0131]
图11是本技术提出的一种车位检测方法的示例性实施方式，该车位检测方法的目标车位检测模型可由上述图1-图7任一实施例的车位检测模型训练方法训练得到，如图11所示，该车位检测方法，包括以下步骤：
[0132]
s1101，获取待预测的目标图像，其中，目标图像中至少包括一个待测车位。
[0133]
s1102，将目标图像输入目标车位检测模型中，以获取待测车位的目标中心位置、类别目标热力图和回归目标热力图，其中，类别目标热力图中包括用于车位类别识别的冗余区，回归目标热力图中包括用于车位角点回归的冗余区。
[0134]
s1103，对用于车位类别识别的冗余区内多个像素进行平均，获取目标像素。
[0135]
s1104，基于目标像素，确定待测车位的目标车位类别。
[0136]
关于步骤s1103～s1104的实现方式，可采用本技术中各实施例中的实现方式，在此不再进行赘述。
[0137]
s1105，确定用于车位角点回归的冗余区内对应的多个角点回归值。
[0138]
s1106，基于多个角点回归值确定待测车位的任一角点对应的多个预测角点坐标。
[0139]
s1107，对多个预测角点坐标进行平均，确定待测车位的任一角点对应的目标车位角点。
[0140]
关于步骤s1105～s1107的实现方式，可采用本技术中各实施例中的实现方式，在此不再进行赘述。
[0141]
本技术在训练过程中，考虑到了车位类别识别和车位角点回归计算时的冗余，使得训练好的目标车位检测模型在车位识别时会考虑冗余区，防止了输出单一结果的随机性，能够更准确地检测出车位的中心位置、车位类别和角点位置。
[0142]
图12是本技术提出的一种车位检测模型训练装置，如图12所示，该车位检测模型训练装置1200，包括获取模块1201、确定模块1202、生成模块1203和训练模块1204，其中：
[0143]
获取模块1201，用于获取样本车位的样本图像，并从样本图像中获取样本车位的中心位置。
[0144]
确定模块1202，用于根据中心位置，确定样本图像中的车位识别冗余区和车位角点回归冗余区。
[0145]
生成模块1203，用于根据车位识别冗余区，对样本图像进行标记，生成样本图像的类别真值热力图，以及根据车位角点回归冗余区，对样本图像进行标记，生成样本图像的车位角点的回归真值热力图。
[0146]
训练模块1204，用于基于样本图像、类别真值热力图和回归真值热力图，对车位检测模型进行训练，生成目标车位检测模型。
[0147]
进一步地，获取模块1201，还用于：从样本图像中识别样本车位的角点，并进行标注；对样本图像进行下采样，得到采样样本图像；基于角点的坐标，确定采样样本图像中样本车位的中心位置。
[0148]
进一步地，确定模块1202，还用于：确定车位识别的第一冗余偏移量；以中心位置为中心，以第一冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车
位识别冗余区；基于样本车位的类别，分别对车位识别冗余区和除车位识别冗余区之外的第一剩余区域内的像素点的取值进行标注以生成类别真值热力图。
[0149]
进一步地，确定模块1202，还用于：确定车位角点回归的第二冗余偏移量；以中心位置为中心，以第二冗余偏移量为像素偏移半径，在样本图像上进行扩张，生成样本图像中的车位角点回归冗余区；基于样本车位角点的多个维度，对车位角点回归冗余区进行标注，作为车位角点回归标注图；对车位角点回归标注图进行处理，获得车位角点的回归真值热力图。
[0150]
进一步地，生成模块1203，还用于：基于车位角点的回归真值热力图，获取多个维度下角点到车位角点回归冗余区的角点回归值。
[0151]
进一步地，训练模块1204，还用于：将样本图像输入车位检测模型进行多尺度特征提取；基于提取的多尺度特征图分别进行中心位置预测、类别预测和回归预测，以获取预测中心位置、类别预测热力图、回归预测热力图；基于预测中心位置和中心位置、类别预测热力图和类别真值热力图、以及回归预测热力图和回归真值热力图，确定车位检测模型的损失函数；基于损失函数对车位检测模型进行调整并继续训练，直至训练结束，生成目标车位检测模型。
[0152]
进一步地，训练模块1204，还用于：对多尺度特征图中目标尺度的特征图进行融合，得到融合的特征图；基于融合的特征图进行中心位置预测，得到预测中心位置；基于融合的特征图进行类别预测，得到类别预测热力图；基于融合的特征图进行回归预测，得到回归预测热力图。
[0153]
图13是本技术提出的一种车位检测装置，在上述车位检测模型训练装置1200的基础上运行，如图13所示，该车位检测装置1300，包括第一获取模块1301、第二获取模块1302和确定模块1303，其中：
[0154]
第一获取模块1301，用于获取待预测的目标图像，其中，目标图像中至少包括一个待测车位。
[0155]
第二获取模块1302，用于将目标图像输入目标车位检测模型中，以获取待测车位的目标中心位置、类别目标热力图和回归目标热力图，其中，类别目标热力图中包括用于车位类别识别的冗余区，回归目标热力图中包括用于车位角点回归的冗余区。
[0156]
确定模块1303，用于基于用于车位类别识别的冗余区和用于车位角点回归的冗余区，确定待测车位的目标车位类别和目标车位角点。
[0157]
进一步地，第二获取模块1302，还用于：对目标车位检测模型输出的中心位置目标热力图进行处理；将处理后的中心位置目标热力图中大于预设阈值的像素点作为待测车位的目标中心位置。
[0158]
进一步地，确定模块1303，还用于：对用于车位类别识别的冗余区内多个像素进行平均，获取目标像素，基于目标像素，确定待测车位的目标车位类别或者确定用于车位类别识别的冗余区内多个像素对应的多个车位类别；对多个车位类别进行投票，确定待测车位的目标车位类别。
[0159]
进一步地，确定模块1303，还用于：确定用于车位角点回归的冗余区内对应的多个角点回归值；基于多个角点回归值确定待测车位的任一角点对应的多个预测角点坐标；对多个预测角点坐标进行平均，确定待测车位的任一角点对应的目标车位角点。
[0160]
进一步地，本技术还提出了一种自动驾驶车辆，该自动驾驶车辆包括上述车位检测模型训练装置1200或车位检测装置1300。
[0161]
为了实现上述实施例，本技术实施例还提出一种电子设备1400，如图14所示，该电子设备1400包括：处理器1401和处理器通信连接的存储器1402，存储器1402存储有可被至少一个处理器执行的指令，指令被至少一个处理器1401执行，以实现如上述实施例所示的车位检测模型训练方法和车位检测方法。
[0162]
为了实现上述实施例，本技术实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如上述实施例所示的车位检测模型训练方法和车位检测方法。
[0163]
在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0164]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0165]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0166]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。