泊车控制方法、装置、计算机设备及计算机可读存储介质与流程

本发明涉及智能泊车技术领域，尤其涉及一种泊车控制方法、一种泊车控制装置一种计算机设备及一种计算机可读存储介质。

背景技术：

随着城市人口日益增长，私家车的数量也越来越多，相较而言，停车位数量有限且位置越来越紧凑，因此需要采用快捷有效的自动泊车技术，以使汽车正确地停靠位泊车。

泊车过程中，泊车位内的障碍物检测十分重要。现有的障碍物检测技术大多依赖超声波雷达检测、激光雷达检测或计算机视觉检测的方法。

如，现有技术中公开了一种智能泊车系统的障碍物检测与库位判别方法及实现系统，其依赖于车辆定位数据与雷达数据，对数据点进行坐标转换、拟合处理后，拟合出障碍物外接矩形，并判断泊车位是否符合泊车条件，从而实现库位检测功能。但是，该方案需要融合二维雷达信息(如激光雷达)与定位信息(如gps全球定位系统)，针对室内情况，定位信息难以获得，且激光雷达价格昂贵，成本较高。

还有现有技术中利用改进的混合高斯背景建模方法建立背景，将原视频图像与背景图像相减，通过otsu自动阈值的获取进行前景目标分离，再通过动态特征、静态特征提取几何约束障碍物检测方法对障碍物进行检测。但是，该方案易受到阴影、光照等环境条件的影响，且背景建模方法对于静态障碍物不敏感，不宜用于静态障碍物的检测。

但是上述技术方案依赖于车身周围的多个超声波传感器实时捕获车身周围的环境信息，利用来自存在于车辆周边附近的物体(障碍物)的反射波，从而推定从车辆到障碍物的距离和该障碍物的大小。但是，上述两种技术方案受超声波传感器自身特性的局限，在圆角处存在接收不到回波的现象，且回波信息包含大量干扰信息，不易确定障碍物大小。

技术实现要素：

本发明所要解决的技术问题在于，提供一种成本低廉，识别率高的泊车控制方法、计算机设备及计算机可读存储介质，可为自动泊车提供实时准确的障碍物感知信息。

为了解决上述技术问题，本发明提供了一种泊车控制方法，包括：获取传感器采集的车辆周围的图像信息；根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络，所述障碍物坐标框与障碍物一一对应，并且所述障碍物的边缘被坐标框包围以使障碍物处坐标框内；根据所述障碍物类别和障碍物坐标框进行泊车控制。

作为上述方案的改进，所述轻量级卷积神经网络的网络架构模型至少包括16层用于特征提取，并采用至少两个尺度的特征图进行分类和检测框回归。

作为上述方案的改进，所述16层包括10个卷积层和6个最大池化层，并输出x个通道的特征图以实现障碍物分类和坐标框回归，其中：x＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；所述两个尺度包括，尺寸为a*a的特征图进行障碍物分类，尺寸为a*a的特征图经过上采样后与尺寸为2a*2a的特征图合并以进行坐标框回归，其中，a为根据原图尺寸经过n倍缩小后的数值，n为正整数。

作为上述方案的改进，所述方法还包括障碍物识别模型训练，具体包括：获取样本数据集、基础卷积神经网络模型以及损失函数；将所述基础卷积神经网络模型与所述损失函数结合，生成初始卷积神经网络模型；根据所述样本数据集训练所述初始卷积神经网络模型，生成障碍物识别模型。

作为上述方案的改进，所述样本数据集的构建步骤包括：获取图像样本集，所述图像样本集包括多个含有障碍物的图像样本；对每一图像样本分别进行标注处理以生成标注信息，所述标注信息包括障碍物类别信息及障碍物的坐标框坐标信息；将含有标注信息的图像样本集组合为样本数据集。

作为上述方案的改进，所述损失函数为坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数之和；所述坐标框坐标误差函数为其中，xi为坐标框的左上角的横坐标，yi为坐标框的左上角的纵坐标，ωi为坐标框的宽度，hi为坐标框的高度，λcoord为坐标框位置的损失权重，s是指将图像划分成s*s个网格，b为每个网格对应先验框的数量，为第一检测参数；所述坐标框交并比误差函数为其中，ci为第i个坐标框与真实框的交并比，λnoobj为单个网格内没有目标物体的损失权重，为第二检测参数；所述分类误差函数为其中，pi为识别物体的置信度。

相应地，本发明还提供了一种泊车控制装置，包括：获取模块，用于获取传感器采集的车辆周围的图像信息；识别模块，用于根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络，所述障碍物坐标框与障碍物一一对应，并且所述障碍物的边缘被坐标框包围以使障碍物处坐标框内；控制模块，用于根据所述障碍物类别和障碍物坐标框进行泊车控制。

进一步的，所述识别模块中的所述轻量级卷积神经网络的网络架构模型至少包括16层用于特征提取，并采用至少两个尺度的特征图进行分类和检测框回归。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述泊车控制方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述泊车控制方法的步骤。

实施本发明，具有如下有益效果：

本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息，与现有技术相比，本发明对静态物体及障碍物类别仍然较高的识别率。

附图说明

图1是本发明泊车控制方法的第一实施例流程图；

图2是本发明中障碍物识别模型的结构示意图；

图3是本发明中障碍物识别模型的构建步骤流程图；

图4是本发明中损失函数的曲线图；

图5是本发明中样本数据集的构建步骤流程图；

图6是本发明泊车控制装置的第一实施例结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，图1是本发明泊车控制方法的第一实施例流程图，其包括：

s101，获取传感器采集的车辆周围的图像信息。

所述传感器可以为摄像头，但不以此为限制；同时，所述传感器的数量优选为四个，可设置于车辆外壳的前、后、左、右四个方向，实现车辆周围(即泊车位内外)的图像信息的全方位采集。

s102，根据图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框。

需要说明的是，本发明中障碍物识别模型为轻量级卷积神经网络。具体地，本发明中的障碍物识别模型由卷积神经网络模型通过样本数据集训练而成，通过障碍物识别模型可实时检测出图像信息中是否含有障碍物并识别出障碍物的类型及坐标，为自动泊车提供实时准确的障碍物感知信息。

具体地，泊车控制装置可根据障碍物识别模型识别图像信息中的障碍物类别。优选地，所述障碍物可以为雪糕筒、占位牌、占位杆、打开状态下的地锁、关闭状态下的地锁、行人、自行车、汽车等类别，但不以此为限制。

同时，泊车控制装置可根据障碍物识别模型识别障碍物坐标框。本发明中采用坐标框的形式对障碍物进行标注，障碍物的边缘被坐标框包围以使障碍物完全或绝大部分处于坐标框内，障碍物与坐标框一一对应。其中，坐标框优选为矩形坐标框，所述坐标框坐标信息包括矩形坐标框左上角像素坐标和右下角像素坐标。因此，通过坐标框坐标信息可有效地确定障碍物的坐标。

相应地，障碍物识别模型可安装于车载计算平台中。

如图2所示，所述障碍物识别模型至少包括16层用于特征提取。具体地，所述16层包括10个卷积层和6个最大池化层，并输出x个通道的特征图以实现障碍物分类和坐标框回归，其中：x＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；具体地，b的取值范围为0～1。

例如，模型中采用了3种先验框来预测，选用矩形坐标框形式(即包括横坐标、纵坐标、宽度、高度等4个坐标值)，1个边框置信度值，10种障碍物的各个检测概率。因此，每个先验框预测输出一个(4+1+10)维向量，即3个先验框最终输出(4+1+10)*3＝45个通道。

需要说明的是，为了兼顾检测图像中不同尺寸大小的物体，障碍物识别模型采用了两个尺度进行障碍物分类和坐标框回归，具体地，所述两个尺度包括，尺寸为a*a的特征图进行障碍物分类，尺寸为a*a的特征图经过上采样后与尺寸为2a*2a的特征图合并以进行坐标框回归，其中，a为根据原图尺寸经过n倍缩小后的数值，n为正整数。比如，模型输入原图尺寸为416*416，经过n＝32倍的下采样后得到尺寸为13*13的特征图，则一个用的是尺寸为13*13的特征图进行障碍物分类，另一个用的是尺寸为13*13的特征图经过上采样后与尺寸为26*26的特征图合并后进行坐标框回归。由于下采样倍数高，感受野比较大，适合检测图像中尺寸较大的物体。而另一个用的是尺寸为13*13经过上采样后与尺寸为26*26的特征图合并后检测回归，相对原图尺寸为416*416的经过16倍下采样最终融合后得到尺寸为26*26的特征图，感受野减小但细粒度增强，适合检测图像中尺寸较小的物体。

s103，根据障碍物类别和障碍物坐标框进行泊车控制。

当泊车控制装置识别出泊车位内外的障碍物的类型信息及坐标信息后，将障碍物的类型信息及坐标信息发送至显示器进行显示，从而方便用户直观地了解不同障碍物之间的相对位置和大小，最终，方便泊车控制装置根据障碍物类别和障碍物坐标框进行泊车控制。

所述显示器优选为车载显示器，但不以此为限制，只要具有显示功能的设备即可，灵活性强。显示时，障碍物类别信息、坐标框及坐标框坐标信息与图像信息相融合(即，障碍物类别信息、坐标框及坐标框坐标信息绘制至图像上进行显示)，直观性强。

因此，本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，通过障碍物识别模型精准地识别碍物类别及坐标框坐标，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息，从而实现了静态物体的高识别率，方便泊车控制装置根据障碍物类别和障碍物坐标框进行泊车控制。

如图3所示，障碍物识别模型的训练步骤包括：

s201，获取样本数据集、基础卷积神经网络模型以及损失函数；

样本数据集包括多个含有障碍物的样本数据。

本发明中，样本数据集的数量为5000个，但不以此为限制，只要满足训练要求即可；同时，用户可根据实际需求选择基础卷积神经网络模型；另外，结合样本特性，本发明通过提取障碍物类别、坐标框坐标等边缘参数，设计独特的损失函数，本发明中损失函数包括坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数。具体地：

坐标框坐标误差函数用于表示坐标框坐标累计误差，其包括坐标框纵横坐标误差函数及坐标框宽高误差函数。坐标框纵横坐标误差函数为其中，xi表示坐标框的左上角的横坐标，yi表示坐标框的左上角的纵坐标，λcoord为坐标框位置的损失权重，s是指将图像划分成s*s个网格，b为每个网格对应先验框的数量，为第一检测参数，当单个网格中检测到目标物体且交并比在b个先验框中为最大时，取值为1，否则为0；坐标框宽高误差函数为其中，ωi表示坐标框的宽度，hi表示坐标框的高度，λcoord为坐标框位置的损失权重，s是指将图像划分成s*s个网格，b为每个网格对应先验框的数量，为第一检测参数，当单个网格中检测到目标物体且交并比在b个先验框中为最大时，取值为1，否则为0。

坐标框交并比误差函数用于表示坐标框交并比累计误差，其函数公式为其中，ci为第i个坐标框与真实框的交并比，λnoobj为单个网格内没有目标物体的损失权重，s是指将图像划分成s*s个网格，b为每个网格对应先验框的数量，为第二检测参数，当单个网格中没有检测到目标物体时，取值为1，否则为0。

分类误差函数用于表示障碍物分类累计误差，其函数公式为其中，pi表示为识别物体的置信度，s是指将图像划分成s*s个网格，当检测物体的中心落在第i个网格中时，为1，否则为0。

进一步，损失函数为坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数之和，即损失函数为：

s202，将基础卷积神经网络模型与损失函数结合，生成初始卷积神经网络模型。

在基础卷积神经网络模型中设置损失函数，形成初始卷积神经网络模型。

s203，根据样本数据集训练初始卷积神经网络模型，生成障碍物识别模型。

向初始卷积神经网络模型中输入样本数据集，通过损失函数迭代训练所述初始卷积神经网络模型，即可获得训练后的障碍物识别模型。

需要说明的是，训练的目标就是让损失函数逐渐降低至一个较稳定值，训练过程中的损失函数曲线如图4所示，随着迭代次数上升，损失函数先急剧下降再平缓降低，当达到500000次迭代时，损失函数loss值降至稳定值(约0.22)，训练完成后得到后缀为.weights格式参数权重文件。

本发明中，训练采用了总数为5000张样本的样本数据集，训练学习率为0.001，每次训练一批(batch)图片数量为64张，最大迭代次数500000次。

因此，本发明通过设计独特的损失函数，构建出准确的障碍物识别模型，实现了障碍物的高效识别，精确性高。

如图5所示，样本数据集的构建步骤包括：

s301，获取图像样本集，图像样本集包括多个含有障碍物的图像样本。

本发明采集了大于5000张不同拍摄场景下包含雪糕筒、占位牌、占位杆、打开状态下的地锁、关闭状态下的地锁、行人、自行车、汽车等障碍物的图像样本，以构成图像样本集。

s302，对每一图像样本分别进行标注处理以生成标注信息。

采用标注工具对每张图进行的标注以生成标注信息，标注信息包括图像中的障碍物类别信息及坐标框坐标信息(坐标框左上角像素坐标和右下角像素坐标)。同时，将每一图像样本的标注信息存储为xml格式。

s303，将含有标注信息的图像样本集组合为样本数据集。

因此，本发明通过采用特点的标注方式，实现了障碍物的精确分类及定位，为构建准确的障碍物识别模型打下了坚实的基础。

参见图6，图6显示了本发明泊车控制装置100的第一实施例，其包括：

获取模块1，用于获取传感器1采集的车辆周围的图像信息。所述传感器可以为摄像头，但不以此为限制；同时，所述传感器的数量优选为四个，可设置于车辆外壳的前、后、左、右四个方向，实现车辆周围(即泊车位内外)的图像信息的全方位采集。

识别模块2，用于根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框。需要说明的是，本发明中障碍物识别模型为轻量级卷积神经网络。具体地，本发明中的障碍物识别模型由卷积神经网络模型通过样本数据集训练而成，通过障碍物识别模型可实时检测出图像信息中是否含有障碍物并识别出障碍物的类型及坐标，为自动泊车提供实时准确的障碍物感知信息。优选地，本发明中障碍物识别模型至少包括16层用于特征提取。具体地，所述16层包括10个卷积层和6个最大池化层，并输出x个通道的特征图以实现障碍物分类和坐标框回归，其中：x＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；具体地，b的取值范围为0～1。同时，为了兼顾检测图像中不同尺寸大小的物体，障碍物识别模型采用了两个尺度进行障碍物分类和坐标框回归，具体地，所述两个尺度包括，尺寸为a*a的特征图进行障碍物分类，尺寸为a*a的特征图经过上采样后与尺寸为2a*2a的特征图合并以进行坐标框回归，其中，a为根据原图尺寸经过n倍缩小后的数值，n为正整数。

具体地，识别模块2可根据障碍物识别模型识别图像信息中的障碍物类别信息。所述障碍物可以为雪糕筒、占位牌、占位杆、打开状态下的地锁、关闭状态下的地锁、行人、自行车、汽车等类别，但不以此为限制。

识别模块2还可根据障碍物识别模型识别障碍物的坐标框坐标信息。坐标识别单元222采用坐标框的形式对障碍物进行注，障碍物的边缘被坐标框包围以使障碍物完全设于坐标框内，障碍物与坐标框一一对应。其中，坐标框优选为矩形坐标框，所述坐标框坐标信息包括矩形坐标框左上角像素坐标和右下角像素坐标。因此，通过坐标框坐标信息可有效地确定障碍物的坐标。

识别模块2还可根据障碍物类别信息及坐标框坐标信息生成障碍物检测结果。所述障碍物检测结果包括障碍物类别信息及坐标框坐标信息，显示时，障碍物类别信息、坐标框及坐标框坐标信息与图像信息相融合(即，障碍物类别信息、坐标框及坐标框坐标信息绘制至图像上进行显示)，直观性强。同时，所述显示器优选为车载显示器，但不以此为限制，只要具有显示功能的设备即可，灵活性强。

控制模块3，用于根据所述障碍物类别和障碍物坐标框进行泊车控制。

因此，本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，通过障碍物识别模型精准地识别碍物类别及坐标框坐标，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息。

进一步的，上述样本数据集包括多个含有障碍物的样本数据。本发明中，样本数据集的数量为5000个，但不以此为限制，只要满足训练要求即可；同时，用户可根据实际需求选择基础卷积神经网络模型。另外，结合样本特性，本发明提取障碍物类别、坐标框坐标等边缘参数，设计独特的损失函数，本发明中损失函数包括坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数。

需要说明的是，训练的目标就是让损失函数逐渐降低至一个较稳定值，训练过程中的损失函数曲线如图5所示，随着迭代次数上升，损失函数先急剧下降再平缓降低，当达到500000次迭代时，损失函数loss值降至稳定值(约0.22)，训练完成后得到后缀为.weights格式参数权重文件。

本发明中，训练采用了总数为5000张样本的样本数据集，训练学习率为0.001，每次训练一批(batch)图片数量为64张，最大迭代次数500000次。

因此，本发明通过设计独特的损失函数，构建出准确的障碍物识别模型，实现了障碍物的高效识别，精确性高。关于模型和样本构建的细节请参考前述实施例，此处不做一一赘述。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述泊车控制方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述泊车控制方法的步骤。

由上可知，本发明可服务于自动泊车和自动驾驶，本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息，与现有技术相比，本发明对静态物体及障碍物类别仍然较高的识别率。进一步，本发明根据障碍物类别、坐标框坐标等边缘参数设计独特的损失函数，构建出准确的障碍物识别模型，实现了障碍物的高效识别，精确性高。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。