一种基于自然驾驶数据的泊车场景提取系统和方法与流程

本发明涉及计算机领域，尤其涉及基于自然驾驶数据的泊车场景提取方法。

背景技术：

随着智能网联汽车技术的逐渐发展，智能驾驶系统扮演着逐渐取代人类驾驶员的部分驾驶任务。其中智能网联汽车自主泊车系统的开发也得到了更进一步的发展。随着自主泊车系统技术的成熟与推广，对该系统进行测试显得至关重要。目前，主要的测试工况均是基于国外典型泊车场景类型制定的，无法满足我国泊车系统自主研发和国外产品本土化的需求，产品性能无法得到有效验证，优化升级困难。因此，基于自然驾驶数据的泊车场景提取方法是建立符合我国实际情况的泊车场景交通环境工况的系统设计测试评价的关键问题之一。

泊车场景提取方法涵盖自然驾驶数据的收集和泊车场景数据提取两个部分。其中，自然驾驶数据采集方案是装有毫米波雷达、高清摄像头、vbox、车载数据存储装置等。通过车载传感器和车载数据存储设备将车辆在行驶过程中所遍历的所有环境信息和所有车辆自身数据进行采集并存储。根据采集的大规模数据，提取数据中采集到的泊车场景数据并对其进行参数标记，建立数据化泊车场景数据，可实现具有我国实际情况的泊车工况场景提取。因此，设计一种基于自然驾驶数据的泊车场景提取方法，对实现我国特色泊车系统测评尤为重要。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了基于自然驾驶数据的泊车场景提取方法。

为了实现本发明的上述目的，本发明提供了一种基于自然驾驶数据的泊车场景提取系统，包括：

车辆数据采集模块，用于从车辆can总线中获取本车can总线中读取本车工作参数数据；

视频数据采集模块，用于在车辆外围设置若干图像采集设备，采集覆盖区域内的交通参与者、道路及设施建设和障碍物的目标位置、与本车相对速度以及泊车位；

数据存储设备，用于将车辆数据采集模块数据和视频数据采集模块数据进行时间同步，并以相同的数据存储格式进行存储；

目标识别平台、用于车辆泊位环境中所存在的目标识别数据进行分类，获取本车周围的车辆类型；

数据提取平台，用于进行目标识别以后的视频数据和本车工作参数数据；输出泊车场景视频片段和自车数据流片段，根据泊车场景条件获取泊车提取数据；

数据标定平台，用于泊车场景片段数据进行泊车场景元素标定，对泊车场景数据片段中泊车位物理尺寸参数进行标定；并且计算其相对于泊车位信息；

数据库，用于用来存储全部采集的车辆工作参数数据、泊车片段提取数据和泊车场景数据。

优选的，所述数据提取平台包括：设置车辆档位置于p档或n档，对该状态下泊车状态进行数据提取，再设置车辆档位上一时刻处于非p档或n档；然后结合车辆can总线数据，车辆速度小于5km/h，或采集本车车辆前30s速度平均值小于20km/h；最后获取车辆前30s数据中存在泊车位。

优选的，所述数据标定平台包括：

泊车位长、宽度计算:

式中：n为总共有多少个像素点；δyi为第i个像素点所对应的y方向长度；δxi为第i个像素点所对应的x方向长度；

光照等级计算：[～，～，v]＝hsv(rgb*2hsv(image))

ll＝∑x∑yvx,y/(∑x∑y1)

式中：image为泊车位所在图像；hsv为求取图像亮度值函数；ll光照等级，范围0-1；rgb为图像三基色；

通过对摄像头参数进行标定，反向解算车辆所处泊位平面中泊车位的真实物理尺寸。

本发明还公开一种基于自然驾驶数据的泊车场景提取方法，包括如下步骤：

s1，通过车辆can总线获取车辆工作参数数据，对车辆工作参数数据进行归类处理，形成标准化存储数据，同时根据数据采集时间段形成该时间段汽车参数数据集；

s2，将车辆的车身外围设置若干图像采集设备，记录车辆车身外围环境图像数据，并根据雷达设备进行目标识别计算，通过图像采集设备和雷达设备协同整合的的数据，获取泊车位信息数据；

s3，将所需要的泊车位环境信息数据进行收集，收集后的泊车位环境信息数据进行分类，获取车辆周围的车辆类型，以及环境数据；

s4，将泊车位信息和泊车位环境信息采集之后，通过数据标定方法将泊车场景数据片段中泊车位物理尺寸参数进行标定；

s5，将标定后的泊车场景数据存储在数据库中，通过车载系统进行实施调取操作，或者远程终端实时监控该数据库的泊车场景数据。

优选的，所述s1包括：

s1-1，启动车辆读取车辆工作参数数据，对车辆泊车档位数据进行采集，如果车辆档位为p档或n档，车辆不获取泊车场景数据，如果车辆档位为前进档或者后退档，采集泊车场景数据；

s1-2，当车辆档位为前进档时，通过泊车场景数据分析车辆头部是否面对泊车位置，如果是面对泊车位置，则采集车辆前进速度、控制车辆油门开度，调整车辆加速度，根据泊车场景数据是否正对泊车位调整方向盘转角、调整方向盘转角时实时获取横摆角速度，在前进过程中雷达实时探测是否有障碍物，如果有障碍物则调整刹车紧度并报警，如果无障碍物则保持车辆原有前进速度进行泊车操作，如果未面对泊车位置，则解除前进档，执行后退档，如果采集车辆泊车场景为车身左部或者车身右部面对停车位，则调整车辆头部面对泊车位；

s1-3，当车辆档位为后退档时，通过泊车场景数据分析车辆尾部是否面对泊车位置，如果是面对泊车位置，则采集车辆后退速度、控制车辆油门开度，调整车辆加速度，根据泊车场景数据是否正对泊车位调整方向盘转角、调整方向盘转角时实时获取横摆角速度，在后退过程中雷达实时探测是否有障碍物，如果有障碍物则调整刹车紧度并报警，如果无障碍物则保持车辆原有后退速度进行泊车操作，如果未面对泊车位置，则解除后退档，执行后退档，如果采集车辆泊车场景为车身左部或者车身右部面对停车位，则调整车辆尾部面对泊车位。

优选的，所述s2包括：

s2-1，根据图像采集设备获取车辆所在泊车位信息，判断泊车位与车辆行驶车道形成的角度，如果为直角，采用在直角状态下的泊车场景数据控制，如果为非直角，采用在非直角状态下的泊车场景数据控制，通过图像采集设备扫描泊车场景为室内或者室外，并且根据停车场物理形态判断泊车位是机械升降式或者地面固定式，如果为室内环境且泊车位为机械升降式，则控制车辆开启指示灯和照明灯，如果为室外环境白天状态，且泊车位为机械升降式，则控制车辆开启指示灯，如果为室外环境夜晚状态，且泊车位为机械升降式，则控制车辆开启指示灯和照明灯，

s2-2，通过雷达设备对泊车位进行识别，根据预存的雷达设备目标物识别数据与实时采集的泊车位环境进行归类判断；精确检测运动状态下车辆周围目标物的运动方向、距离、速度、角度，检测到的目标物按距离或者rcs值输出，根据雷达设备测算的距离由近及远输出；雷达设备根据由近及远获取的车辆周围目标物，形成不同的发射频率对不同距离的目标物进行测算，分别分为长距离模式、短距离模式，在长距离模式下通过雷达设备调整速度精度和速度分辨率；当速度精度大于速度精度第一阈值时调整为长距离模式，当速度精度大于速度精度第二阈值时调整为短距离模式；当速度分辨率大于速度分辨率第一阈值时调整为长距离模式，当速度分辨率大于速度分辨率第二阈值时调整为短距离模式，当速度分辨率为速度分辨率第三阈值时调整为静止模式；

s2-3，根据图像采集设备获取泊车位形状、确定泊车位右隔离方式，判断是否右隔离带存在相应的实线或者虚线目标物，确定泊车位是否存在台阶；确定泊车位左隔离方式，判断是否左隔离带存在相应的实线或者虚线目标物，确定泊车位是否存在台阶；确定泊车位前隔离方式，判断是否前隔离带存在相应的实线或者虚线目标物，确定泊车位是否存在台阶；确定泊车位后隔离方式，判断是否后隔离带存在相应的实线或者虚线目标物，确定泊车位是否存在台阶；

优选的，所述s3包括：

s3-1，对泊车位周围环境进行采集，确定泊车位左侧是否其他停放车辆或者其他障碍物，如果有，通过图像采集设备和雷达设备确定其他停放车辆或者其他障碍物的参数数据，并将即将停发的车辆根据s2进行泊车操作，如果无，执行s1；

s3-2，对泊车位周围环境进行采集，确定泊车位右侧是否其他停放车辆或者其他障碍物，如果有，通过图像采集设备和雷达设备确定其他停放车辆或者其他障碍物的参数数据，并将即将停发的车辆根据s2进行泊车操作，如果无，执行s1；

s3-3，对泊车位周围环境进行采集，确定泊车位前侧是否其他停放车辆或者其他障碍物，如果有，通过图像采集设备和雷达设备确定其他停放车辆或者其他障碍物的参数数据，并将即将停发的车辆根据s2进行泊车操作，如果无，执行s1；

s3-4，对泊车位周围环境进行采集，确定泊车位后侧是否其他停放车辆或者其他障碍物，如果有，通过图像采集设备和雷达设备确定其他停放车辆或者其他障碍物的参数数据，并将即将停发的车辆根据s2进行泊车操作，如果无，执行s1；

优选的，所述s4包括：

泊车位长、宽度计算:

式中：n为总共有多少个像素点；δyi为第i个像素点所对应的y方向长度；δxi为第i个像素点所对应的x方向长度；

光照等级计算：[～，～，v]＝hsv(rgb*2hsv(image))

ll＝∑x∑yvx,y/(∑x∑y1)

式中：image为泊车位所在图像；hsv为求取图像亮度值函数；ll光照等级，范围0-1；rgb为图像三基色；

通过对摄像头参数进行标定，反向解算车辆所处泊位平面中泊车位的真实物理尺寸。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明提供了一套完整的泊车场景工况数据的采集方案，为采集哪些要素参数提供了依据，并提供了设备方案，采集建立场景工况所需的所有参数。

2、本发明所提供的方案，在采集足够多样本的道路数据后，可建立泊车场景工况数据库。可得到我国典型泊车场景，为建立符合我国实际情况的泊车测试方案提供有力支撑。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的系统原理图；

图2为本发明高清摄像头的安装位置示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明的目的是提供一套完整的自然驾驶工况数据采集和泊车场景提取方法。泊车场景数据所存在的自然驾驶工况相较于正常驾驶工况而言关注点上有所差别，其表现在对于泊车位周围环境的障碍物和泊车位地面信息更加关注。为了尽可能完整的采集构建场景工况所需的数据，首先按场景工况的基本要素进行分解，基本要素为：泊车位信息、泊车位环境信息和本车信息，具体分类如下表1：

表1泊车位场景参数采集表

为实现上述目的本发明采用的技术方案：如图1和2所示，本发明公开一种基于自然驾驶数据的泊车场景提取方法，包括车辆数据采集模块、视频数据采集模块、数据存储设备、目标识别平台、数据提取平台、数据标定平台、数据库。参见图1，所述视频数据采集模块、车辆数据采集模块和视频数据采集模块按照数据存储设备统一存储格式接入存储设备。

车辆数据采集模块主要是从车辆can总线中获取本车can总线中读取本车档位、本车车速、本车加速度、方向盘转角、横摆角速度、本车转向灯信号、油门踏板信号和刹车踏板信号。把数据采集后进行存储便于后期进行数据分析。

视频数据采集模块由4个不同方向(车辆前后左右)的高清摄像头组成。用于记录车辆周围环境中所有目标物的类型信息。4摄像头分别布置于车辆前风窗、左后视镜、右后视镜和车辆后风窗处。分别采集车辆前、左、右和后方向环境图像数据。结合从can总线采集的本车档位信息、本车车速、横摆角速度和方向盘转角，通过雷达的目标识别算法，实现前方、左侧、右侧、后方方向的目标识别。本模块采集覆盖区域内的交通参与者、道路及设施建设和障碍物的目标位置、与本车相对速度以及泊车位。

所述数据存储设备将车辆数据采集模块数据和视频数据采集模块数据进行时间同步，并以相同的数据存储格式进行存储。数据存储在可移动硬盘中，可实现数据大量连续时间的存储。

所述目标识别平台是在离线情况下，将存储设备存储的数据进行目标识别。采用基于python的深度学习算法识别4个摄像头数据中泊车场景元素所需要的目标物信息。对车辆泊位环境中所存在的目标物数据进行分类，获取本车周围的车辆类型。该模块输入：视频数据。输出：视频中目标物类型、是否存在泊车位。

所述数据提取平台是由matlab构成。数据采集平台输入数据：进行了目标识别以后的视频数据和本车数据。输出：泊车场景视频片段和自车数据流片段。提取泊车场景条件：1)车辆档位置于p档或n档；2)车辆档位上一时刻处于非p档或n档；3)结合车辆can总线数据，车辆速度小于5km/h，或采集本车车辆前30s速度平均值小于20km/h；4)车辆前30s数据中存在泊车位。

所述数据标定平台由matlab对泊车场景片段数据进行泊车场景元素标定的平台。算法中对一些特殊元素信息，如泊车位长度、宽度、光照等级、车位颜色等信息提取为独创。数据标定平台中将泊车场景数据片段中泊车位物理尺寸参数进行标定，

泊车位长、宽度计算:

式中：n为总共有多少个像素点；δyi为第i个像素点所对应的y方向长度；δxi为第i个像素点所对应的x方向长度；

光照等级计算：[～，～，v]＝hsv(rgb*2hsv(image))

ll＝∑x∑yvx,y/(∑x∑y1)

式中：image为泊车位所在图像；hsv为求取图像亮度值函数；ll光照等级，范围0-1；rgb为图像三基色，vx,y中文含义是像素点(x,y)所对应的亮度值；

通过对摄像头参数进行标定，反向解算车辆所处泊位平面中泊车位的真实物理尺寸。通过人工标注形式，对泊车场景中未能进行自动化目标识别的障碍物进行标注。并且解算其相对于泊车位信息。

距离测量分辨率中雷达设备长距离模式不小于1.79m(长距模式)，短距离模式不小于0.39m(短距模式0.2m，静止)，在满足1.5到2倍分辨率的条件下可对两个物体进行区分；

速度分辨率中雷达设备不小于0.37km/h(长距模式)，不小于0.43km/h(短距模式)；

测距精度中雷达设备不低于±0.40m(长距模式)，不低于±0.10m(短距模式)，不低于±0.05m(静止)。

数据库用来存储所有采集的原始数据、泊车片段提取数据和泊车场景数据。

使用本发明获得的有益技术效果为：

1、本发明提供了一套完整的泊车场景工况数据的采集方案，为采集哪些要素参数提供了依据，并提供了设备方案，采集建立场景工况所需的所有参数。

2、本发明所提供的方案，在采集足够多样本的道路数据后，可建立泊车场景工况数据库。可得到我国典型泊车场景，为建立符合我国实际情况的泊车测试方案提供有力支撑。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。