无人车多传感器数据同步采集系统的制作方法

本发明涉及无人车
技术领域：
，尤其涉及一种无人车多传感器数据同步采集系统。
背景技术：
：无人驾驶技术作为当今车辆的前沿技术受到了各国学者的广泛关注。传统的车辆数据采集系统俗称黑匣子，是一种能够采集、保存并能够实现对所采集数据进行回放的数字式电子记录装置。其采集的数据以车辆底层数据为主，包括了车辆行驶速度、时间、里程以及有关车辆行驶的其他状态信息。但无人车所搭载的传感设备众多，除了车辆底层数据，如发动机转速、档位、扭矩等；还包括了组合导航系统所输出的位置信息和姿态信息，如经纬度、高度、航向角、俯仰角等；以及环境感知系统所采集的激光雷达信息、视觉信息等。综上所述，无人车数据采集系统需要采集环境信息、导航定位信息、车辆姿态信息以及车辆底层状态信息，现有的车载信息采集系统显然难以应对，所以有必要加以改进。技术实现要素：鉴于上述的分析，本发明旨在提供一种无人车多传感器数据同步采集系统，用以解决现有无人车数据采集系统的问题。本发明的目的主要是通过以下技术方案实现的：一种无人车多传感器数据同步采集系统，包括环境感知数据采集装置、以太网交换机1、惯导数据采集装置、整车控制器、指令下发及整车状态反馈Nport、以太网交换机2、规划工控机、感知工控机、CAN数据采集设备、CAN网络、CAN网络数据采集装置；其中，环境感知数据采集装置与以太网交换机1相连；以太网交换机1与感知工控机相连；整车控制器与指令下发及整车状态反馈Nport相连，惯导数据采集装置、指令下发及整车状态反馈Nport与以太网交换机2相连；以太网交换机2与感知工控机以及规划工控机相连；CAN数据采集设备与规划工控机相连，CAN数据采集设备通过CAN网络与CAN网络数据采集装置相连。所述环境感知数据采集装置包括双目相机、32线激光雷达、64线激光雷达；所述惯导数据采集装置包括惯导串口0、惯导数据接收Nport；所述CAN网络数据采集装置包括整车控制器、转向控制器、AMT控制器、发动机控制器和扭矩传感器；所述规划工控机还包括规划工控机网口1和规划工控机网口2；所述感知工控机还包括感知工控机网口1和感知工控机网口2；所述CAN网络还包括CAN1网络和CAN2网络；所述CAN数据采集设备还包括CAN数据采集USB接口。以太网交换机1与感知工控机之间通过感知工控机网口1相连；惯导串口0与惯导数据接收Nport相连，惯导数据接收Nport与以太网交换机2相连；以太网交换机2与感知工控机之间通过感知工控机网口2相连，与规划工控机之间通过规划工控机网口2相连，规划工控机网口1为预留接口；CAN数据采集设备与规划工控机之间通过CAN数据采集USB接口相连，与整车控制器、转向控制器、AMT控制器以及发动机控制器之间通过CAN1网络相连，与扭矩传感器之间通过CAN2网络相连。环境感知数据采集装置采集的环境感知数据通过以太网交换机1存入感知工控机中；惯导数据采集装置采集的惯导数据通过以太网交换机2存入规划工控机中；整车控制器通过以太网交换机2将底层时间信息存入感知工控机和规划工控机中；CAN网络数据采集装置采集的CAN网络数据通过CAN网络和CAN数据采集设备存入规划工控机中。感知工控机在每一帧所述环境感知数据的末位加入底层时间，实现环境感知数据与底层时间的同步关联。规划工控机在每一帧所述惯导数据的末位加入底层时间，实现惯导数据与底层时间的同步关联。利用CAN数据采集设备内部的定时器给两路CAN网络上的每一帧数据加上时间标记，将带有时间标记的CAN网络数据保存至规划工控机中，实现所有CAN网络数据的同步保存以及数据回溯。整车控制器通过自身的定时器向CAN1网络中下发底层时间，底层时间被CAN数据采集设备记录，与CAN数据采集设备内部的定时器时间共同保存，两者之间的时间对应关系保存至规划工控机中。整车控制器接收数据回放系统发送的数据回放时间戳，通过系统时间戳确定环境感知数据和惯导数据，采用系统时间戳与数据回放时间戳最接近的一组环境感知数据和惯导数据同步输出至数据回放系统；整车控制器查找与系统时间戳最接近的底层时间戳，查找与底层时间戳最接近的CAN数据采集设备定时器时间戳，提取底层CAN网络数据并发送至数据回放系统，实现CAN网络数据和环境感知数据以及惯导数据的同步回放。本发明有益效果如下：能够实现无人车上所搭载各传感器数据的同步记录和保存，为实现无人车环境信息数据、导航定位数据、车辆姿态信息以及车辆底层状态信息的同步回放提供了技术保障。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。图1为以太网构建的环境感知数据和导航数据采集系统结构图；图2为CAN网构建的底层数据采集系统结构图；图3为扭矩传感器数据采集示意图；图4为整车控制器数据采集示意图；图5为转向控制器数据采集示意图；图6为AMT控制器数据采集示意图；图7为发动机控制器数据采集示意图；图8为数据同步采集系统采集数据时间关联示意图。具体实施方式下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。根据本发明的一个具体实施例，公开了一种无人车多传感器数据同步采集系统，包括：双目相机、32线激光雷达、64线激光雷达、惯导串口0、惯导数据接收Nport、整车控制器、指令下发及整车状态反馈Nport、以太网交换机1、以太网交换机2、规划工控机、感知工控机、CAN数据采集设备、CAN1网络、CAN2网络、转向控制器、AMT控制器、发动机控制器和扭矩传感器；进一步地，所述双目相机包括双目相机(前左)和双目相机(前右)；进一步地，所述规划工控机还包括规划工控机网口1和规划工控机网口2；进一步地，所述感知工控机还包括感知工控机网口1和感知工控机网口2；进一步地，所述CAN数据采集设备还包括CAN数据采集USB接口。双目相机、32线激光雷达、64线激光雷达与以太网交换机1相连；以太网交换机1通过感知工控机网口1与感知工控机相连；惯导数据接收Nport、指令下发及整车状态反馈Nport与以太网交换机2相连，惯导串口0与惯导数据接收Nport相连，整车控制器与指令下发及整车状态反馈Nport相连，整车控制器通过GPIO接口与外部设备控制继电器模块组相连；以太网交换机2通过感知工控机网口2与感知工控机相连，通过规划工控机网口2与规划工控机相连，规划工控机网口1为预留接口；CAN数据采集设备通过CAN数据采集USB接口与规划工控机相连，通过CAN1网络与整车控制器、转向控制器、AMT控制器以及发动机控制器相连，通过CAN2网络与扭矩传感器相连。如图1所示，双目相机、32线激光雷达、64线激光雷达用于采集环境感知数据，并将环境感知数据传输到以太网交换机1，然后通过感知工控机网口1存至感知工控机中；如图1所示，惯导数据接收Nport通过惯导串口0采集导航数据，将导航数据传输至以太网交换机2，然后通过规划工控机网口2存至规划工控机中；具体地，所存导航数据包括经纬度信息、高度信息、车辆三轴加速度信息、角速度信息、速度信息、角度信息、组合导航状态信息；如图1所示，整车控制器通过指令下发及整车状态反馈Nport将底层时间信息传输至以太网交换机2，然后将所述底层时间信息通过感知工控机网口2存入感知工控机中，通过规划工控机网口2存入规划工控机中；感知工控机和规划工控机通过以太网交换机2和指令下发及整车状态反馈Nport将整车状态反馈给整车控制器；其中，所述以太网交换机1对应以太网网段1，所述以太网交换机2对应以太网网段2。如图2所示，整车控制器、转向控制器、AMT控制器、发动机控制器通过CAN1网络将采集的数据传送至CAN数据采集设备，扭矩传感器通过CAN2网络将采集的数据传送至CAN数据采集设备；如图4所示，整车控制器通过ETPU接口采集无人车左右主动轮的转速，通过GPIO接口记录自动/人工控制切换状态，并记录下发的控制量，包括报警灯状态、发动机启动状态、左右转向灯控制状态和刹车灯状态；共组成三个CAN扩展帧，发送周期为100ms；如图5所示，转向控制器通过AD接口采集左右操纵杆位置、左右伺服缸位移、左右伺服缸驱动电流、转向泵输出口压力和油液温度，通过GPIO口监测油箱滤清器报警状态，并记录下发的左右伺服阀驱动器控制电压、转向油源控制接口状态以及左右液压锁控制状态；共组成3个CAN扩展帧，发送周期为100ms；如图6所示，AMT控制器通过AD接口采集离合器位移信号、选档机构位移信号、换挡机构位移信号、AMT油源压力信号以及制动踏板位移信号，通过ETPU接口采集变速箱输入轴转速信号和变速箱输出轴转速信号，通过GPIO接口采集手柄选挡器信号，并记录下发的控制量，包括AMT执行机构电磁阀驱动状态、AMT油源继电器驱动状态；共组成5个CAN扩展帧，发送周期为100ms；如图7所示，发动机控制器通过AD接口采集油门踏板位移信号、发动机排温信号、发动机油压信号以及发动机齿杆位移信号，通过ETPU接口采集发动机输出轴转速信号，并记录下发的发动机齿杆位移驱动状态；共组成2个CAN扩展帧，发送周期为100ms；如图3所示，扭矩传感器采集发动机输出轴的扭矩信息，组成1个CAN扩展帧，发送周期为10ms。CAN数据采集设备通过CAN数据采集USB接口将接收的整车控制器、转向控制器、AMT控制器、发动机控制器以及扭矩传感器采集的数据存至规划工控机。CAN数据采集设备同时采集两路CAN网络上的数据信息，利用CAN数据采集设备内部的定时器给两路CAN网络上的每一帧数据加上时间标记，将带有时间标记的CAN网络数据保存至规划工控机中，实现所有CAN网络数据的同步保存以及数据回溯；整车控制器通过自身的定时器向CAN1网络中下发底层时间，底层时间被CAN数据采集设备记录，与CAN数据采集设备内部的定时器时间共同保存，两者之间的时间对应关系保存至规划工控机中；CAN数据采集设备定时器时间与底层时间的关联如表1所示：表1其中，表1第一列为CAN数据采集设备定时器时间，第二列为底层时间(小时单位)，第三列为底层时间(分钟单位)，第四列为底层时间(毫秒单位)。同时，整车控制器将底层时间通过指令下发及整车状态反馈Nport传输到以太网网段2中，规划工控机与感知工控机从以太网网段2中获取该底层时间作为后续数据同步的保证；具体地，CAN网的数据与以太网的数据在时间上的关联标志就是整车控制器发送的底层时间。双目相机的数据同步保存利用外部触发器完成，外部触发器向双目相机(前左)和双目相机(前右)发送同一个外部触发信号，经相应的接口被双目相机(前左)和双目相机(前右)接收；双目相机(前左)和双目相机(前右)通过此外部触发信号触发两个相机同步拍摄图像，此外部触发式的同步保存机制保证了双目相机(前左)和双目相机(前右)所采集图像的同步性；具体地，所述外部触发信号是由脉冲发生器产生的脉冲信号；具体地，双目相机(前左)每一帧图像数据的存储文件名为left_1，left_2，left_3…；双目相机(前右)每一帧图像数据的存储文件名为rignt_1、right_2、right_3…；在每一组双目相机图像数据的保存文件夹中，都有一个双目相机图像数据时间关联文件，记录格式如表2所示，描述了双目相机图像数据信息和上层采集系统时间之间的关联：表2Playback_timeLeftImageNameRightImageName23.49345sleft_59.jpgright_59.jpg23.59535sleft_60.jpgright_60.jpg其中，表2第一列为上层采集系统时间，第二列为双目相机(前左)图像名称，第三列为双目相机(前右)图像名称；具体地，每一帧32线激光雷达数据的存储文件名为front_1,front_2,front_3…；每一帧64线激光雷达数据的存储文件名为rear_1,rear_2,rear_3…；在每一组雷达数据的保存文件夹中，都有一个雷达数据时间关联文件，记录格式如表3所示，描述了激光雷达数据信息和上层采集系统时间之间的关联：表3Playback_timeLeftImageNameRightImageName23.49345sfront_59.pcdfront_59.pcd23.59535srear_60.pcdrear_60.pcd其中，表3第一列为上层采集系统时间，第二列为32线激光雷达数据名称，第三列为64线激光雷达数据名称；双目相机数据与激光雷达数据以广播的形式通过网口连接到以太网网段1中，由感知工控机进行数据的记录保存。感知工控机已经从以太网网段2中获取了底层时间信息，因此在双目相机和激光雷达数据保存的同时，感知工控机会在每一帧数据的末位加入底层时间的保存，实现环境感知数据与底层时间的同步关联。惯导数据经由串口发送，通过惯导数据接收Nport后以广播的形式进入以太网网段2中。规划工控机对上述惯导数据进行保存，并将获取的底层时间信息存储在每一帧惯导数据的末位，实现惯导数据与底层时间的同步关联；具体地，上层采集系统时间与惯导数据信息的关联如表4(a)-(d)所示：表4(a)系统时间航向角俯仰角横滚角X轴加速度Y轴加速度Z轴加速度23.49345109.0591-0.43947-0.48341-0.067149.796440.09461表4(b)系统时间X轴角速率Y轴角速率Z轴角速率北向速度天向速度东向速度23.49345000.03662-0.00781-0.031250.00781表4(c)表4(d)系统时间GPS纬度GPS经度GPSDOP值GPS信号有效计数器23.4934539.85345116.15420.6377上层采集系统时间和底层时间的关联如表5所示：表5Playback_timeChasis_hourChasis_minChasis_milliseconds23.49345s0185863023.59535s01858730其中，表5第一列为上层采集系统时间，第二列为底层时间(小时单位)，第三列为底层时间(分钟单位)，第四列为底层时间(毫秒单位)；规划工控机中保存了带有利用CAN数据采集设备自身定时器添加时间标记的CAN网络数据、整车控制器通过CAN网络下发的底层时间和CAN数据采集设备自身定时器之间的时间对应关系、每一帧末位都存储了规划工控机从以太网网段2获取的整车控制器下发的底层时间的惯导数据，感知工控机中保存了每一帧末位都存储了感知工控机从以太网网段2获取的整车控制器下发的底层时间的环境感知数据，由此以整车控制器下发的底层时间为标志，实现了CAN网络数据、环境感知数据和惯导数据的同步关联。如图8所示，当数据回放系统确立了回放数据的时间段及相应的间隔后，生成数据回放时间戳并发送给整车控制器，整车控制器通过将数据回放时间戳与各上层采集数据所保存的系统时间戳进行比照，采用系统时间戳与数据回放时间戳最接近的一组上层采集数据同步输出至数据回放系统。激光雷达数据、双目相机图像数据和惯导数据可直接通过系统时间戳确定。底层CAN网数据需通过底层关联信息数据记录文件，整车控制器查找与系统时间戳最接近的底层时间戳，继而查找与底层时间戳最接近的CAN数据采集设备定时器时间戳，提取相应的底层CAN网数据并发送至数据回放系统。经过上述步骤后，无人车多传感器数据同步采集系统便能够实现对于CAN网络数据和环境感知数据以及惯导数据的同步回放。综上所述，本发明实施例提供了一种无人车多传感器数据同步采集系统，整车的所有信息都实现了时间上的关联，能够实现无人车上所搭载各传感器数据的同步保存与回溯，经测试稳定可靠。为实现无人车环境信息数据、导航定位数据、车辆姿态信息以及车辆底层状态信息的同步回放提供了技术保障。本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。当前第1页1 2 3