一种用于实现多类型传感器同步采集的方法及系统

本发明涉及传感器采集，尤其是涉及一种用于实现多类型传感器同步采集的方法及系统。

背景技术：

1、视觉同步定位与建图（vslam）技术在移动机器人、无人飞行器、自主驾驶、虚拟现实（vr）、增强现实（ar）等领域有着广泛的应用。目前在实际落地应用中，基于滤波器的多传感器融合slam算法逐渐成为主流，在此框架中，面临的一个关键问题是如何同步非对称传感器数据，即对所有收到的数据都标记一个高精度的相对或绝对时间，这将有助于提高整体系统的定位精度。

2、现有技术中，考虑到成本、功耗、便携性等因素，通常采用arm芯片作为数据采集产品的核心计算单元。但是，由于arm芯片存在固有的缓存延时、算力不足导致的响应时间不可控等问题，当同时处理多个相机数据或多种类传感器数据时，在数据的接收和存储时都会有较大的延迟，从而导致各个传感器时间无法精确对齐。

技术实现思路

1、本发明的目的在于，需要提出一种能够满足移动平台实时性需求的多类型传感器同步数据采集的方案。

2、为了解决上述技术问题，本发明实施例提供了一种用于实现多类型传感器同步采集的方法，包括：步骤一、基于单位像素时钟，并行获取来自多个相机的像素帧中的第i个像素值并标记像素时间信息，从而将第i个像素值存储到图像存储区中的指定位置，其中，i表示一帧像素帧的像素序号；步骤二、将i值加1，重复所述步骤一，直至完成当前像素帧的存储，其中，在不断获得多个相机的像素帧的过程中，基于单位像素时钟，并行获取来自多种类非图像传感器的数据帧中的第j个数据值并标记当前对应的像素时间信息，从而将完成时间标记的第j个数据值存储到指定传感器存储区，j表示一帧数据帧中的数据序号。

3、优选地，所述非图像传感器包括至少一个imu传感器，其中，所述方法包括：基于单位像素时钟，并行获取来自至少一个imu传感器的数据帧中的第s组数据值并标记当前对应的像素时间信息，以及将完成时间标记的第s组数据值存储到imu存储区中的指定imu存储单元列内的对应行中，其中包括：步骤s1、在单位像素时间间隔内，并行获取来自至少一个imu传感器的imu数据帧中的第s组imu数据值并在当前imu数据值的头部标记当前像素时间信息，而后，将当前完成时间标记的第j组imu数据值存储到指定imu存储单元列中的第s个对应数据组的行中；步骤s2、将s值加1，在下一个单位像素时间间隔内，重复所述步骤s1，直至完成当前imu数据帧的存储。

4、优选地，所述非图像传感器包括至少一个激光雷达传感器，其中，所述方法包括：基于单位像素时钟，并行获取来自至少一个激光雷达传感器的数据帧中的第m个数据值并标记当前对应的像素时间信息，以及将完成时间标记的第m个数据值存储到激光雷达存储区中的指定雷达存储单元列内的对应行中，其中包括：步骤m1、在单位像素时间间隔内，并行获取来自至少一个激光雷达传感器的雷达数据帧中的第1个数据值并在当前数据值的头部标记当前像素时间信息，而后，将当前完成时间标记的第1个数据值存储到相应列雷达存储单元中的第1行；步骤m2、在下一个单位像素时间间隔内，并行获取当前雷达数据帧中的第2个数据值并将当前完成时间标记的第2个数据值存储到相应列雷达存储单元中的第2行；步骤m3、将所述m2中的数据的序号加1，在下一个单位像素时间间隔内，重复所述步骤m2，直至完成当前雷达数据帧的存储。

5、优选地，所述非图像传感器包括至少一个gps传感器，其中，所述方法包括：基于单位像素时钟，获取来自gps传感器的数据帧中的第k组数据值并标记当前对应的像素时间信息，以及将完成时间标记的第k组数据值存储到定位信息存储区中的指定gps存储单元列内的对应行中，其中包括：步骤k1、在单位像素时间间隔内，获取来自gps传感器的gps数据帧中的第1组gps数据值并在当前gps数据值的头部标记当前像素时间信息，而后，将当前完成时间标记的第1组gps数据值存储到定位信息存储单元列中的第1行中；步骤k2、在下一个单位像素时间间隔内，获取当前gps数据帧中的第2组gps数据值并将当前完成时间标记的第2组gps数据值存储到定位信息存储单元列中的第2行中；步骤k3、将所述步骤k2中的gps数据的序号加1，在下一个单位像素时间间隔内，重复所述步骤k2，直至完成当前gps数据帧的存储。

6、优选地，各类传感器的存储位置及存储区的内部结构根据相应传感器的数据位数来确定，其中，在imu存储区中的一行内存中，按照imu传感器的顺序来逐个存储同类型数据而形成；在图像存储区中的一行内存中，按照所述多个相机的顺序逐个存储形成。

7、优选地，所述方法还包括：获取当前基准时间信息并产生基于同步的单位像素时钟，所述单位像素时钟精确到毫秒，其中，将所获得的基准时间信息存储在时间寄存器中以产生所述单位像素时钟，所述基准时间信息来自gps传感器或其他设备的时间信息；基于所述单位像素时钟，控制所述多个相机和所述至少一个激光雷达传感器开始采集，其中，向所述多个相机发送采集指令并向所述至少一个激光雷达传感器发送ptp同步信号。

8、优选地，所述方法还包括：在获得多个相机的一帧像素帧的过程中，包括：校准所述多个相机的启动信号以及曝光时长，以使得所述多个相机输出图像的时序同步；基于所述多个相机和不同类型的非图像传感器的标识信息，从不同类型存储区中读取指定内存范围的信息。

9、优选地，所述方法采用fpga来实现。

10、另一方面，提供了一种用于实现多类型传感器同步采集的系统，所述系统用于实现上述所述的方法，其中，所述系统包括：时间寄存器，其配置用于产生单位像素时钟；相机同步获取模块，其配置用于基于单位像素时钟，并行获取来自多个相机的像素帧中的第i个像素值并标记像素时间信息，从而将第i个像素值存储到图像存储区中的指定位置，其中，i表示一帧像素帧的像素序号；非图像同步获取部，其配置用于在不断获得多个相机的像素帧的过程中，基于单位像素时钟，并行获取来自多种类非图像传感器的数据帧中的第j个数据值并标记当前对应的像素时间信息，从而将完成时间标记的第j个数据值存储到指定传感器存储区，j表示一帧数据帧中的数据序号。

11、优选地，所述系统还包括：rtc时钟模块，其配置用于获取当前基准时间信息，以由所述时间寄存器来产生所述单位像素时钟；指令控制模块，其配置用于基于所述单位像素时钟，控制所述多个相机和所述至少一个激光雷达传感器开始采集，其中，向所述多个相机发送采集指令并向所述至少一个激光雷达传感器发送ptp同步信号。

12、与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果。

13、本发明提出了一种用于实现多类型传感器同步采集的方法及系统。该方法及系统无需人工干预，即可在完成所有类型的传感器数据的同步和录制，从而降低数据采集人员的工作复杂度和强度，并获得完整的且同步对齐的数据。

14、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。