多传感器采集时间戳同步装置的制作方法

本发明涉及智能驾驶领域，具体而言，涉及一种远程多传感信号同步采集装置。

背景技术：

目前国内外做slam(simultaneouslocalizationandmapping，即时定位与地图构建)和惯性导航的采集设备大多基于globalshutter(全局快门)双目相机+imu(惯性测量单元)而非rollingshutter(卷帘快门)，这是由于全局快门所采集图像的所有像素的曝光时间相同，而卷帘快)所采集图像的不同行像素的曝光时间不同；对于使用卷帘快门的场景来说，如何对所采集的多个传感信号进行时间戳同步成为业界亟需解决的问题。

技术实现要素：

本发明提供一种远程多传感信号同步采集、接收方法和装置，用以克服现有技术中存在的至少一个问题。

根据本发明的第一方面，提供一种远程多传感信号同步采集方法，应用于传感信号获取集成端，包括以下步骤：

获取多个传感数据和授时信息，其中所述多个传感数据包括卷帘快门图像数据、imu数据、位置数据和轮速数据；

根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据分别对应的时间戳；

将所述图像数据通过第一通道发送至计算平台，将所述图像数据对应的时间戳、所述多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳通过第二通道发送至所述计算平台，其中所述第一通道的传输速率大于所述第二通道的传输速率。

可选的，对于所述图像数据，所述根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据对应的时间戳包括：

根据所获取的第一次读取感光芯片第一行的时刻和所述授时信息得到所述图像数据对应的时间戳。

可选的，对于所述imu数据，所述根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据对应的时间戳包括：

根据所获取到的imu上传的中断信号的时间和所述授时信息得到所述imu数据对应的时间戳，其中imu预先配置中断，imu产生所述imu数据的同时生成中断信号。

可选的，对于所述轮速数据，所述根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据对应的时间戳包括：

根据所获取到的uart数据的时刻和所述授时信息得到所述轮速数据对应的时间戳。

可选的，所述授时信息通过gps模块获取。

可选的，所述传感信号获取集成端采用mcu获取所述多个传感数据以及为所述多个传感数据分别同步添加对应的时间戳。

可选的，所述第一通道为gmsl通道，所述第二通道为i2c通道。

根据本发明的第二方面，提供一种远程多传感信号接收方法，应用于计算平台端，包括以下步骤：

通过第一通道接收传感信号获取集成端发送的图像数据，通过第二通道接收所述传感信号获取集成端发送的所述图像数据对应的时间戳、多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳，其中所述第一通道的传输速率大于所述第二通道的传输速率；

根据预先获取的所述图像数据与所述图像数据对应的时间戳之间的传输映射关系，确定所述图像数据中各帧图像对应的时间戳；

根据所述图像数据中各帧图像的曝光中心点对其对应的时间戳进行校正。

可选的，上述方法还包括以下步骤：

接收与所述传感信号获取集成端对应的授时信息以对所述计算平台端的系统时间进行校正。

可选的，所述传输映射关系通过以下方式获取：

将所述第一通道的传输帧率设置为第一速率，并按照所述第一速率通过所述第一通道从传感信号获取集成端向所述计算平台端发送图像数据；

在所述第一通道按照所述第一传输速率发送图像数据稳定后，将所述第一通道的传输帧率更新为第二速率，其中所述第二速率小于第一速率；

在所述传感信号获取集成端和所述计算平台端分别检测传输帧率变化过程中两帧图像数据之间对应的时间戳变化关系，得到所述传输映射关系。

根据本发明的第三方面，提供一种远程多传感信号同步采集装置，应用于传感信号获取集成端，包括：

传感数据获取模块，被配置为获取多个传感数据和授时信息，其中所述多个传感器包括卷帘快门图像数据、imu数据、位置数据和轮速数据；

时间戳同步模块，被配置为根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据分别对应的时间戳；

传输模块，被配置为将所述图像数据通过第一通道发送至计算平台，将所述图像数据对应的时间戳、所述多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳通过第二通道发送至所述计算平台，其中所述第一通道的传输速率大于所述第二通道的传输速率。

可选的，所述时间戳同步模块包括图像时间戳单元，所述图像时间戳单元包括：

绝对曝光时间计算子单元，被配置为根据从场同步信号获取到的图像输出第一行数据的单行数据读取时间、从图像处理单元中获取到的当前曝光时间和通过有效行数和像素时钟计算出的所有单行数据读取的时间间隔计算得到当前帧图像的绝对曝光时间；

时间戳计算子单元，被配置为根据所述第一行数据的单行数据读取时间、所述绝对曝光时间和所述授时信息得到所述当前帧图像对应的时间戳。

可选的，所述时间戳同步模块包括：

imu时间戳单元，被配置为根据所获取到的imu上传的中断信号的时间和所述授时信息得到所述imu数据对应的时间戳，其中imu预先配置中断，imu产生所述imu数据的同时生成中断信号。

可选的，所述时间戳同步模块包括：

轮速时间戳单元，被配置为根据所获取到的uart数据的时刻和所述授时信息得到所述轮速数据对应的时间戳。

根据本发明的第四方面，提供一种远程多传感信号接收装置，应用于计算平台端，包括：

传感数据接收模块，被配置为通过第一通道接收传感信号获取集成端发送的图像数据，通过第二通道接收所述传感信号获取集成端发送的所述图像数据对应的时间戳、多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳，其中所述第一通道的传输速率大于所述第二通道的传输速率；

时间戳对应模块，被配置为根据预先获取的所述图像数据与所述图像数据对应的时间戳之间的传输映射关系，确定所述图像数据中各帧图像对应的时间戳；

时间戳校正模块，被配置为根据所述图像数据中各帧图像的曝光中心点对其对应的时间戳进行校正。

可选的，上述装置还包括：

系统时间校正模块，被配置为接收与所述传感信号获取集成端对应的授时信息以对所述计算平台端的系统时间进行校正。

可选的，上述装置还包括传输映射关系获取模块，所述传输映射关系获取模块包括：

第一速率设置单元，被配置为将所述第一通道的传输帧率设置为第一速率，并按照所述第一速率通过所述第一通道从传感信号获取集成端向所述计算平台端发送图像数据；

第二速率设置单元，被配置为在所述第一通道按照所述第一传输速率发送图像数据稳定后，将所述第一通道的传输帧率更新为第二速率，其中所述第二速率小于第一速率；

映射关系检测单元，被配置为在所述传感信号获取集成端和所述计算平台端分别检测传输帧率变化过程中两帧图像数据之间对应的时间戳变化关系，得到所述传输映射关系。

本发明实现了以下有益效果：

本发明实施例基于作为远端的传感信号获取集成端与作为近端的计算平台的通信方案，使用rollingshutter(卷帘快门)相机获取图像数据，通过将传感信号功能模块与rollingshutter相机集成，采集了图像数据、imu数据、轮速数据和位置数据，同时通过获取授时信息对设备进行授时，实现了图像数据、imu数据、轮速数据和位置数据在同一时间维度下的数据精确采集，提高了各个传感数据的时间戳的精度，取得了较佳的技术效果。

本发明的发明点包括：

1、采用rollingshutter(卷帘快门)图像传感器获取图像数据，但由于rollingshutter的曝光时间不固定，对所获取图像数据对应时间戳的动态计算，包括时间戳的同步，是本发明的发明点之一；

2、采集了图像数据、imu数据、轮速数据和位置数据等多个传感数据，同时通过获取授时信息对设备进行授时，实现了图像数据、imu数据、轮速数据和位置数据在同一时间维度下的时间戳同步，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的远程多传感信号同步采集方法流程图；

图2为本发明一个实施了的远程多传感信号接收方法流程图；

图3为本发明一个实施例的硬件原理图；

图4为本发明一个实施例的将传感数据采集与接收处理的方法流程框架图；

图5为本发明一个实施例中使用卷帘快门图像传感器ov2718的曝光示意图；

图6为本发明一个实施例的远程多传感信号同步采集装置模块图；

图7为本发明一个实施例的多传感信号接收装置模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的远程多传感信号同步采集方法流程图，如图1所示，该方法应用于传感信号获取集成端，包括以下步骤：

s110，获取多个传感数据和授时信息，其中所述多个传感器包括卷帘快门图像数据、imu数据、位置数据和轮速数据。

一种具体实现方式中，所述授时信息通过gps模块获取。

一种具体实现方式中，所述传感信号获取集成端采用mcu获取所述多个传感数据以及为所述多个传感数据分别同步添加对应的时间戳。

s120，根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据分别对应的时间戳。

一种具体实现方式中，对于所述图像数据，所述根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据对应的时间戳包括：

根据所获取的第一次读取感光芯片第一行的时刻和所述授时信息得到所述图像数据对应的时间戳。

相应的，在计算平台端，对图像数据对应的时间戳进行校正包括：根据从场同步信号获取到的图像输出第一行数据的单行数据读取时间、从图像处理单元中获取到的当前曝光时间和通过有效行数和像素时钟计算出的所有单行数据读取的时间间隔计算得到当前帧图像的绝对曝光时间；

根据所述第一行数据的单行数据读取时间、所述绝对曝光时间对所述当前帧图像对应的时间戳进行校正。

一种具体实现方式中，对于所述imu数据，所述根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据对应的时间戳包括：

根据所获取到的imu上传的中断信号的时间和所述授时信息得到所述imu数据对应的时间戳，其中imu预先配置中断，imu产生所述imu数据的同时生成中断信号。

一种具体实现方式中，对于所述轮速数据，所述根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据对应的时间戳包括：

根据所获取到的uart数据的时刻和所述授时信息得到所述轮速数据对应的时间戳。

s130，将所述图像数据通过第一通道发送至计算平台，将所述图像数据

x及对应的时间戳通过第二通道发送至所述计算平台，其中所述第一通道的传输速率大于所述第二通道的传输速率。

一种具体实现方式中，所述第一通道为gmsl通道，所述第二通道为i2c通道。

图2为本发明一个实施了的远程多传感信号接收方法流程图；如图所示，该方法应用于计算平台端，包括以下步骤：

s210，通过第一通道接收传感信号获取集成端发送的图像数据，通过第二通道接收所述传感信号获取集成端发送的所述图像数据对应的时间戳、多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳，其中所述第一通道的传输速率大于所述第二通道的传输速率。

s220，根据预先获取的所述图像数据与所述图像数据对应的时间戳之间的传输映射关系，确定所述图像数据中各帧图像对应的时间戳。

s230，根据所述图像数据中各帧图像的曝光中心点对其对应的时间戳进行校正。

一种具体实现方式中，为了保证计算平台端与传感信号获取集成端在同一时间维度下，上述方法还包括以下步骤：

接收与所述传感信号获取集成端对应的授时信息以对所述计算平台端的系统时间进行校正。

一种具体实现方式中，所述传输映射关系通过以下方式获取：

将所述第一通道的传输帧率设置为第一速率，并按照所述第一速率通过所述第一通道从传感信号获取集成端向所述计算平台端发送图像数据；将所述第二通道的传输速率设置为第三速率，并按照所述第三速率通过所述第二通道从传感信号获取集成端向所述计算平台端发送图像数据对应的时间戳；

在所述第一通道按照所述第一传输速率发送图像数据稳定后，将所述第一通道的传输帧率更新为第二速率，将所述第二通道的传输速率更新为第四速率，其中所述第二速率与第一速率不同，所述第四速率与所述第三速率不同，优选地所述第二速率小于第一速率，所述第四速率小于第三速率；

在所述传感信号获取集成端和所述计算平台端分别检测传输帧率变化过程中两帧图像数据之间对应的时间戳变化关系，得到所述传输映射关系。

上述实施例中，在第一通道的传输速率从第一速率更新为第二速率的过程中，将在第一通道接收到的第一帧图像数据与第一个图像时间戳相对应，并以此类推，根据两帧图像之间的时间戳变化关系，得到第一通道中传输的图像数据与第二通道中传输的图像时间戳之间的映射关系，从而方便在计算平台端根据该映射关系将图像数据与图像时间戳进行对应。

在本发明一个较佳的实施例中，传感信号获取集成模块采用mcu(基于armcomtex-m系列的单片机)，计算平台采用nviidapx2(一种基于nvidia公司生产的人工智能计算平台)，传感信号获取集成模块和计算平台间采用gmsl(千兆位多媒体串化传输技术，适用于远程多通道传输媒体流数据，传输协议中有高通道的图像数据传输和低通道的i2c协议传输)协议进行通信。

图3为本发明一个实施例的硬件原理图；如图3所示，包含nvidiapx2端和gmsl模块集成端两部分。其中nvidiapx2端主要功能是驱动各个硬件外设，管理硬件外设；通过自定义传输协议在nvidiapx2端和gmsl模块端进行通信，获取图像数据，imu数据，can轮速数据和时间戳；通过usb转uart(universalasynchronousreceiver/transmitter，通用异步收发传输器)设备接收gps数据。gmsl模块端负责包括gps授时，处理时间戳同步方面的工作，接收imu数据，can轮速数据和外部所有中断。

本实施例基于nvidiapx2平台，利用gmsl通信方案，使用rollingshutter(卷帘快门)相机，通过增加高性能、低成本的mcu与rollingshutter相机集成，采集了图像数据，400hzimu数据，100hz轮速数据，10hzgps数据，同时通过gps的pps(pulsepersecond，脉冲每秒)对设备进行授时，实现了图像数据，imu数据，轮速数据，gps数据在同一时间维度下的数据精确采集，各个传感数据的时间戳达到100us级精度，取得了较佳的技术效果，是本发明的发明点所在。

图4为本发明一个实施例的将传感数据采集与接收处理的方法流程框架图；以下结合图4对本发明时间戳标定的原理进行说明：

图像时间戳标定原理：

对于rollingshutter相机来说，图像曝光时间戳是根据三个时间标签进行确定的：

(1)从isp(图像处理单元)输出的vsync(场同步信号)信号获取到图像输出第一行数据readout(单行数据读取)的时间；

(2)通过i2c从isp中获取到当前曝光时间；

(3)通过有效行数和pclk(像素时钟)计算出总共readout时间间隔；

根据以上数据即可计算出当前帧的绝对曝光时间。

图5为本发明一个实施例中使用卷帘快门图像传感器ov2718的曝光示意图，其中，横轴t为时间轴，纵轴ra为行地址轴，a-b为单行曝光时间t1，b为第一次readout(读取感光芯片第一行)的时刻t0，b-c为所有readout(读取所有感光芯片)时间t2。

t2表示图像所有行数据读取的时间，比如1280*720分辨率，即为读取所有720行数据的时间。图5中t3为vsync信号的消隐时间(tv-blanking)，对于一帧图像来说，在开始的时候有一个短暂的高电平，是vsync信号，代表图像数据开始传输，之后传输的过程中该信号一直保持低电平，即消隐时间。这个时间在时间戳的计算中不会用到。

在计算平台端(近端)对传感信号采集集成端(远端)发送的图像数据的时间戳(即图5中的时刻t0)进行校正，曝光中心点tn的校正计算公式如下：

tn＝b+(cb-ba)/2＝t0+(t2-t1)/2。

关于曝光中心点与曝光时间说明：

曝光中心点是一帧图像从曝光开始到曝光结束，曝光中心所处时刻的位置，即曝光中心点是一帧图像从曝光开始到曝光结束的中心时间点。曝光时间对于rollingshutter来说，是一个大小不变的时间，每一行开始曝光位置依次递增，对于globalshutter(全局快门)来说，曝光时间是一个大小不变，每一行开始曝光位置都一样的概念。

上述实施例对于通过卷帘快门图像传感器获取的图像数据的时间戳，，在计算平台端根据行曝光时间中心的偏差对所获取图像数据对应时间戳进行动态校正，提高了所采集图像的曝光中心点的精度，是本发明的发明点之一

由于图像和图像时间戳是通过两个通道(gmsl(吉比特多媒体串行链路)高速通道和i2c低速通道)到nvidiapx2端，需要对两个通道的数据做映射。首先将帧率设置为30fps，稳定后修改帧率为25hz，在mcu端和px2端分别检测此次帧率变化，检测原理为两帧之间时间戳由33ms到40ms变化。对于ov2718来说，帧率会渐进变化，30fps->27fps->25fps，具体实现上可以通过示波器测量确认。

imu时间戳标定原理：

对于imu来说，配置imu更新频率为需求频率；配置imu中断后，imu数据产生的时候会产生中断，mcu捕捉到imu中断后对时间戳标定，然后读取数据，进行数据封装、上报。

can轮速标定原理：

can轮速通过can转uart设备，输出100hz数据，mcu通过dma接收到uart数据后标定时间戳信息，然后对轮速数据进行封装、上报。

gps时间戳标定原理：

gps模块可以使用um4b0-box2，其包含了自身差分信号校准和数据输出，输出3路uart接口，uarta和uartb为串口数据输出，uartc为pps信号输出，本实施例通过uartb输出数据和uartc输出pps到mcu，对mcu端进行授时和时间校准，通过uarta将算法需求的数据直接导入px2端，由px2进行数据读取和封装。

mcu通过解析uartb数据中$gprmc数据包含的年月日，时分秒信息；将信息转化为1970-01-0100:00:00到现在的秒数；然后根据pps中断对秒更新，同时对mcu计时器复位，做秒内的ns计时，这样保证了mcu端产生的时间为绝对时间，与uarta输出给px2的时间相对应。

在具体实现时，在mcu侧为了实现高实时的要求，mcu处理所有事务都要求实时性高，不能有延迟，这就决定了不能在主函数中处理事件，一切靠中断，表1示出了一个实施例的中断列表，定义了事件优先级，以保证数据响应及时。

表1mcu中断优先级列表

i2c是作为从设备响应nvidiapx2通信的，优先级必须设置最高，保证稳定通信。mcu侧这么多中断，通过以下方式保证共享数据fifo保护：首先对于imu来说，数据更新频率最高，会调用merge(合并)方法将数据更新到fifo中。为了防止图像时间戳数据、can数据也频繁调用merge方法，将图像时间戳数据、can数据做标记，imu更新的时候将图像时间戳数据、can数据加入到自己的buffer(缓存)中merge，减少merge次数。i2c与imu共享fifo是通过双fifo机制保存数据，如果极端情况下i2c占用了merge方法，imu更新数据的时候，再单独开一个cache(快速缓冲储存区)保存数据，之后再把数据更新到双fifo中，保证共享数据fifo保护。

图6为本发明一个实施了的远程多传感信号同步采集装置模块图；如图所示，该装置600应用于传感信号获取集成端，包括：

传感数据获取模块610，被配置为获取多个传感数据和授时信息，其中所述多个传感器包括卷帘快门图像数据、imu数据、位置数据和轮速数据；

时间戳同步模块620，被配置为根据所述授时信息对所述多个传感数据进行时间戳同步，得到所述多个传感数据分别对应的时间戳；

传输模块630，被配置为将所述图像数据通过第一通道发送至计算平台，将所述图像数据对应的时间戳、所述多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳通过第二通道发送至所述计算平台，其中所述第一通道的传输速率大于所述第二通道的传输速率。

一种具体实现方式中，所述时间戳同步模块包括图像时间戳单元，所述图像时间戳单元包括：

绝对曝光时间计算子单元，被配置为根据从场同步信号获取到的图像输出第一行数据的单行数据读取时间、从图像处理单元中获取到的当前曝光时间和通过有效行数和像素时钟计算出的所有单行数据读取的时间间隔计算得到当前帧图像的绝对曝光时间；

时间戳计算子单元，被配置为根据所述第一行数据的单行数据读取时间、所述绝对曝光时间和所述授时信息得到所述当前帧图像对应的时间戳。

一种具体实现方式中，所述时间戳同步模块包括：

imu时间戳单元，被配置为根据所获取到的imu上传的中断信号的时间和所述授时信息得到所述imu数据对应的时间戳，其中imu预先配置中断，imu产生所述imu数据的同时生成中断信号。

一种具体实现方式中，所述时间戳同步模块包括：

轮速时间戳单元，被配置为根据所获取到的uart数据的时刻和所述授时信息得到所述轮速数据对应的时间戳。

图7为本发明一个实施了的多传感信号接收装置模块图。如图所示，该装置700应用于计算平台端，包括：

传感数据接收模块710，被配置为通过第一通道接收传感信号获取集成端发送的图像数据，通过第二通道接收所述传感信号获取集成端发送的所述图像数据对应的时间戳、多个传感数据中除所述图像数据之外的其他传感数据及对应的时间戳，其中所述第一通道的传输速率大于所述第二通道的传输速率；

时间戳对应模块720，被配置为根据预先获取的所述图像数据与所述图像数据对应的时间戳之间的传输映射关系，确定所述图像数据中各帧图像对应的时间戳；

时间戳校正模块730，被配置为根据所述图像数据中各帧图像的曝光中心点对其对应的时间戳进行校正。

一种具体实现方式中，上述装置还包括：

系统时间校正模块，被配置为接收与所述传感信号获取集成端对应的授时信息以对所述计算平台端的系统时间进行校正。

可选的，上述装置还包括传输映射关系获取模块，所述传输映射关系获取模块包括：

第一速率设置单元，被配置为将所述第一通道的传输帧率设置为第一速率，并按照所述第一速率通过所述第一通道从传感信号获取集成端向所述计算平台端发送图像数据；

第二速率设置单元，被配置为在所述第一通道按照所述第一传输速率发送图像数据稳定后，将所述第一通道的传输帧率更新为第二速率，其中所述第二速率小于第一速率；

映射关系检测单元，被配置为在所述传感信号获取集成端和所述计算平台端分别检测传输帧率变化过程中两帧图像数据之间对应的时间戳变化关系，得到所述传输映射关系。

以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离以下所附权利要求所限定的精神和范围的情况下，可做出许多修改、变化或等效，但都将落入本发明的保护范围内。