多传感器时间同步的系统及自移动设备的制作方法

本申请属于自动化，尤其涉及一种多传感器时间同步的系统及自移动设备。

背景技术：

1、目前，自移动设备已经成为机器视觉领域的热门话题，它包括割草机器人、扫地机器人、陪护机器人、自动驾驶和无人机等新兴领域。自移动设备可以包括惯性测量单元(inertial motion unit，imu)和相机，从而实现视觉定位(vslam)和建图(mapping)，其中，惯性测量单元可以提高鲁棒性和准确性，但是对于多传感器融合，精确的时间同步就显得特别重要。

2、现有技术中，自移动设备可以通过软件调度实现惯性测量单元和相机之间的时间同步，但由于自移动设备包括多个时钟源调度，且操作系统的软件调度也会导致较大的延迟，因此该惯性测量单元和相机之间时间同步的准确性很低。

技术实现思路

1、本申请的目的在于提供一种多传感器时间同步的系统及自移动设备，旨在解决传统的惯性测量单元和相机之间时间同步的准确性很低的问题。

2、本申请实施例的第一方面提出了一种多传感器时间同步的系统，系统包括主控制器、微控制器、惯性测量单元和相机：主控制器，用于向微控制器发送第一系统时间；微控制器，用于接收第一系统时间，并基于第一系统时间与主控制器进行时间同步；微控制器，还用于控制惯性测量单元开启以采集惯性测量数据，接收惯性测量单元的惯性测量数据和中断信号并记录第一时间戳；根据中断信号产生同步触发信号发送给相机；相机，用于接收同步触发信号后进行曝光作业以采集图像数据；微控制器，还用于接收相机的曝光开始时刻并记录第二时间戳；主控制器，还用于将第一时间戳、惯性测量单元的惯性测量数据、第二时间戳以及图像数据进行匹配，以关联惯性测量单元的惯性测量数据与图像数据的对应关系。

3、在一些实施方式中，微控制器，具体用于基于第一帧率和第二帧率，确定同步触发信号，第一帧率为惯性测量单元的惯性测量数据的帧率，第二帧率为相机采集图像数据的帧率。

4、在一些实施方式中，相机，具体用于当接收到同步触发信号时，开始采集图像数据。

5、在一些实施方式中，相机，具体用于当接收到同步触发信号时，基于同步触发信号和相机的曝光时长，确定曝光开始时刻，在曝光开始时刻开始采集图像数据，并向微控制器发送曝光开始时刻。

6、在一些实施方式中，相机包括主相机和从相机。

7、在一些实施方式中，微控制器，具体用于获取主相机对应的第二时间戳以及从相机对应的第二时间戳，向主控制器发送主相机对应的第二时间戳以及从相机对应的第二时间戳；主控制器，具体用于将主相机采集的图像数据与主相机的第二时间戳对应，将从相机采集的图像数据与从相机的第二时间戳对应。

8、在一些实施方式中，主控制器，具体用于获取第一系统时间，向微控制器发送第一系统时间和计时信号；微控制器，具体用于当接收到计时信号时开始计时，当接收到第一系统时间时停止计时，基于计时时长和第一系统时间，确定微控制器的第二系统时间。

9、本申请实施例的第二方面提出了一种自移动设备，包括上述任一系统。

10、在一些实施方式中，自移动设备包括割草机器人。

11、在一些实施方式中，相机包括rgb相机、鱼眼相机、全景相机或深度相机。

12、本发明实施例与现有技术相比存在的有益效果是：

13、在本申请实施例中，主控制器可以用于向微控制器发送第一系统时间，并基于第一系统时间与微控制器进行硬件实时同步。微控制器可以用于控制惯性测量单元开启以采集惯性测量数据，接收惯性测量单元的惯性测量数据和中断信号并记录第一时间戳，根据中断信号产生同步触发信号发送给相机，相机用于接收同步触发信号后进行曝光作业以采集图像数据，即实现了惯性测量单元与相机之间的硬件实时同步。微控制器用于接收相机的曝光开始时刻并记录第二时间戳，主控制器还用于将第一时间戳、惯性测量单元的惯性测量数据、第二时间戳以及图像数据进行匹配，以关联惯性测量单元的惯性测量数据与图像数据的对应关系。微控制器基于控制惯性测量单元开启采集惯性测量数据，并产生同步触发信号，因此可以基于同步触发信号控制相机采集图像数据。也即是，先通过主控制器与微控制器进行硬件实时同步，在通过微控制器实现惯性测量单元与相机之间的硬件实时同步，极大地提高了惯性测量单元与相机之间时间同步的准确性，也提高建立惯性测量单元的惯性测量数据与相机的图像数据之间关联的准确性。

技术特征：

1.一种多传感器时间同步的系统，其特征在于，所述系统包括主控制器、微控制器、惯性测量单元和相机：

2.如权利要求1所述的系统，其特征在于，所述微控制器，具体用于基于第一帧率和第二帧率，确定所述同步触发信号，所述第一帧率为所述惯性测量单元采集所述惯性测量数据的帧率，所述第二帧率为所述相机采集所述图像数据的帧率。

3.如权利要求2所述的系统，其特征在于，所述相机，具体用于当接收到所述同步触发信号时，开始采集所述图像数据。

4.如权利要求2所述的系统，其特征在于，所述相机，具体用于当接收到所述同步触发信号时，基于所述同步触发信号和所述相机的曝光时长，确定曝光开始时刻，在所述曝光开始时刻开始采集所述图像数据，并向所述微控制器发送所述曝光开始时刻。

5.如权利要求1所述的系统，其特征在于，所述相机包括主相机和从相机。

6.如权利要求5所述的系统，其特征在于，所述微控制器，具体用于获取所述主相机对应的所述第二时间戳以及所述从相机对应的所述第二时间戳，向所述主控制器发送所述主相机对应的所述第二时间戳以及所述从相机对应的所述第二时间戳；

7.如权利要求1所述的系统，其特征在于，所述主控制器，具体用于获取所述第一系统时间，向所述微控制器发送所述第一系统时间和计时信号；

8.一种自移动设备，其特征在于，包括如权利要求1-7任一所述的系统。

9.如权利要求8所述的自移动设备，其特征在于，所述自移动设备包括割草机器人。

10.如权利要求8或9所述的自移动设备，其特征在于，所述相机包括rgb相机、鱼眼相机、全景相机或深度相机。

技术总结
一种多传感器时间同步的系统及自移动设备，系统包括主控制器、微控制器、惯性测量单元和相机：主控制器，用于向微控制器发送第一系统时间；微控制器，用于接收第一系统时间，并与主控制器进行时间同步；用于控制惯性测量单元开启以采集惯性测量数据，接收惯性测量单元的惯性测量数据和中断信号并记录第一时间戳；根据中断信号产生同步触发信号发送给相机；相机，用于接收同步触发信号后进行曝光以采集图像数据；微控制器，用于接收相机的曝光开始时刻并记录第二时间戳；主控制器，用于将第一时间戳、惯性测量单元的惯性测量数据、第二时间戳以及图像数据进行匹配。本申请提供的方法解决了传统的惯性测量单元和相机时间同步准确性低的问题。

技术研发人员：雷祥锋,庞敏健,陈向
受保护的技术使用者：奥比中光科技集团股份有限公司
技术研发日：
技术公布日：2024/1/15